Original Material
Ex optogenetic lux
Ранее мы поговорили1 о том, насколько многогранен медиатор дофамин2, с какими явлениями он связан, но принципиальным остается вопрос о причинно-следственных связях между активностью дофаминовых нейронов и определенным поведением. Более или менее удовлетворительные ответы на такого рода вопросы может дать метод локальной стимуляции мозговых структур. При электрической стимуляции головного мозга в определенном участке раздражаются одновременно все клетки: это могут быть и возбуждающие нейроны, и тормозные, могут быть клетки, направляющие свой сигнал в другие отделы мозга, а могут быть интернейроны. Также это могут быть проводящие пути, принадлежащие клеткам, находящимся далеко от места стимуляции и не имеющим отношения к области стимуляции. Как же добиться точечной активации только дофаминовых клеток или их окончаний?
Оптогенетика
На помощь приходит генная инженерия. Благодаря впечатляющим успехам молекулярной биологии теперь практически в любой определенной области мозга можно прицельно и точечно стимулировать только дофаминовые нейроны или их окончания. Главное, чтобы они там присутствовали.
Как это работает? В гено́м подопытного животного (чаще всего это мыши) при помощи сложных манипуляций с использованием вирусов встраивают ген одноклеточной зеленой водоросли — кодирующий белок под названием канальный родопсин (на рисунке ниже — КР). Этот белок формирует в клетке особый мембранный канал. Особенностью этого канала является то, что он чувствителен к свету: под действием определенного диапазона световых волн этот канал быстро открывается. Когда свет включен — канал открыт, свет выключен — закрыт. Открытие канала в свою очередь приводит к возбуждению клетки: в клетке возникают нервные импульсы. Таким образом, мы можем активировать клетку, включив свет, и прекратить активацию, его выключив. И делать это можно с высоким временным разрешением, т. е. достаточно быстро, чтобы стимуляцию можно было соотнести с любыми событиями, происходящими в окружении животного, а также с любыми аспектами его поведения.
Но каким же образом активируют именно дофаминовые клетки? Дело в том, что ген, кодирующий канал, встраивают в геном экспериментального животного в строго определенном месте: следом за геном, работающим только в дофаминовых нейронах (этот ген кодирует ключевой фермент, ответственный за синтез дофамина). Поэтому ген канального родопсина включается только в тех клетках, в которых синтезируется дофамин. В результате получается, что светочувствительные каналы образуются и встраиваются в мембраны только дофаминовых нейронов. И когда с помощью световода, вживленного в мозг животного, освещают исследуемую область мозга, активируются только дофаминовые нейроны 3.
Такой метод избирательной стимуляции определенных клеток при помощи света получил название оптогенетики. Здесь мы в общих чертах описали лишь один из вариантов метода. Также при помощи оптогенетики можно избирательно затормозить (выключить) клетки определенного типа, более того, можно стимулировать строго определенные входы к исследуемым клеткам (одна клетка может получать десятки разнородных входов), а также — локально — окончания этих клеток в отдаленных структурах. И всё это можно комбинировать! Да еще при максимальных временном и пространственном разрешении — т. е. с очень большой точностью как во времени, так и в пространстве: в строго определенном месте клетки определенного типа можно включить и выключить моментально.
Дофамин и награда
Получив такой сложный и уникальный инструмент, исследователи с удвоенным энтузиазмом взялись за решение проблем, давно ждавших своей очереди. Один из первых таких вопросов заключался, конечно, в том, какова роль дофамина в процессах подкрепления. Самым бесспорным, определенным и недвусмысленным результатом исследований в этой области стал утвердительный ответ на вопрос, вовлечены ли дофаминовые нейроны в поведение самостимуляции. (Вероятно, вы помните этот популярный сюжет о животных, которые до изнеможения жмут и жмут на педаль, включающую электрическую стимуляцию определенных областей мозга). Этот вопрос ждал ответа со времени открытия феномена самостимуляции, и теперь исследователями из нескольких лабораторий доказано, что активации дофаминергических нейронов среднего мозга достаточно для формирования и поддержания этого поведения у крыс и мышей 4.
Но проблема в том, что разрешение вопроса о критичности дофамина для самостимуляции не объясняет природы самого явления. Почему животное постоянно стимулирует свои дофаминовые нейроны? По мнению многих исследователей, само поведение животного уже доказывает «привлекательность этой стимуляции для крысы» 5: нажимая на педаль, животное получает невероятное удовольствие. В противном случае зачем крыса возвращается к педали вновь и вновь? Широко обсуждалась среди ученых (и не только) специфичность приятных ощущений. В результате научных дискуссий было сформулировано соглашение, упомянутое нами ранее как одна из основных гипотез о роли дофамина в поведении: дофамин является нервной «валютой» любого вознаграждения. Обычно в учебниках в качестве примера здесь следуют еда и секс, а в некоторых научно-популярных книгах пишут о «чувственных удовольствиях», из чего может родиться представление о дофамине как о «прянике», поддерживающем в нас тягу исключительно к примитивному наслаждению. Но здесь надо подчеркнуть: речь идет обо всех вознаграждениях вне зависимости от нашего отношения к ним (от проглоченной с голоду вместе с костями, а может быть, и потрохами селедки до любования закатом, чтения любимой книги, решения интересной задачи, нежного материнского прикосновения или долгожданного отцовского одобрения, улыбки возлюбленной, наконец-то выкуренной сигареты, удовлетворения от вида своего отражения в зеркале или внезапно обнаруженного смысла жизни). И уже после можно поразмышлять над словами Марселя Жуандо: «Удовольствие — всеобщий камень преткновения. Вы возвышаете его или оно принижает вас. То, что я делаю из него, и то, что я обещаю ему сделать из себя, наглядно характеризует меня — бесчестит или прославляет, осуждает или оправдывает, губит или спасает», — и с удовольствием не согласиться с ними.
«Концепция награды… несет в себе огромный груз эмоциональных ассоциаций и интерпретаций — желание, страх, вина, долг, запрет», — считает ученый-бихевиорист Карен Прайор, автор книги «Не рычите на собаку! Книга о дрессировке людей, животных и самого себя». Стоит ли взваливать на себя этот груз? Объективно в поведении самостимуляции мы наблюдаем многократно повторяющиеся действия, подкрепляемые стимуляцией дофаминовых нейронов.
Дофамин и подкрепление
При таком подходе за понятием «подкрепление» принципиально не ставится никаких субъективных ощущений. «Подкрепление — это нечто такое, что, происходя одновременно с действием, ведет к повышению вероятности повторения этого поступка в будущем». Обратите внимание, что такой подход предполагает совсем другой взгляд на природу поведения: если в первом случае действие определялось его целью — получением удовольствия, то здесь акцент делается на предопределенности действия предшествующими подкреплениями.
Может ли служить оптогенетическая стимуляция дофаминовых нейронов среднего мозга подкреплением? Исследование Элизабет Стейнберг с соавторами, опубликованное в 2013 году в журнале Nature Neuroscience, называется «Причинная связь ошибок предсказания, дофаминовых нейронов и научения» 6. Из заголовка статьи видно, что авторы делают заявку на то, что получили решающее свидетельство в пользу гипотезы о роли дофамина в процессах научения. Та «ошибка предсказания», о которой идет речь в названии, для нейрофизиологов жестко ассоциируется с активностью дофаминовых нейронов. Она буквально относится к разряду ошибок, на которых учатся. Стейнберг с соавторами установили, что дофаминовый сигнал, кодирующий такую ошибку в предсказании вознаграждения, является причиной научения.
Но чтобы доказать, что активность дофаминовых нейронов, кодирующих ошибку предсказания вознаграждения, действительно является причиной научения, необходимо также показать и эффект негативной ошибки: когда повторяющаяся уже не активация, а кратковременная пауза в активности нейронов сразу после действия условного стимула должна теоретически привести не к усилению, а к ослаблению ассоциации этого стимула с вознаграждением. Однако эта задача не из легких: устраняя подкрепление, мы получаем быстрое угашение выученных реакций. Группой ученых под руководством Джефри Шоенбаума 7 был применен изощренный, но при этом изящный методический прием. Такого рода приемы в англоязычной литературе обычно называют elegant, что для уха русскоговорящего человека несколько неожиданно применительно к исследованию. Чтобы попытаться понять его суть, совершим поход в магазин за продуктами (и допустим, что у нас нет богатого опыта хождения по магазинам). Итак, у нас есть электронная карта магазина, которая дает хорошую скидку вроде бы на все покупки. Придя в магазин, мы обнаруживаем, что в этот день проходит акция: наши любимые шоколадки продают с очень привлекательной скидкой. Мы прикидываем в уме, что вместе со скидкой по карте это выходит почти даром, — и набираем этой вкуснятины на пару-тройку месяцев вперед, ведь время сейчас такое… Но когда мы оплачиваем покупку на кассе, нам говорят: «А на товар по акции скидки не-е-ет!» Что ж, ладно, однако мы не собирались тратить столько денег.
Вот примерно так чувствует себя крыса в созданной экспериментаторами ситуации завышенных ожиданий. В начале обучения в ответ на три разных условных стимула, предъявляемых по отдельности, выдается по одной порции вознаграждения; на следующем этапе два из этих стимулов предъявляют одновременно, а животное также получает одну порцию вознаграждения, третий же стимул так же, как на первом этапе, предъявляется отдельно всё с той же порцией. Самое интересное обнаруживается на заключительном этапе, когда всё те же стимулы снова предъявляют каждый в отдельности. Теперь оказывается, что стимулы, которые предъявляли совместно на предыдущем этапе, оказываются гораздо менее привлекательными для животного по сравнению со стимулом, который всегда предъявлялся изолированно. Экспериментаторы интерпретируют эти результаты так: при совместном предъявлении условных стимулов создается ситуация завышенных ожиданий (примерно как у нас в магазине, когда мы суммировали выгоду от акции и от действия дисконтной карты) и когда эти ожидания не оправдываются, стимулы теряют былую привлекательность, и эта потеря обусловливается негативной ошибкой предсказания вознаграждения (ожидали двойную порцию, а получили одну).
Чем привлекательна эта поведенческая парадигма для экспериментаторов? Как видите, в ней отсутствует быстрое угашение в явном виде, к которому обычно приводит негативная ошибка предсказания вознаграждения, но к нему же может привести и какой-то другой неявный эффект воздействия. А здесь вознаграждение продолжают подавать, все реакции сохраняются, и эффект, казалось бы, проще интерпретировать… Используя этот подход для исследования функций дофаминовой системы, Шоенбаум с сотрудниками, однако, не стали разочаровывать крыс — они после совместно предъявляемых стимулов давали им двойную порцию свежих пахнущих бананом сладких шариков, но при этом всё время, пока крыса ела добавку, оптогенетически тормозили ее дофаминергические нейроны. В результате тестирования оказалось, что стимул, который предъявлялся в отдельности, более привлекателен для животного, несмотря на то, что при совместно предъявляемых стимулах было двойное вознаграждение (скидки суммировались) — значит, тормозящее воздействие оптогенетической стимуляции действовало как негативная ошибка предсказания.
Пытаясь прояснить природу самостимуляции на новом методическом уровне, исследователи под руководством Сатоси Икемото решили испытать решимость крыс добиваться стимуляции во что бы то ни стало. Нет, они не посылали их за живой водой или молодильными яблоками, они просто меняли параметры стимуляции. Изменяли временной интервал между нажатиями и подкреплением, а также количество необходимых нажатий на педаль для получения одного залпа световой стимуляции дофаминовых нейронов 8. Оказалось, что поведение животных, работающих ради стимуляции дофаминовых нейронов, кардинально отличается от поведения животных, нажимающих на педаль для получения пищевого вознаграждения. Какие различия наиболее яркие? В то время, как крошечный кусочек пищи на несколько секунд приводит к прекращению нажатий на педаль, кратковременное возбуждение дофаминовых нейронов, наоборот, ускоряет инициацию следующего нажатия, но этого запала хватает лишь на одну секунду. А вот если увеличить промежуток между подкрепляющими стимуляциями совсем немного — до трех секунд, — мышь быстро теряет интерес к педали, а уж при интервале в десять секунд и вовсе перестает нажимать на педаль, тогда как в подобной ситуации голодная мышь жмет со всё возрастающим напором. Авторы, называвшие на протяжении всего текста статьи световую стимуляцию дофаминовых нейронов подкреплением, в результате приходят к выводу, что это не совсем подкрепление или даже совсем не подкрепление. Они считают, что активация дофаминовых нейронов облегчает инициацию действия (помогает начать действовать) и этот мотивационный эффект очень короток. Заметили? Подкрепление сменилось на мотивацию! Таким образом, тщательный анализ поведения при самостимуляции приводит к выводам совсем не в пользу большой значимости роли дофамина в процессах подкрепления. И выходит, что в описанной работе находит подтверждение уже третья гипотеза о специфической роли дофамина в поведении: дофамин опосредует мотивацию. Конечно, понятия «мотивация», «подкрепление» и «вознаграждение» идут рука об руку. Порой в естественном поведении они трудноразличимы и, более того, неразделимы на уровне стимулов: мотивирующие стимулы вознаграждают, а вознаграждающие стимулы мотивируют. Кто из нас не испытывал прилива сил после искренней похвалы? Но когда мы обсуждаем научение конкретному движению, например нажатию на педаль, то вот это самое движение является водоразделом между мотивацией и подкреплением: мотивационные процессы критичны до момента выполнения движения, процессы подкрепления — сразу после.
Келли Макгонигал в книге «Сила воли. Как развить и укрепить» задается вопросами: «А вдруг крысы Олдса и Милнера стимулировали себя до изнурения не потому, что это было приятно? Что если область мозга, которую они активировали, не награждала их ощущением глубокого удовлетворения, а всего лишь его обещала? Может, крысы возбуждали себя, так как мозг говорил им, что осталось нажать еще лишь разок — и случится что-то расчудесное?» — и вполне обоснованно, но, на наш взгляд, излишне категорично отвечает на это: «Олдс и Милнер открыли не центр удовольствия, а то, что нейробиологи теперь называют системой подкрепления. Область, которую они стимулировали, была частью самой примитивной мотивационной мозговой структуры, которая возникла, чтобы побуждать нас к действию и потреблению».
В то время как Макгонигал отождествляет системы подкрепления и побуждения и отказывается замечать удовольствие в предвкушении — «когда возбуждалась система подкрепления, [испытуемые] переживали предвкушение, а не удовольствие», — Рой Вайз задается вопросом о том, существует ли четкая грань между предвкушением вознаграждения и получением вознаграждения 9. Он считает, что ответ на вопрос не так очевиден, как поначалу может показаться. Например, если речь идет о пище: когда мы получаем вознаграждение — когда уже ничто не мешает нам пойти на обеденный перерыв, когда думаем об ожидающем нас за открывающейся дверью кафе обеде, когда ощущаем аппетитный запах, когда уже видим аппетитные блюда, когда берем в руки столовые приборы или только когда наконец ощущаем вкус пищи? Оказывается, что и вкус — лишь обещание награды в строгом смысле. Здравый смысл отказывается верить в это. Но экспериментальные данные показывают, что ради получения сахарина — сладкого, как известно, но лишенного пищевой ценности — готовы работать далеко не все крысы, а только те, которые ранее уже пробовали питательные сладости, например материнское молоко 10.
И какова же здесь роль дофамина? Об этом — в одном любопытном исследовании. В нем показано 11, что мутантные мыши, у которых полностью отсутствуют вкусовые рецепторы к сладкому (а значит, они не ощущают вкуса веществ, которые воспринимаются нами как сладкие), все-таки обучаются различать поилки с сахаром и без него и предпочитают пить из тех, что содержат сахар, и это сопровождается выделением дофамина. А будет ли выделяться дофамин, если мы заменим сахар на некалорийный сахарин? Нет, подсластитель не вызывает повышения уровня дофамина у мутантных мышей. И эти мыши не предпочитают раствор сахарина воде.
А что же у мышей без спровоцированного генетического дефекта, у нормальных мышей? У них в ответ на вкус сахарина дофамин выделяется, для них сладкое — это сигнал полезности, ведь они этому научились еще тогда, когда питались материнским молоком. Эти результаты указывают на участие дофаминовой системы во внутренних, сокрытых от нас метаболических аспектах подкрепления и в очередной раз ставят нас в тупик перед сложностью самого явления «подкрепление».
Дофамин и движение
Но мы еще не рассмотрели сквозь призму новых методов последнюю из важнейших гипотез о ключевой роли дофамина в организации движения. Вы, наверное, знаете историю про двух лягушек, оказавшихся то ли в горшке со сметаной, то ли в крынке с молоком (доподлинно неизвестно, как они там оказались). Так вот, выбраться было совершенно невозможно, и одна из лягушек, потеряв надежду, вскоре утонула. Другая же никак не хотела сдаваться и продолжала энергично барахтаться в молоке. Неожиданно для себя она сбила масло, и это помогло ей выбраться.
Соблюдая все конвенции об этическом отношении к животным, некоторые исследователи помещают мышей, подобно этим лягушкам, в цилиндрический сосуд с водой, подобный узкому стакану, из которого нельзя выбраться (делают это они не только из любви к истине, но и чтобы найти подход к лечению такого тяжелого недуга, как депрессия). Мыши, как и лягушки, могут либо неподвижно «висеть» в этих сосудах, постепенно погружаясь всё глубже, либо совершать плавательные движения. От чего же зависит, сдастся мышь или продолжит борьбу? Выяснилось, что побуждает животное не сдаваться именно дофамин: оптогенетическая стимуляция дофаминергических нейронов VTA существенно увеличивала число плавательных движений в единицу времени 12. Можно допустить, что данный эффект опосредован главным образом изменением мотивационного состояния, а не прямыми влияниями на механизмы организации движения. Однако в недавнем исследовании, опять-таки с применением оптогенетического метода, продемонстрировано, что дофаминовые нейроны черного вещества играют ведущую роль в контроле кинематических характеристик (например, скорости и ускорения) произвольного движения 13. И это уже указывает на более тесную связь среднемозгового дофамина с движением.
Итак, активность дофаминовых нейронов связана с движением, но как? Обычно, когда существует связь, всех начинают интересовать подробности этой связи. И в 2016 году были опубликованы результаты двух работ разных коллективов исследователей, в каждой из которых мышь с закрепленной головой помещали на поверхность барабана, который может вращаться, если животное пытается по нему шагать.
Что это дает исследователям? В обоих случаях ученым хотелось иметь дело с бодрствующими подвижными животными, но одна группа пыталась при этом заглянуть в мозг при помощи микроскопа, чтобы увидеть работающие и при этом светящиеся окончания дофаминовых нейронов (если вы вдруг подумали, что для работающих клеток светиться — это вполне естественно, то огорчу вас: это не так, это очередное методическое чудо), а другая пометила зарегистрированные клетки особым веществом (нейробиотином), чтобы потом разобраться, были ли эти клетки дофаминергическими. И то и другое очень трудно сделать на свободноподвижных животных, здесь и оказался полезен барабан: ты вроде бы передвигаешься и даже бежишь иногда, но при этом остаешься на месте (подобно Алисе в Зазеркалье), а главное — голова хорошо закреплена и неподвижна, что равно необходимо для обоих методов. Самое интересное, что результаты этих работ оказались практически противоположны друг другу: начало движения сопровождалось кратковременной активацией дофаминергической системы мыши в одной работе и, наоборот, короткой паузой в дофаминовой активности — в другой 14. Хотя вполне может оказаться, что всё дело в нюансах, например в немного разных временах — реакции могли начинаться чуть раньше или чуть позже начала движения, — в разных методах измерения и оценки активности нейронов, в присутствии вознаграждающих стимулов в экспериментальных условиях у одних исследователей и в отсутствии таковых у других и т. д. Главное для нас — то, что и эта гипотеза о ключевой роли дофамина в организации движения сохраняет свою актуальность и в очередной раз требует уточнений.
Итак, для всех основных конкурирующих гипотез о специфике участия дофамина в поведении найдены новые весомые доказательства; проблема только в том, что гипотезы по-прежнему хотя бы отчасти существенно противоречат друг другу. Совсем не хочется иронизировать по этому поводу, так как я убеждена: корень проблемы — в объекте исследования, тайна его глубока, его «секрет разгадке жизни равносилен».
Наталья Ивлиева, нейрофизиолог
1 Ex oriente lux (С Востока свет) — латинское крылатое выражение.
2 Ивлиева Н. Дофамин и счастье // ТрВ-Наука № 351 от 19 апреля 2022 года. trv-science.ru/2022/04/dopamine-i-schastje/
Ивлиева Н. Догадка о дофамине и сознании // ТрВ-Наука № 353 от 17 мая 2022 года. trv-science.ru/2022/05/dogadka-o-dopamine-i-soznanii/
Ивлиева Н. На путях свободы // ТрВ-Наука № 354 за 31 мая 2022 года. trv-science.ru/2022/05/na-putyax-svobody/
3 Tsai H. C., Zhang F., Adamantidis A., Stuber G. D., Bonci A, de Lecea L., Deisseroth K. Phasic firing in dopaminergic neurons is sufficient for behavioral conditioning // Science. 22 May 2009; 324(5930): 1080–4.
4 Witten I. B., Steinberg E. E., Lee S. Y., Davidson T. J., Zalocusky K. A., Brodsky M., Yizhar O., Cho S. L., Gong S., Ramakrishnan C., Stuber G. D., Tye K. M., Janak P. H., Deisseroth K. Recombinase-driver rat lines: tools, techniques, and optogenetic application to dopamine-mediated reinforcement // Neuron. 2011. 72(5):721–33; Rossi M. A., Sukharnikova T., Hayrapetyan V. Y., Yang L., Yin H. H. Operant self-stimulation of dopamine neurons in the substantia nigra // PLoS One. 2013. 8(6): e65799.
5 Милнер П. Физиологическая психология (1973).
6 Steinberg E. E., Keiflin R., Boivin J. R., Witten I. B., Deisseroth K., Janak P. H. A causal link between prediction errors, dopamine neurons and learning // Nature Neuroscience. Jul 2013; 16(7): 966–73.
7 Chang C. Y., Esber G. R., Marrero-Garcia Y., Yau H. J., Bonci A., Schoenbaum G. Brief optogenetic inhibition of dopamine neurons mimics endogenous negative reward prediction errors // Nature Neuroscience. 2016. 19(1):111–6.
8 Ilango A., Kesner A. J., Broker C. J., Wang D. V., Ikemoto S. Phasic excitation of ventral tegmental dopamine neurons potentiates the initiation of conditioned approach behavior: parametric and reinforcement-schedule analyses // Front. Behav. Neurosci. 2014. 8:155.
9 Wise R. A. Brain reward circuitry: insights from unsensed incentives // Neuron. 2002. 36(2): 229–40.
10 Johanson I. B., and Hall W. G. Appetitive learning in 1-day- old rat pups // Science. 1979. 205, 419–421.
11 De Araujo I., Oliveira-Maia A., Sotnikova T., Gainetdinov R., Caron M., Nicolelis M., Simon S. Food reward in the absence of taste receptor signaling // Neuron. 2008. 57(6): 930–941.
12 Tye K. M., Mirzabekov J. J., Warden M. R., Ferenczi E. A., Tsai H. C., Finkelstein J., Kim S. Y., Adhikari A., Thompson K. R., Andalman A. S., Gunaydin L. A., Witten I. B., Deisseroth K. Dopamine neurons modulate neural encoding and expression of depression-related behaviour // Nature. 24 Jan 2013; 493(7433): 537–41.
13 Barter J., Li S., Lu D., Bartholomew R. A., Rossi M. A., Shoemaker C. T., Salas-Meza D., Gaidis E., Yin H. H. Beyond reward prediction errors: the role of dopamine in movement kinematics // Front. Integr. Neurosci. 9:39 (2015).
14 Howe M. W., Dombeck D. A. Rapid signalling in distinct dopaminergic axons during locomotion and reward // Nature. 2016. 535 (7613): 505–10;
Dodson P. D., Dreyer J. K., Jennings K. A., Syed E. C., Wade-Martins R., Cragg S. J., Bolam J. P., Magill P. J. Representation of spontaneous movement by dopaminergic neurons is cell-type selective and disrupted in parkinsonism // Proc. Natl. Acad. Sci. U S A. 2016. 113 (15): E2180–8.