Повторите, пожалуйста

В сериале «Доктор Хаус» есть эпизод, где Хаус назло другим врачам ведет психически нездорового парня по имени Стив, считающего, что у него есть суперспособности, в аэротрубу: смотри, мол, друг, ты и правда умеешь летать, ты и правда супергерой. После чего парень тут же радостно прыгает с многоэтажной парковки.

С точки зрения науки Стив демонстрирует разумный подход к делу. Научным считается то, что можно воспроизвести. Если ты полетал единожды — будь готов сделать это еще раз. Герой совершает, правда, одну ошибку — не соблюдает, как говорят ученые, протокол исходного исследования. Но само намерение воспроизвести эксперимент похвальное.

Журнал Science в четверг наконец опубликовал первые результаты масштабного международного проекта по проверке научных статей по психологии. За три года распределенный «коллектив» авторов из 270 человек и еще 86 волонтеров скрупулезно повторил 100 экспериментов и статистических выкладок из статей, опубликованных в трех ведущих профильных журналах.

Уверенно воспроизвести результат удалось лишь для 39 — то есть меньше чем для половины.

Авторы старательно подчеркивают: психологию выбрали не за то, что там какие-то особенно плохие исследования. Просто это их специализация. Психологи в ответ тоже довольно вежливы. Журналист Джон Боханнон в своей заметке для Science цитирует президента американской Ассоциации психологических наук Чарльза Галлистела: «Это очень хорошо выполненное исследование демонстрирует, что, когда речь заходит о воспроизводимости результатов, психологии нечем гордиться».

И те, и другие выступают на сложном информационном фоне. Всего несколько месяцев назад Science был вынужден отозвать — проще говоря, объявить некорректной — очень громкую статью о том, что отношение к однополым бракам или абортам можно якобы изменить с помощью коротких личных бесед с людьми, у которых есть в этом вопросе персональный опыт. (Исследование стало темой одного из выпусков сверхпопулярного американского радиошоу This American Life, которое слушают два с лишним миллиона человек, поэтому отзыв статьи из научного журнала привлек нетипично много внимания в США.)

Уверенно воспроизвести результат удалось лишь для 39 экспериментов из 100.

Тогда вопросы к качеству исходных данных, которые в итоге и привели к отзыву статьи, первыми стали задавать двое сторонних исследователей, решивших продолжить яркую работу. Аномалии в исходных данных из-за их фальсификации положили конец звездным карьерам Дирка Сместерса и Дидерика Стапеля (об отзыве 55-й по счету научной статьи Стапеля стало известно буквально в среду, за день до выхода свежей критической публикации в Science).

У психологии как экспериментальной науки есть одно важное преимущество. Опросить людей, дать им задания или наблюдать за их реакцией, как правило, проще, чем годами разбираться с дрозофилами, резуховидками или мышами. Тем не менее аналогичный проект по воспроизведению результатов исследований недавно стартовал и для биологии рака. Онкологи, вероятно, все еще не могут забыть, как несколько лет назад компании Amgen и Bayer попытались в своих лабораториях воспроизвести несколько десятков ключевых доклинических (то есть ранних) исследований.

Тогда фармкомпании — то есть люди, которые должны брать новейшие достижения медицинской науки и доводить их до пациентов, — получили показатели в 11 процентов и 25 процентов воспроизводимости. Из 53 ключевых для области работ, отобранных Amgen, успешно повторить удалось только шесть.

Еще авторы статьи в Science настойчиво просят не воспринимать их выводы как свидетельство того, что современная наука «сломана», все ужасно и надо бы до основанья, а затем. Тем более это не означает, что авторы какой бы то ни было из неподтвержденных статей — шарлатаны и жулики и никакого доверия к науке больше нет.

Решить, как же именно их надо воспринимать, особенно людям, далеким от лабораторий, не так просто.

Представьте, что перед вами поставили огромный многоэтажный торт, покрытый глазурью, и предложили испечь точно такой же. Все вокруг говорят, что повторение чужих тортов — очень важное, нужное и полезное дело и что о тортах и кондитерах нужно судить не по красоте или репутации, а по тому, удается ли, следуя рецептам, получить один и тот же результат.

При этом рецепт, список ингредиентов (в том числе и самых экзотических), тонкости приготовления вам предстоит выяснить самим. Кухню, бытовую технику, помощников кондитера и деньги для похода в магазин — тоже найти самим. Может быть, найдутся люди, которые их вам дадут, но гарантий нет.

Этот свой торт вы, скорее всего, не сможете продать, он не добавит вам известности как повару (разве что другие повара будут относиться к вам настороженно, ведь вы таким образом можете поставить под вопрос их мастерство), а автор оригинального кондитерского изделия еще и может сильно обидеться или даже отказаться сотрудничать. И да, ради этого торта вам предлагается забросить собственные пирожные.

А теперь мысленно добавьте к этому вишенку. Если у вас получилось повторить торт, то это говорит лишь о том, что рецепт был корректным, а ингредиенты свежими, — но не о том, что тортом нельзя отравиться или что он полезен для здоровья. Если не получилось, то это (внезапно) тоже не означает, что рецепт был неправильный: возможно, вы не умеете читать, по незнанию случайно заменили сметану майонезом, купили другую муку или слишком рано открыли дверцу печи.

А потом еще придут не имеющие отношения к кулинарии люди — ладно, прямо скажем, журналисты, — которые спросят: а сможет ли кто-нибудь повторить ваш эксперимент по повторению торта? И будут, кстати, правы. (Этот вопрос был, я не шучу, первым на телефонном брифинге по случаю выхода статьи.)

Если вы еще не сбежали с этой гипотетической кухни — хм, а вы когда-нибудь задумывались об академической карьере?

Вот так, если грубо, выглядит проблема проверки воспроизводимости для научных результатов. Это страшно неблагодарное дело, которое плохо стыкуется почти со всем, что характеризует современную западную науку как отрасль. Кругом все еще процветает подход «публикуйся или исчезни» (publish or perish), когда количество статей и их цитируемость используются как главный, если вообще не единственный, критерий успеха. Под его гнетом, с одной стороны, мало стимулов повторять чужие работы (их до сих пор печатают не очень охотно, да и где новизна?), с другой — много соблазна «лакировать» собственные результаты и подгонять их, чтобы они все же были приняты к публикации.

Представьте, что перед вами поставили огромный многоэтажный торт, покрытый глазурью, и предложили испечь точно такой же.

Психолог Энтони Гринуолд как-то раз довольно убедительно, на схеме, показал, как существующая система научных публикаций ожидаемо формирует перекос не в пользу «отрицательных» результатов (когда, например, связи или зависимости между двумя явлениями найти не удалось). Такие результаты несправедливо считаются плохими, негодными — непечатными, в общем.

Гринуолд свою схему нарисовал в 1975 году; спустя три с лишним десятилетия из 100 отобранных статей «положительный» результат нашелся в 97. Если бы реальные научные исследования действительно имели такую success rate, частоту обнаружения новых и значимых эффектов — ну, я не знаю, на Марсе бы уже цвели яблони, наверное.

Наконец, ведущий автор исследования в Science про перепроверку 100 психологических экспериментов — психолог Брайан Нозек из Университета Вирджинии на брифинге оценил количество научных статей, публикуемых ежегодно, в полтора миллиона — и тут же добавил, что, скорее всего, эта цифра уже успела устареть. К сожалению, еще одной, «параллельной» или «теневой», науки для перепроверки всех этих результатов у нас нет.

Итак, воспроизведение результата против всего остального. Для авторов статьи выбор, кажется, однозначен, потому что ее первое предложение звучит так: «Воспроизводимость — фундаментальный принцип научного прогресса». Споры о том, можно ли из полученных результатов делать те или иные выводы и почему, бессмысленны, если результаты больше никому не удалось получить, пишут ученые.

Значит ли это, что надо, скажем, законодательно обязать всех аспирантов первые N лет заниматься строго повторением чужих работ? Возможно (такие пожелания есть). Но еще можно не только гнать всех на субботники, но и меньше мусорить — то есть бороться за качество исходных статей.

Решение проблемы начинается с ее признания, и здесь дело движется: из сугубо внутреннего дела ученых эта проблема все увереннее превращается в публичную.

Журнал Nature еще в 2011 году отмечал десятикратный рост количества случаев отзыва статей в последнем десятилетии — по их тогдашним оценкам, на невоспроизводимость результатов приходилось примерно 11 процентов случаев, тогда как на плагиат, самоплагиат и фальсификацию данных — еще 44 процента. Уже тогда было ясно, что дело не только и не столько в резко упавшем качестве научных работ, сколько в том, что недочеты, ошибки и обман стали чаще обнаруживать.

Небольшой блог Retraction Watch, которому тогда был всего лишь год, еще только начинал приучать ученых и издателей к тому, что журналистам и обществу в целом есть дело до отозванных публикаций. В той же заметке Nature авторы блога, Айван Орански и Адам Маркус, вспоминают, что как-то раз редактор одного из журналов в ответ на вопрос о слишком туманном сообщении об отзыве сказал им: «Это не ваше, черт возьми, дело». Сейчас так им уже вряд ли кто-то решится ответить.

После того как в 2000 году клинические испытания лекарств в США обязали регистрировать заранее и публиковать статью при любом исходе, доля положительных результатов упала с 57 процентов до 8.

Не всегда по своей воле, не всегда быстро, но наука перестраивается. Журналы договариваются публиковать больше статей о перепроверке исследований, ученые — делать исходные данные более доступными и заранее отправлять в журнал протокол планируемого анализа (чтобы потом нельзя было его «подкорректировать» для желаемых результатов; журнал, в свою очередь, соглашаясь с протоколом, обязуется затем опубликовать любой, не только красивый, результат).

На примере медицины понятно, чем это грозит. После того как в 2000 году клинические испытания лекарств в США обязали регистрировать заранее (и публиковаться при любом исходе), доля положительных результатов упала с 57 процентов до 8.

Есть некоторый соблазн назвать происходящее «очищением», но, прежде чем поддаваться ему, полезно вспомнить, что ученые — не инопланетяне, наука существует не в каком-то параллельном измерении, и ничего такого, с чем бы не боролись и все остальные тоже, там не происходит. Дайте знать, когда цитата про новости и человека, который укусил собаку, перестанет быть актуальной.

Полезно также никогда не забывать о том, что абсолютное большинство из нас смотрит на науку исключительно со стороны — нет, вообще даже смотрит не на науку, а на ее отражение в СМИ и популярной культуре. Полезно помнить, что наука тоже смотрится в это кривое (мне как журналисту можно это написать) зеркало, а иногда мы ее еще и заставляем туда оглядываться. Кто из нас никогда не шутил про британских ученых, у которых кофе сегодня полезен, а завтра вреден, тот может взять пирожок с полки.

Старший редактор Science Гилберт Чин неожиданно начал тот самый пресс-брифинг с определения понятия «наука» из Википедии. Кажется, стоило бы туда добавить цитату из недавнего шикарного эссе о состоянии науки на статистическом проекте FiveThirtyEight: «Наука — это трудно. Очень, [непечатно], трудно».

Так что нет, наука не сломана — можно поверить людям, которые сами нашли 61 процент невоспроизводимых результатов. Хотя, если хотите, можете подождать, пока их результат тоже кто-нибудь воспроизведет.