Цифры врут. Как не дать статистике обмануть себя – аналитический портал ПОЛИТ.РУ

Том Чиверс, Дэвид Чиверс

Полит.ру знакомит читателей с книгами, вошедшими в длинный список претендентов на премию «Просветитель.Перевод» 2023 года. Премия уже в четвертый раз отмечает лучшие работы редакторов и переводчиков научно-популярной литературы на русский язык. Всего в длинный список вошли двадцать книг. Короткий список премии «Просветитель.Перевод» будет объявлен до конца сентября.

Издательство Individuum представляет книгу Тома и Дэвида Чиверсов «Цифры врут. Как не дать статистике обмануть себя» (переводчик Наталья Шахова; редакторы Мария Москвина, Юлия Исакова).

Чтение на ночь сокращает жизнь. Видеоигры провоцируют массовые убийства. Газировка делает людей агрессивными. Что?! Нет! Каждый день медиа пишут о сенсационных открытиях и шокирующих результатах исследований. Но не всем им можно верить: статистические погрешности, намеренные фальсификации и неочевидные огрехи никто не отменял.

Из-за пандемии COVID-19 человечество было вынуждено пройти ускоренный курс статистики: теперь мы неплохо разбираемся в графиках, кое-что слышали о нормальном распределении и знакомы с ошибкой выжившего. Но нам еще многое предстоит узнать. Как работают математические модели? Чем отличаются абсолютные и относительные риски? О чем говорят рейтинги? Что такое ошибка техасского стрелка? Научный журналист Том Чиверс и преподаватель экономики в Даремском университете Дэвид Чиверс на примерах громких заголовков ковидного времени показывают, как не дать себя обмануть с помощью чисел.

Предлагаем прочитать фрагмент книги.

Не изменилось ли то, что мы измеряем?

«Количество преступлений на почве ненависти в Англии и Уэльсе за пять лет удвоилось», — сообщила The Guardian в октябре 2019 года. Звучит ужасно.

Данный заголовок опирался на статистику, собранную полицией за 2013–2019 годы. В газете констатировалось, что в 2018–2019 годах стражам порядка сообщили о 103 379 преступлениях на почве ненависти, 78 991 из них были связаны с расой. А в 2012–2013 годах их было меньше — 42 255.

Удивлены вы или нет, прочитав это, обе ваши реакции обоснованны. Мы живем в век страшных и громких преступлений на почве ненависти, хотя в то же время наблюдается всеобщая тенденция к снижению уровня нетерпимости. Например, в обзоре настроений британского общества отмечено, что выросла толерантность к однополым отношениям: в 1983 году менее 20 % британцев считали, что в них нет ничего неправильного, а к 2016 году доля таких ответов превысила 60 %. Сходным образом в 1983 году более половины белых британцев сказали, что им не понравится, если их близкий родственник вступит в брак с темнокожим или азиатом, а к 2013 году таких респондентов оказалось всего 20 %.

Вполне возможно, что общество в среднем становится терпимее, но при этом в некоем предубежденном меньшинстве растут радикальные настроения. И тем не менее странно, что число преступлений на почве ненависти будто бы удвоилось, а количество людей, которые разделяют взгляды, лежащие в основе этих преступлений, уменьшилось более чем наполовину. В чем дело? Давайте сначала поговорим о другом. Диагноз аутизм — расстройство развития, связанное с проблемами в социальных коммуникациях и взаимодействии, — ставится все чаще.

В 2000 году расстройства аутистического спектра (РАС), по оценкам американских Центров по контролю и профилактике заболеваний, встречались у одного из 150 детей; в 2016-м — уже у одного из 54. Но и оценка 2000 года была намного выше показателей предыдущих десятилетий: согласно исследованиям 1960-х и 1970-х, аутизм диагностировался у одного ребенка из 2500 или даже из 5000 детей. Сходные тенденции характерны и для других стран. Особенно для богатых.

Эта динамика привела к разговорам об «эпидемии аутизма», попыткам найти ее истоки. Психиатры винили холодных и отстраненных родителей (введя для этого ужасный термин «мать-холодильник»). Эта теория оказалась совершенно неверной, и то, что у эмоционально сдержанных родителей чаще встречаются эмоционально сдержанные дети, можно объяснить множеством причин. Позже аутизм пытались связать с загрязнением тяжелыми металлами, гербицидами, электромагнитным излучением, глютеном, казеином и — конечно же! — вакцинацией.

Но все эти объяснения не годятся. Мы не используем гербициды в большем количестве, и не доказано, что глифосат (гербицид, который чаще других называют виновником аутизма) как-либо связан с расстройствами развития. Нет никакого правдоподобного механизма или эпидемиологического обоснования связи между радиацией и аутизмом. Связь с вакцинацией не подтверждается доказательствами. Кроме того, если бы это было правдой, наблюдались бы всплески таких диагнозов после внедрения в стране соответствующей вакцинации, а этого не происходит. На самом деле никто не смог найти в окружающей среде никаких убедительных факторов риска возникновения аутизма; представляется, что речь идет в основном о сочетании наследственности и случайности.

Так почему же количество диагнозов аутизма растет так поразительно быстро?

Похоже, вот что произошло. Во втором издании «Диагностического и статистического руководства по психическим расстройствам» (DSM-II), опубликованном в 1952 году, аутизм как диагноз отсутствовал — термин упоминался лишь в связи с детской шизофренией. В 1980 году вышло третье издание справочника DSM-III, где аутизм был уже указан как самостоятельное заболевание — «первазивное расстройство развития», связанное с нарушениями в развитии мозга. Давались критерии постановки диагноза: «нежелание идти на контакт с окружающими», «большой дефицит языкового развития» и «странные реакции на окружающий мир». Если все это замечалось у ребенка до достижения им двух с половиной лет, у него диагностировали аутизм.

Стандарт DSM-III пересмотрели в 1987 году — диагноз расширили. В аутизм включили более легкие формы заболевания, список критериев увеличили до 16 (для постановки диагноза достаточно восьми из них), разрешалось ставить диагноз детям старше двух с половиной лет. Впервые аутизм был разбит на две части: «аутизм» и «первазивное расстройство развития без дополнительных уточнений (PDD-NOS)» — это позволяло ставить диагноз и тем детям, чьи особенности не подходили полностью под определение аутизма, но которые тем не менее нуждались в помощи.

В опубликованной в 1994 году версии (DSM-IV) впервые появилось слово «спектр» и было описано пять различных форм аутизма, включавшие хорошо известный синдром Аспергера*. Из текущего издания, DSM-5 (от римских цифр теперь почему-то отказались), отдельные формы полностью исчезли — три из них объединены под названием расстройства аутистического спектра без четкого разграничения. (Две другие были исключены из категории «аутизм».)

Таким образом за несколько десятилетий понятие «аутистический» неоднократно менялось: сначала отдельного заболевания аутизм не было вовсе, потом их стало пять, а позже — одно, с расширенным определением. За это время соответствующая категория и расширилась: дети, которым раньше из-за старых критериев не могли поставить аутизм, теперь получали этот диагноз.

Неожиданно мы нашли простое объяснение, почему этот диагноз теперь ставится намного чаще, чем раньше: он несколько раз поменял свое значение и расширился до большей категории людей. Постепенно о нем узнавали все больше врачей и родителей, появлялись действенные способы, помогающие улучшить жизнь пациентов с РАС, — поэтому обследовалось все больше детей.

Вполне вероятно, что людей с ментальными особенностями, теперь ассоциирующихся с аутизмом, среди населения не стало больше. Кажущийся рост доли людей с аутизмом может объясняться тем, что медики изменили объект своих измерений: став более внимательно приглядываться к характеристикам, которые могут говорить о РАС.

Порой статистика существенно меняется из-за изменения системы учета. Например, за период 2002–2019 годов число изнасилований, зарегистрированных полицией в Англии и Уэльсе, утроилось — примерно с 50 000 до около 150 000. Однако связано это с тем, что раньше стражи порядка и суды не считали их серьезными преступлениями (поразительно, что сексуальное насилие в отношении супруги (или супруга) не считалось преступлением вплоть до 1991 года). Изменения в общественном сознании заставили полицейских пересмотреть свой подход, и теперь они с большей вероятностью регистрируют такие правонарушения.

Если бы мы хотели сравнить количество изнасилований в 2002-м и в 2019-м, используя данные полиции, нам понадобилось бы определить, сколько из них стражи порядка зарегистрировали бы в 2019 году, если бы применяли те же методы, подходы и критерии, которые были в ходу в 2002-м. Но это невозможно, поэтому придется пойти другим путем.

Обзор преступлений по Англии и Уэльсу — это массовый опрос людей о том, как часто они становились жертвами преступлений. Его цель — определить тенденции, поэтому методология не менялась десятилетиями. Соответственно, он не связан с тем, изменились ли у полицейских привычки регистрации преступлений, хотя, конечно, может зависеть от изменений в обществе, например от того, что люди начали свободнее говорить об изнасилованиях и сообщать о них — раньше это по многим причинам было не так. В опросе фиксируется не совсем то, что в полицейской статистике, но он тем не менее отражает ту же самую реальность.

Согласно Обзору, количество изнасилований сократилось с 800 000 в 2004 году до примерно 700 000 в 2018-м. Изменения учета и измерения данных привели к тому, что реальный спад стал выглядеть как подъем. (Стоит отметить, что в Обзоре выявляются только преступления, жертвами которых были люди 16–59 лет, в то время как полиция регистрирует также преступления против детей и лиц более старшего возраста; мы не думаем, что это существенно сказывается на результатах, но это означает, что рассматриваются немного разные вещи.)

Системы измерения и регистрации меняются довольно регулярно, часто по уважительной причине. Это неоднократно происходило в первые месяцы пандемии. Долгое время большинство американских штатов считали, что смерть обусловлена ковидом, только если имелся подтвержденный лабораторным исследованием положительный тест. Затем 26 июня 2020 года несколько штатов договорились включать в статистику «вероятные» смерти, то есть такие случаи, когда у пациента наблюдались симптомы ковида, но не было результатов ПЦР-теста. Потому что было ясно, что при учете только случаев, подтвержденных тестами, теряется большое количество реальных смертей от коронавируса. Так что 26 июня произошел резкий скачок смертности, хотя в реальной жизни ничего не изменилось.

Так что же происходило с преступлениями на почве ненависти? Точно так же, как с изнасилованиями, в новостях фигурировало число преступлений, зарегистрированных полицией. И точно так же, как с изнасилованиями, полиция традиционно была не особенно склонна считать преступления на почве ненависти по признаку расы, пола, особенностей здоровья или сексуальной идентичности достаточно серьезными. В последние годы это, к счастью, стало меняться.

И тут мы тоже не можем посмотреть, сколько преступлений зарегистрировала бы полиция, если бы продолжала применять методы и подходы 2013 года. Зато снова можем воспользоваться Обзором преступлений по Англии и Уэльсу, который, как вы помните, составлен на основании массового опроса населения и позволяет оценить уровень распространенности различных преступлений, не полагаясь на статистику полиции.

Опять-таки и в этом случае числа нельзя сравнивать напрямую, потому что в Обзор включено не совсем то, что в полицейскую статистику; но видно, что реальная тенденция движется в обратную сторону. Обзор показывает, что в 2017–2018 годах произошло около 184 000 преступлений на почве ненависти — меньше, чем в 2007 году (около 300 000) и в 2013-м (около 220 000). Правда, в The Guardian отмечалось, что видимый рост «частично объясняется улучшением учета преступлений».

Ничего хорошего тут все равно нет: 184 000 — это тоже ужасно много. При этом Обзор зафиксировал реальные пики после референдума 2016 года и серии террористических актов в 2017 году. Однако это показывает, что изменения в учете и регистрации могут перевернуть ситуацию с ног на голову, показав рост там, где на самом деле имел место спад. И если СМИ не укажут на эти изменения, вы получите превратное представление о происходящем.

* Характеризуется нарушениями в социальных взаимодействиях. Сохраняются речевые и когнитивные способности. В медиа появляется все больше героев с синдромом Аспергера (сериал «Нетипичный» и фильм «В космосе чудес не бывает»), а недавно о своем диагнозе рассказали активистка Грета Тунберг и предприниматель Илон Маск. — Прим. ред.

Ранее в рубрике «Медленное чтение» были представлены следующие книги, вошедшие в длинный список премии «Просветитель.Перевод»:

Питер Годфри-Смит. Метазоа: Зарождение разума в животном мире / Пер. с англ.: Галина Бородина; научные редакторы Анна Винкельман, Михаил Никитин; редактор Андрей Захаров. М.: Альпина нон-фикшн, 2023.

Сиддхартха Мукерджи. Ген. Очень личная история / Пер. с англ.: Ольга Волкова, Ксения Сайфулина; редактор Ольга Волкова. М.: CORPUS, 2023.

Сара Мэннинг Пескин. В молекуле от безумия: Истории о том, как ломается мозг / Пер. с англ.: Анастасия Смирнова; научный редактор Ольга Ивашкина, редактор Екатерина Иванкевич. М.: Альпина Паблишер, 2023.

Марта Нуссбаум. Политические эмоции: Почему любовь важна для справедливости / Пер. с англ.: Софья Порфирьева; научный редактор Дмитрий Турко, редактор серии Арсений Куманьков. М.: Новое литературное обозрение, 2023.

Роланд Паульсен. А вдруг?.. Тревога: как она управляет нами, а мы — ею/ Пер. со швед.: Елена Тепляшина; научный редактор Полина Цыганкова, редактор Алексей Андреев. М.: Лайвбук, 2023.

Герлинде Пауэр-Штудер, Дж. Дэвид Веллеман. Конрад Морген: Совесть нацистского судьи / Пер. с англ.: Юрий Чижов; научный редактор Дмитрий Гурин, редактор Наталья Нарциссова. М.: Альпина нон-фикшн, 2023.

Анил Сет. Быть собой: Новая теория сознания / Пер. с англ.: Мария Десятова; научный редактор Ольга Ивашкина, редактор Наталья Нарциссова. М.: Альпина нон-фикшн, 2023.

Николас Старгардт. Мобилизованная нация: Германия 1939–1945 / пер. с англ.: Александр Колин; научный редактор Антон Захаров, редактор Анна Захарова. М.: КоЛибри, Азбука-Аттикус, 2023.

Янь Чуннянь. Тысячелетие императорской керамики / пер. с кит.: Ольга Фитуни, Дмитрий Худяков, Виктор Степаненко, Мария Сухорукова, Анастасия Коршунова; научный редактор Вера Белозерова, главный редактор Александра Матвеева, ответственный редактор Делгир Лиджиева. М.: ООО «Международная издательская компания "Шанс"», 2022.

Робин Джордж Эндрюс. Супервулканы. Неожиданная правда о самых загадочных геологических образованиях Вселенной / пер. с англ.: Валентин Фролов; ответственный редактор Анна Захарова, редактор Олег Бочарников. М.: КоЛибри, Азбука-Аттикус, 2023.

Дэвид Энтони. Лошадь, колесо и язык: Как наездники бронзового века из евразийских степей сформировали современный мир / пер. с англ.: Андрей Фоменко; научный редактор Антон Рябов, литературный редактор Константин Залесский. М.: Изд. дом Высшей школы экономики, 2023.

Новое Татьяна Пигарева Испания от И до Я Сергей Сергеев Русское самовластие. Власть и ее границы: 1462–1917 гг. Катерина Михалева-Эгер 350 лет современной моды Леонид Чутко Сил нет Катя Колпинец Формула грез Сергей Плохий Забытые бастарды Восточного фронта Дэвид Чиверс, Том Чиверс Цифры врут. Как не дать статистике обмануть себя Пол Стейнхардт Невозможность второго рода Стивен Хоффман Пять сил, изменяющих все Уолтер Айзексон Взломавшая код Рустам Александер Закрытые. Жизнь гомосексуалов в СССР 3D-каркасы для восстановления костной ткани Платиновый бутерброд для спинтроники