Михаэль Пунтшу: «Некоторых из ошибок, совершаемых алгоритмами, не сделал бы и ребенок»

В нашей новой рубрике «Из жизни алгоритмов», которую Кольта делает при поддержке Гете-института в Москве, мы продолжаем рассказывать, как технологии ИИ вторгаются в нашу жизнь и как мы можем их воспитать и обуздать для собственного блага.

Этому вопросу будет посвящена и часть большой конференции «Сетевой сентябрь», организованной «Теплицей социальных технологий» и Гете-институтом. Конференция пройдет в режиме онлайн 3–4 сентября.

На отдельной панели — «Танец алгоритмов: этичное партнерство или борьба за объективность?» — речь пойдет именно о сознательном и системном общественном контроле над алгоритмическими механизмами.

В дискуссии примут участие руководитель проекта по подготовке отчета «Automating Society» за 2020 год в AlgorithmWatch Фабио Кьюзи, руководитель «Теплицы» Алексей Сидоренко и советник по политическим вопросам в немецкой компании iRights.Lab Михаэль Пунтшу, который координирует проект Algo.Rules.

Algo.Rules — это набор критериев, которые предлагается учитывать и в частном, и в государственном секторе при разработке дизайна алгоритмов на всех этапах — от создания до применения. Это попытка учесть множество факторов: от конкретных сложностей при работе с большими компаниями в сфере высоких технологий до попыток более точно просчитать и проверить последствия работы алгоритмических систем на предмет заложенных в них общественных стереотипов и дискриминационных практик. Над разработкой Algo.Rules работало более 500 экспертов из разных областей — от исследователей гуманитарной сферы до чистых технологов.

Девять принципов, которые предлагает Algo.Rules, звучат так: «усилить компетентности, определить ответственность, документировать цели и ожидаемое воздействие, обеспечить гарантию безопасности, провести маркировку, обеспечить понятность, соблюдать гарантию управляемости, вести мониторинг воздействия, установить механизмы подачи жалоб».

Что означают эти правила и какие сложности возможны в процессе их предметной реализации, обсудил с Михаэлем Пунтшу Дмитрий Муравьев.

Кроме того, Михаэль проведет на «Сетевом сентябре» свою собственную онлайн-мастерскую.

Регистрация на все события конференции — вот здесь.

— Какова общая цель проекта Algo.Rules?

— Все чаще мы наблюдаем, как алгоритмические системы влияют на повседневную жизнь — в социальных медиа, кредитовании, предсказательной полицейской аналитике и других сферах. В США, например, алгоритмы используются при определении срока тюремных наказаний.

В последние пару лет много исследователей пыталось выработать наборы правил, которые могли бы направлять принятие решений при помощи алгоритмических систем. В Algo.Rules мы хотели сконцентрироваться на конкретном этапе — на процессах их разработки и дизайна. Наш проект привлек около 500 экспертов из разных областей знаний — от компьютерных наук до социально-гуманитарных дисциплин.

В результате мы разработали девять процессуальных критериев, призванных направлять ход разработки. Эти принципы должны стать основой для обсуждения этических вопросов, но в них не заложено никакого конкретного понимания моральных ценностей. Идея тут в том, что если следовать нашим критериям, то они дадут основания для, к примеру, дискуссий о том, что такое «честность», но они не определяют ее за вас.

У нашего процессуального подхода, несомненно, есть свои ограничения. К примеру, мы можем себе представить алгоритмическую систему, которая спроектирована целенаправленно для дискриминации. При этом она вполне может соответствовать нашим критериям: она понятна, ее цели много обсуждались, есть механизм подачи жалоб на ее работу. Так что, если с процессуальной точки зрения все корректно, дело за общественностью. Именно в обществе должно происходить обсуждение того, какой люди хотят видеть алгоритмическую систему. Мы лишь предоставляем ряд руководящих принципов.

— Что обычно эксперты имеют в виду, когда говорят об «этичном ИИ»? Какие конкретные меры здесь предлагаются?

— В целом сам термин «этичный ИИ» достаточно проблематичен, потому что он предполагает, что обучающиеся алгоритмические системы смогут самостоятельно принимать во внимание этические соображения. Это точно не то, что мы в Algo.Rules имеем в виду. Именно люди всегда определяют, как работают алгоритмические системы, поэтому нам и необходимо размышлять и об этических предпосылках, и о последствиях наших поступков. Это многоступенчатый процесс, который должен начинаться с определения целей системы, ее функционала, а продолжаться испытаниями в поле. Чтобы оценить такую систему, нужно понимать, как она работает, чтобы затем иметь возможность поставить ее под вопрос и вынести на общественное обсуждение.

Приведу пример. Один из предлагаемых нами принципов — убедитесь в понятности системы (ensure intelligibility). Цель этого критерия заключается в том, чтобы люди, чьи жизни затронуты алгоритмической системой, могли понять всю процедуру принятия решений. Для нас в понятности системы заложено несколько элементов. Прежде всего, мы предлагаем различать внешнюю и внутреннюю понятность. Скажем, система фильтрует кандидатов на открытую вакансию. Внутренняя понятность означает, что в отделе кадров осознают, как работает алгоритм. Внешняя понятность, в свою очередь, дает кандидату представление о том, почему по его поводу было принято именно такое решение. Для людей из отдела кадров это важно, потому что позволяет им лучше делать свою работу. Для кандидата это возможность узнать, почему его, к примеру, отвергли.

По этому критерию мы проводим и второе различие — между общей и специфической понятностью. Первое понятие отсылает нас к пониманию системы в целом: какие данные она использует, какие факторы учитываются, обучается ли алгоритм, как это происходит? Есть ли ответственный человек, который следит за самим процессом принятия решений? Специфическая понятность — это возможность оценить конкретный исход, рекомендованный алгоритмом.

При этом надо сказать, что сделать алгоритмические системы с обучающимся компонентом ясными — большое испытание. Машинное обучение сильно отличается от того, как учатся люди. В некоторых случаях алгоритмы основывают свои решения на таких закономерностях, выявленных ими в данных, которые человеку может быть непросто понять. Тем не менее мы можем все же пытаться сделать такие системы более ясными. Можно задаться вопросами: какой фактор учитывался прежде всего? Что можно было бы модифицировать в системе, чтобы результат изменился? Ответы на них все равно не всегда дают полное объяснение, но все же они нас к нему приближают.

— Часто в дискуссиях об алгоритмах всплывают понятия «прозрачность» и «подотчетность». Не могли бы вы рассказать о том, как вы работаете с этими идеями в вашем проекте?

— «Прозрачность» — это термин, который мы сами не используем, поскольку он касается множества разных вещей и довольно расплывчат. В рамках Algo.Rules прозрачность алгоритма определяется именно как его «понятность». Что касается «подотчетности», то речь тут идет об ответственности за результаты работы алгоритмической системы. Алгоритмы никогда полностью не автономны, они сами за себя ответственность нести не могут, поэтому подотчетность должна быть на стороне стоящих за ними человека или организации. Можно сказать, что именно алгоритм «принял решение». Но ведь кто-то спроектировал эту систему и затем решил, как она будет использоваться.

— Существует ли конфликт между подотчетностью и коммерческим характером многих алгоритмических систем? Алгоритмы часто разрабатывают компании, которым может быть невыгодно делать их предметом общественного рассмотрения.

— Да, такая проблема с реализацией Algo.Rules действительно есть. Частный бизнес нередко не хочет, чтобы дизайн разработок был предан огласке, поскольку он видит в этом для себя риски потерять конкурентное преимущество. И тут возникает более широкий вопрос о том, как должна выглядеть в целом наша цифровая экосистема, — вопрос, выходящий за рамки более узких дискуссий об алгоритмах. Однако нам кажется, что можно раскрыть, как работает система, но при этом не требовать информации об исходном коде. Например, можно взглянуть на понятность системы для разных затронутых ею сторон, изучить ее долгосрочные и краткосрочные эффекты.

В Algo.Rules мы считаем, что можно найти баланс между общественным и частным интересами; более того, делать это необходимо, потому что это единственный способ избежать в сфере юридической защиты, этики и прав человека нежелательных для нас последствий. Кстати, частные компании тоже не заинтересованы в алгоритмах, которые работают некорректно. Если система по какому-либо принципу дискриминирует людей, они могут начать оставлять жалобы, перестать покупать продукты этой фирмы и так далее. Так что в каком-то смысле и сам бизнес заинтересован в том, чтобы задумываться о верном дизайне алгоритмических систем.

— Философы часто обсуждают ИИ как «моральную машину». Согласно этой идее, этику можно сделать внутренним свойством самого алгоритма. Как общий замысел и принципы Algo.Rules соотносятся с такой постановкой проблемы?

— У меня есть ряд претензий к этой линии размышлений. Во-первых, алгоритмы сейчас все же относительно ограниченны. Они не могут приспосабливаться к разным контекстам и решают только те проблемы, которые поставлены перед ними определенным образом. Некоторых из ошибок, совершаемых алгоритмами, не сделал бы и ребенок. Поэтому я не уверен, что способность справляться со сложными моральными дилеммами может стать внутренним свойством дизайна самих алгоритмов. Во-вторых, дискуссия о «моральных машинах» как бы делает алгоритмы самостоятельными агентами, но, как я уже говорил, это некорректно. Когда мы считаем машины автономными, мы снимаем ответственность с людей. Мое третье соображение связано с самой природой этических размышлений: это занятие, требующие рефлексии, знания культуры и контекста. Такие вещи сложно перевести в числа, поэтому я не думаю, что алгоритмы способны на это сами.

Часто в разговорах об этике ИИ вспоминают про «дилемму вагонетки». Я понимаю, почему это происходит, — это делает всю проблему легко представимой. Но не стоит забывать, что это все-таки воображаемые сценарии. Мы можем размышлять, кого беспилотный автомобиль сбил бы, если бы такой выбор ему необходимо было сделать, — ребенка, женщину, мужчину или пожилого человека. Но такие сценарии очень редко возникают на практике, мы всегда будем иметь дело с большим набором параметров, например, с таким, как выживаемость. На мой взгляд, размышления об этичном ИИ в терминах «дилеммы вагонетки» уводят нас от реально важных вопросов. Как мы собираемся проектировать эти системы? Для чего мы будем их использовать? Как мы будем разбираться с отношениями власти, которые стоят за такими системами?

— В экспертном сообществе активно сейчас обсуждается, как дискурс этики используется компаниями, чтобы обелить себя (ethics-washing). Этика инструментализируется и используется IT-компаниями в упрощенном виде — через создание комиссий, наблюдательных советов и этических кодексов, которые не имеют реального воздействия на процесс дизайна. Таким образом компании хотят избежать ответственности. Эта критика важна для Algo.Rules? И какие последствия она имеет для будущего этичного ИИ?

— Такая критика очень важна, и в команде Algo.Rules мы много это обсуждаем. Мы видим здесь дилемму. С одной стороны, наша работа над гайдлайнами дает компаниям ряд принципов, вокруг которых они могут выстроить содержательное обсуждение, — и это позволяет сказать, что исключительно внутренним аудитом им не обойтись. С другой стороны, сам дискурс этики сейчас присутствует не только в частном, но и в государственном секторе. И тут возникает путаница, потому что этичный дизайн до сих пор никак не связан с правовой защитой, которую должно предоставлять именно государство. Здесь начинаются проблемы государственного управления и права, для которых одной этики недостаточно — необходимо задавать вопросы о том, как эти алгоритмы управляются в целом. Баланс здесь найти действительно очень сложно. Нам хотелось бы сохранить важность этики в дискуссиях об ИИ, но при этом не потерять из виду и другие вопросы.

В конечном итоге алгоритмические системы дают нам много новых возможностей, если спроектировать их должным образом. В определенном смысле наши стандарты по отношению к людям похожи на те, какие мы предъявляем и к алгоритмам. Нам бы хотелось, чтобы решения, которые принимают люди, были нам понятны, мы часто хотим, чтобы у нас была возможность оценить эффект от этих решений и понять, кто несет за них ответственность. Это достаточно базовые вопросы, но ответы на них важны и в ситуациях с алгоритмами. Без них нам будет сложно построить для всех лучшее будущее.