Translated material
Human rights and new technologies in Russia
Publication date: 03/06/2023
Joint submission to the UN High Commissioner
OVD-Info is an independent human rights media project aimed at monitoring cases of political persecution and violations of fundamental human rights in Russia and providing legal assistance to their victims.
Roskomsvoboda is the first Russian public organization leading activities in the field of protecting digital rights and expanding digital opportunities.
In this report, we highlight the problems of the lack of any standards for the use of new technologies in Russia and the resulting human rights violations. Such violations in Russia can be especially often observed in the use of facial recognition systems, online censorship technologies, equipment for traffic management and filtering, and social network monitoring systems. There are no effective mechanisms for restoring violated rights and compensation for harm, preventing future violations, as well as preliminary assessment of technologies for compliance with human rights. Often, society, experts and human rights activists do not have access to the technology algorithms at all. All of the above gives rise to multiple violations of human rights.
In the report, we also analyze good practices in setting standards and assessing technologies from a human rights perspective in other countries, and suggest ways in which such standards and legal processes can be established and operated.
We recommend to the High Commissioner:
- draw attention to the Russian example of using new technologies in the absence of the necessary standards that respect human rights;
- condemn the numerous human rights violations committed by the Russian authorities when using such technologies;
- recommend that countries use mechanisms to assess and analyze the potential impact of technologies on human rights while they are still being developed, and organize public discussions and debates with representatives of those population groups that such technology will or may affect to a greater extent, along with relevant experts.
- recommend that countries ensure that effective measures are in place to protect and restore human rights violated by the use of new technologies, as well as to hold accountable the perpetrators of these violations, including developers and users of technologies.
What examples best illustrate the relationship between technical standards for new and emerging digital technologies and human rights?
Facial recognition systems
In Russia, law enforcement agencies use facial recognition technology not only to suppress and investigate crimes, but also for political prosecutions, as well as for searches for mobilization purposes.
In particular, in Moscow there is a city video surveillance system in courtyards, entrances and crowded places. Shopping centers and nightclubs in Moscow are also being forced to transfer video surveillance data to a data center that is accessible to law enforcement officials. Data from city CCTV cameras was actively used to identify participants in peaceful protests in 2021 and to further prosecute them after their participation in the protests.
In addition, these technologies are actively used in Russian transport, including the metro. Moscow public transport operates the Sfera system with the function of facial recognition, processing and storage of received information. A similar system operates in St. Petersburg .
Since 2022, the facial recognition system has been used for preventive detentions on public holidays or important public events, when, according to authorities, protest activity is more likely. In most cases, those detained in the Moscow metro were those who had previously been prosecuted for participating in protests or for “discrediting” the Armed Forces. Also, sometimes they detained those who were not brought to justice, but participated in protests and were recognized using a video surveillance system, or registered on the websites of opposition platforms, took part in democratic forums, etc. As a rule, such detentions involved being taken to a department of the Russian Ministry of Internal Affairs and conducting a preventive conversation. In total, in 2021–2022, OVD-Info recorded at least 595 arrests using the facial recognition system.
From September 2022. The Sfera system also began to be used to search for men with the aim of mobilizing them, and in 2023. Information has appeared about the creation of a special database with comprehensive data on those liable for military service, which will be coupled with a facial recognition system, including in transport and border checkpoints.
According to official information for February 2023, 8998 cameras transmit signals to the Sphere system; These cameras are located not only at transport facilities, but are also used in mobile complexes. At the same time, at the beginning of February 2023, the authorities reported that with the help of Sphere they detained 7,713 people. On February 15, 2023, in his speech, the deputy head of the Moscow Metro security service, M. Yu. Romashin, at a conference on transport security, said that, if necessary, information received from CCTV cameras is superimposed on cellular communications tracking, data on the use of bank cards, travel tickets, which makes it possible to track down and detain a person. At the same time, he also said that “it would be
It is ideal to arrest people before they commit crimes or offenses, as soon as they think about breaking the law.”
Some detainees, whose identity was established using the Sfera system, appealed their detention and the use of facial recognition algorithms against them, and demanded that their personal data be removed from Sphere. Currently, Moscow courts have considered 5 such cases, and in each of them they refused to satisfy the stated demands. There are 8 more cases with similar claims pending in the courts. According to the court decision in one of the cases, the detention was due to the fact that the person had previously been brought to administrative responsibility for “discrediting” the Armed Forces of the Russian Federation and was wanted for the “Rally” event on Russian Flag Day - August 22, 2022. In another case, still pending in court, a response was received from the Department of the Ministry of Internal Affairs that the detention and delivery would be on September 23, 2022. (the day of “referendums” in the Russian-occupied territories of Ukraine) was due to the fact that, according to the Sfera system, this person is a participant in mass events. However, in most cases, the authorities do not admit that they used the Sphere facial recognition system in connection with protest activity, and refer to the law on operational-search activities and the secrecy of information about such activities.
Technologies used for online censorship
In 2012, the first centralized Unified Register of Blockings appeared in Russia, which is maintained by the supervisory authority in the field of communications and media Roskomnadzor . The register was created on the basis of Federal Law No. 139-FZ, which amended the Law “On Information, Information Technologies and Information Protection” (hereinafter referred to as the “Information Law”), the Law “On Communications” , and the Law “On the Protection of Children from Information Harmful to Their Health and Development” .
The grounds for including sites and Internet pages in the Unified Register and the general procedure for actions of Roskomnadzor, hosting providers and telecom operators were initially recorded in Article 15.1 of the Information Law. Over the next 10 years, the list of grounds and procedure for blocking was expanded and clarified; other rules appeared in the information law aimed at restricting access to specific types of information and online services (for example, instant messengers, email services, VPN services); for some of them, separate blocking registries were created (now there are several of them, all maintained by Roskomnadzor).
In general, restricting access to sites or online services within the framework of the information law is carried out in the following order: an authorized state body or court makes a decision to restrict access to information or an online service, sends the decision to Roskomnadzor, Roskomnadzor enters information into the appropriate blocking register (domain name of the site or page index, network address of the site, a short description of the type of prohibited information, details of the decision that is the basis for blocking, the date the decision was received by Roskomnadzor, sending a notification to the provider hosting and telecom operator). Roskomnadzor transmits information about sites, Internet pages and IP addresses that need to be blocked to Russian telecom operators in an automated mode (downloading data 2 times a day). By virtue of the law on communications, Russian telecom operators are required to limit the access of their subscribers to those sites and online services that are downloaded from Roskomnadzor (a large administrative fine is provided for failure to fulfill this obligation).
There are no mandatory technological standards in the field of Internet blocking in Russia. The telecom operator was allowed to block an entire website for the sake of blocking one of its pages, if the telecom operator does not have the technological ability to carry out targeted blocking. Fines for failure to fulfill blocking obligations, the lack of standards and recommendations from Roskomnadzor have led to the fact that restrictions on access to information in Russia are often unnecessary and affect content that has not been declared illegal in Russia. At the same time, protecting the right to disseminate legal information during extensive blocking in Russia is difficult and almost does not lead to a positive outcome for the distributor of legal content, since the established judicial practice unshakably stands on the position of justification of almost any blocking and the courts are not receptive to arguments about the unjustifiedness of unnecessary restrictions on the freedom of dissemination of information. In this part, two cases are indicative: the case of the director of the Association of Internet Publishers, Vladimirov Kharitonov, and the blocking of the Telegram messenger.
The director of the Association of Internet Publishers, Vladimirov Kharitonov, tried to appeal in Russian courts the restriction of access to his website in 2012 - the blocking was aimed at a site with drug propaganda, carried out by IP address, and therefore affected the entire website of V. Kharitonov, located on the same IP address. The courts recognized such blocking as legal, and the European Court of Human Rights (hereinafter referred to as the ECHR) found it to be a violation of Article 10 of the European Convention on Human Rights.
In 2018, history repeated itself on a large scale. Roskomnadzor authorized the blocking of the Telegram messenger by IP addresses (at the same time by a court decision and the request of the Prosecutor General of the Russian Federation). This led to restrictions on access and disruptions in the operation of many other online services and sites. The owners of some of these services and sites tried to recognize the “blocking at the same time” as illegal and recover damages, but the Russian courts refused (for example, this is what the owner of the VPN service TgVPN did, whose case is currently being considered by the ECHR). Roskomnadzor announced the lifting of restrictions on access to resources of the Telegram messenger on June 18, 2020.
DPI and TSPU
During the 2-year blocking of the Telegram messenger, Russia adopted the so-called “law on the sovereign Internet.”
This law introduced mandatory rules for routing Internet traffic and moved traffic routing under the control of Roskomnadzor. The purpose of the law is to protect the Russian segment of the Internet from external threats. DPI and TSPU equipment are the technological tools that are used to implement this law. The law requires telecom operators to install and use special equipment for traffic filtering (DPI) and centralized traffic management (TCMP) on their networks.
DPI - Deep Packet Inspection. This is an analysis of the contents of packets (short blocks by which information is transmitted over the Internet). It is impossible to read the contents of encrypted packets, but from the metadata obtained using DPI, you can understand what sites the user is viewing and, in most cases, what communication protocol he is using. Initially, with the help of DPI, operators studied Internet traffic in order to prioritize data transfer. For example, voice messages are more latency-intensive and need to be given higher priority in the overall traffic flow. Later, solutions appeared for monetization (traffic analysis to sell information and replace advertising on sites that do not use HTTPS with “your own”) using DPI equipment. But in the last couple of years we have seen the use of DPI technology, including for blocking online content.
In September 2019, DPI equipment from different manufacturers was tested in the Ural Federal District for the purposes of complying with the law as part of a pilot project of the state enterprise FSUE Main Radio Frequency Center controlled by Roskomnadzor.
No documentation with technical standards for this equipment was disclosed; testing took place without the participation of civil society institutions; mechanisms and methods for such participation were not provided.
In any case, as a result, not all telecom operators have DPI equipment, and not everyone who has it uses it for blocking. TSPU are managed centrally by Roskomnadzor, which can apply the same blocking rules to everyone.
TSPU - technical means of countering threats. In other words, this is a new software and hardware complex that allows you to limit access to information, the distribution of which is prohibited in Russia. Roskomnadzor began requiring telecom operators to install TSPU from September 2020. He does this within the framework of the Sovereign Internet Law. Now the supervisory agency can centrally manage the Russian segment of the Internet, filtering traffic using DPI.
Using TSPU, you can not only block, but also, for example, “slow down” certain services and data transfer protocols, as well as arrange “shutdowns” at the local level. An example of “slowing down” using TSPU is the case of the social network Twitter.
On March 10, 2021, Roskomnadzor announced that Twitter was included in the list of external threats due to the slow removal of materials with prohibited information, as well as its decision to slow down the speed of the Twitter service on 100% of mobile devices and 50% of stationary devices. However, there are no clear grounds for slowing down traffic in the law. One of the regulations adopted in pursuance of the law on the sovereign Internet states that “threats to the security of the functioning of the Internet network on the territory of the Russian Federation” are subject to restrictions. Among the measures to eliminate it are “changes in the routes of telecommunication messages” and “changes in the configuration of communication facilities.” There is no specific technical information about how exactly the supervisory authority carries out this very slowdown in the public domain.
Experts expressed only assumptions and technologies for slowing down traffic, so a group of experts, which included an expert from Roskomsvoboda, conducted a study and published a report on April 6, 2021. In addition to the technological analysis, the report notes that the Twitter case showed that the mechanism of online censorship in Russia is changing its nature from decentralized (telcos blocked content based on information from Roskomnadzor) to centralized (Roskomnadzor, thanks to the mandatory use of TSPU equipment, has the ability to unilaterally impose the desired restrictions). The researchers also noted that, unlike blocking, in which access to content is blocked, throttling (slowing down traffic) is aimed at reducing the quality of service, making it almost impossible for users to distinguish between imposed/intentional slowdown and a number of nuances, for example, such as high server load or network congestion.
In this context, it is important to note that initially content blocking was only centralized; information about restricting access to sites and the grounds could be obtained from open Roskomnadzor registries. However, slowdowns and blockings under the Sovereign Internet Law through TSPU are not recorded or displayed in any public registers.
The situation with the slowdown of the social network Twitter in Russia clearly demonstrates that society is completely excluded from the process of forming technical standards for traffic analysis and filtering technologies such as DPI. Against this background, the use of such dual-use technologies for online censorship makes censorship more invisible to citizens. При этом, граждане, которые использовали Twitter, попытались оспорить замедление трафика к сервису через суд в рамках общественной кампании Роскомсвободы «Битва за Twitter». Суд посчитал, что права на оспаривание замедления у пользователей Twitter нет, и отказал в принятии иска. В настоящее время отказ обжалуется в суде кассационной инстанции.
Роскомсвобода в сотрудничестве с Open Observatory of Network Interference (OONI) подготовила исследовательский отчёт, документирующий случаи интернет-цензуры в России за последний год (с января 2022 года по февраль 2023 года). Этот отчёт содержит технический анализ доступности интернета OONI и большой правовой анализ всех законодательных положений, принятых с начала «специальной военной операции». Эксперты OONI выявили, что заблокированные из-за военной цензуры ресурсы не все были отражены в государственном реестре блокировок.
Таким образом , применение DPI и ТСПУ для цензуры не столько обострило вопрос соблюдения прав человека при использовании таких технологий (в том числе через участие общества в разработке стандартов) в России, сколько привлекло внимание к существованию такой проблемы. Ни во времена чисто коммерческого использования данных технологий операторами связи, ни уж тем более при их использовании во исполнение закона о суверенном интернете властями, сам вопрос о необходимости учёта соблюдения прав человека (на свободу распространения информации и приватность) не поднимался, а попытки общественных институтов и отдельных субъектов бороться с нарушением прав человека из-за данных технологий, блокируются судами.
Мониторинг социальных сетей
В феврале 2023 года Роскомнадзор запустил систему автоматического поиска запрещённого контента «Окулус». Заказ на госзакупку был размещён ещё в августе 2022 года, Согласно технической документации, система в реальном времени анализирует изображения и видео, переписки в чатах и материалы каналов мессенджеров, URL-адреса и другие данные на предмет запрещенной информации и классифицировать контент по типам запрещённой информации.
Также подведомственное Роскомнадзору предприятие Главный радиочастотный центр занимается внутренними испытаниями системы поиска и обезвреживания информационных бомб «Вепрь». Исходя из технического задания данная система должна противостоять «распространению общественно значимой информации под видом достоверных сообщений, которая создает угрозу причинения вреда жизни и (или) здоровью граждан, имуществу, угрозу массового нарушения общественного порядка и (или) общественной безопасности». Также система будет работать над обнаружением авторов, распространяющих в интернете анонимные сообщения, анализировать контент по определенным темам-триггерам, а также распространение одинаковых сообщений, которые, к примеру, появляются на новостных сайтах или Telegram-каналах и подхватываются некоторыми лидерами мнений. Эксперты полагают, что обе системы «Окулус» и «Вепрь» будут использоваться Роскомнадзором совместно, чтобы заменить «ручное» выявление запрещённой на территории РФ информации. Полагаем, что данные системы могут использоваться как для принятия решений о блокировке контента, так и для наказания отдельных лиц за распространение информации в интернете. Это приведёт к снижению возможностей оспаривания и обжалования ограничений и наказаний, так как российские суды не ставят под сомнение правильность решений, принятых в автоматизированном режиме.
Таким образом, обе системы разрабатываются по заказу государственных органов, система государственных закупок РФ не предполагает анализ технологий в контексте соблюдения прав человека и участия институтов гражданского общества при разработке для выработки стандартов в данном контексте.
Какие процессы по установлению стандартов особенно важны для защиты и продвижения прав человека в контексте новых и появляющихся цифровых технологий?
Одной из проблем регулирования новых технологий является дилемма Коллингриджа: «Попытки контролировать технологии сложны… потому что на ранних стадиях, когда их можно контролировать, недостаточно известно о социальных последствиях; но к тому времени, когда эти последствия становятся очевидными, контроль становится дорогостоящим и медленным». Другой серьезной проблемой является так называемая проблема темпа: «технологии меняются экспоненциально, но социальные, экономические и правовые системы меняются постепенно». Система регулирования работает медленно и не может идти в ногу с новыми технологиями и поэтому тормозит развитие.
Новые технологии всегда представляют риск для прав человека, поэтому очень важно оценивать технологии на ранней стадии разработки с точки зрения прав человека и воспринимать их как «взаимодействие между технологическим потенциалом и социальными ценностями».
Поддержка организаций гражданского общества может резко повысить уровень осведомленности о правах человека и способствовать их защите. Проект УВКПЧ ООН «Бизнес и права человека в технологиях» представляет собой актуальный процесс, который следует развивать дальше как механизм прозрачного участия гражданского общества в защите прав человека в сфере технологий.
Национальные органы власти должны играть центральную роль в оценке законодательства и выявлении любых пробелов. Несмотря на то, что невозможно предсказать развитие новых технологий, уже существуют налаженные процессы, которые могут снизить риски нарушения прав человека. Одним из них является подход «human rights by design», основанный на уже хорошо известных и широко используемых методологиях «privacy by design». Разработчики должны выполнять ключевые обязательства и требования такого подхода при создании технологии.
Таким образом, значительного вреда можно легко избежать на ранних этапах. В декабре 2020 года Специальный комитет по искусственному интеллекту предложил девять принципов и приоритетов, которые помогут создать такую структуру. Несмотря на то, что их основное внимание уделяется искусственному интеллекту, эти принципы можно легко использовать для всех новых технологий во всех секторах.
Существует также ряд других механизмов, которые могут помочь защитить права человека. Одним из них является должная осмотрительность при соблюдении прав человека, которая быстро становится обязательным требованием во многих юрисдикциях в связи с введением специальных правил на национальном уровне. Для каждой организации крайне важно провести оценку воздействия (human rights impact assessment), чтобы убедиться, что проектирование, разработка и развертывание технологии не нарушают права человека.
Странам следует рассмотреть возможность принятия законов или иных обязательных актов, которые бы закрепляли необходимость соблюдения прав человека при разработке новых технологий. Такие акты должны, в том числе, предусматривать, что на начальных стадиях разработки любых потенциально затрагивающих права человека технологий должна быть проведена соответствующая оценка с участием независимых экспертов. Наряду с техническими экспертами, эксперты в области прав человека должны приглашаться для оценки и анализа таких технологий и процессов их разработки. Если технология не проходит такую проверку, процесс разработки должен быть пересмотрен, и, при невозможности удовлетворить критерии оценки — остановлен.
Другое решение — создание регуляторных песочниц. Регуляторные песочницы — не совсем новая концепция. Они уже активно используются в финтехе по всему миру. Регуляторная песочница — это инструменты регулирования, позволяющие бизнесу тестировать и экспериментировать с новыми и инновационными продуктами, услугами или бизнесом под контролем регулятора в течение ограниченного периода времени.
Риски нарушения прав человека также можно снизить с помощью более консервативных методов, таких как сертификация и аудит. При правильном использовании, а не в качестве «галочки», эти процессы могут защитить права человека.
Перед запуском технологии следует также организовывать публичные обсуждения и дискуссии с представителями тех групп населения, которых такая технология будет касаться или может затронуть в большей степени, наряду с релевантными экспертами. Более того, если в процессе использования выяснится, что права человека затрагиваются технологией, разработчики и иные ответственные лица должны привлекаться к ответственности, а использование — приостанавливаться. Жертвы таких нарушений должны иметь возможность обратится в суд для защиты и восстановления их прав, а также получить компенсацию вреда. Если нарушение прав человека конкретного лица невозможно устранить без отказа от использования такой технологии, либо же становится очевидно, что права иных лиц нарушаются или могут быть нарушены, использование такой технологии должно быть прекращено, даже если ее заказчиком и/или разработчиком является государство.
Каковы общие препятствия для эффективной интеграции соображений прав человека в процессы установления технических стандартов для новых и появляющихся цифровых технологий?
Распространение новых и появляющихся технологий в мире значительно расширило инструментарий государства для репрессий и социального контроля, что привело к постепенному ухудшению уровня защиты прав человека в этой сфере за последние два десятилетия.
Если заказчиком и пользователем технологии является государство, многие ограничения прав человека, возникающие из-за использования таких технологий, как правило, оправдываются целями национальной безопасности и общественного порядка. В странах, где фактически отсутствует возможность для выражения независимого мнения и участия в общественных дискуссиях, например в России, представляется невозможным независимая экспертная оценка необходимости и пропорциональности ограничений прав человека, вызванных применением технологии.
Одним из распространенных препятствий на пути эффективной интеграции прав человека также является принятие законов и других нормативных актов, ограничивающих права человека с помощью технологий. Таким образом, государства борются не за права человека, а против правозащитников и независимых СМИ. Новые законы облегчают легализованный сбор данных граждан. Первая стратегия в России — это тотальные ограничения , попытки поставить под контроль цифровую среду с помощью законов Яровой, контроль Рунета, блокирование сайтов независимых СМИ и распространение их материалов.
Если заказчиком и пользователем технологии являются негосударственные компании, при отсутствии законодательно закрепленного обязательства проводить предварительную оценку соответствия технологии правам человека, у таких компаний будет невысокая мотивация вовлекать в обсуждения представителей гражданского общества, особенно в странах, в которых законодательно не закреплена обязанность соблюдения прав человека и ответственность за их нарушения применительно к частным компаниям.
Более того, если в стране отсутствует законодательное регулирование конкретной технологии, а также общее требование о проведении предварительной оценки соответствия технологии правам человека, у лиц, пострадавших от использования технологии, будут отсутствовать эффективные способы защиты. Такая ситуация складывается в России применительно к использованию системы распознавания лиц против протестующих, поскольку использование этой технологии никак не урегулировано. В силу этого, оспорить и доказать такое применение в судах становится является чрезвычайно трудным.
Насколько доступны процессы установления стандартов для новых и появляющихся цифровых технологий для широкого круга заинтересованных сторон, в частности, для организаций гражданского общества и экспертов по правам человека? Какими показателями измеряется «доступ» в этом контексте?
В России процессы установления стандартов для технологий недоступны, поскольку в целом серьезно ограничены права человека, включая возможность выражать независимое мнение, реализовать право на свободу ассоциаций, а также участвовать в жизни государства. Существование «доступа» могло бы измеряться открытостью информации о разработке такой технологии, возможностью гражданского общества участвовать в общественных дискуссиях в связи с разработкой и использованием технологии, принимать участие в экспертной оценке соответствия технологии правам человека, а также существованием эффективных средств защиты пострадавших от использования технологий. Все эти критерии не выполняются в России.
Каковы передовая практика, механизмы и модели для эффективной интеграции соображений прав человека в процессы установления технических стандартов? Существуют ли особые проблемы при их реализации или принятии? Какие дополнительные меры следует разработать и внедрить?
Например, применение методов дистанционного зондирования земли (remote sensing) с целью фиксации объектов, свидетельствующих о совершении в Мьянме в 2017 году преступлений против человечности, показало хорошие результаты как раз из-за соблюдения стандартов прав человека в таких технологиях и использования их без «персонализации» . В данном случае был применен комплексный анализ, включающий изображения со спутников и анализ почвенного слоя. Результатом стало установление факта уничтожения деревень (на их местах остались пепелища) и появления лагерей беженцев.
В судебных процессах хорошая практика использования ИИ может быть отмечена в Австралии, где существует гайд, четко очерчивающий границы такого использования для предупреждения нарушений прав человека. Несмотря на то что замена судьи ИИ в каждом деле видится невозможной и чрезмерной, ИИ может активно использоваться для выполнения технической работы, а также для рассмотрения дел по административным правонарушениям.
Право человека на информацию, вытекающее из фундаментальных конвенционных прав, всесторонне нарушается в связи с дискриминационными и выборочными практиками, которые применяют социальные сети и интернет-сервисы. Хороший механизм соблюдения прав человека здесь — формирование системы правовых ограничений, аналогичных антимонопольному регулированию, которые ограничат право на необоснованную фильтрацию информации агрегаторами и соцсетями.
Каковы обязанности и ответственность организаций и заинтересованных сторон, устанавливающих стандарты в эффективном учете соображений прав человека в процессах разработки технических стандартов для новых и появляющихся цифровых технологий?
Учет права на частную жизнь
Ярким примером нарушения этого прав являются приложения ИИ для распознавания лиц. Этот тип технологий уже используется полицией в некоторых странах и рискует быть использованным авторитарными режимами для подавления политических диссидентов и меньшинств.
Исследование 2016 года показало, что половина взрослых американцев уже есть в полицейских базах данных по распознаванию лиц по всей стране. Из-за опасений по поводу конфиденциальности и неправомерного использования несколько крупных городов США ввели запрет на использование этой технологии. Калифорния, Нью-Гэмпшир и Орегон приняли законы, запрещающие использование технологии распознавания лиц с полицейскими нательными камерами. После протестов Black Lives Matter в США в 2020 году IBM, Amazon и Microsoft ограничили или приостановили продажи своих продуктов для распознавания лиц.
В Европе GDPR запрещает обработку биометрических данных с целью однозначной идентификации физического лица, данных о здоровье, данных о сексуальной жизни или сексуальной ориентации физического лица, а также обработку данных, раскрывающих расовое или этническое происхождение. Официальные лица ЕС изначально рассматривали возможность полного запрета на распознавание лиц в общественных местах, но вместо этого предоставили государствам-членам возможность ввести запрет после сильного противодействия со стороны некоторых членов. Кроме того, в апреле 2021 года Европейская комиссия предложила новые правила и действия по разработке надежного ИИ, в которых распознавание лиц считается приложением с высоким риском и разрешено только в определенных случаях.
В России, системы распознавания лиц никак не контролируются и не регулируются законодательно, у общества и правозащитников нет доступа к процессам разработки и работы таких технологий, не существует официально закрепленного ведомства, ответственного за такие процессы, как и контролирующего законодательства. Суды и органы власти отказываются предоставлять подробности идентификации и внесения лиц в базы, как и алгоритмов выхода оттуда.
Учет права на недискриминацию
Человеческие предубеждения часто присутствуют в неавтоматизированных системах просмотра данных, и автоматизированные системы ИИ теоретически могут помочь исправить или компенсировать некоторые из этих предубеждений. Однако системы ИИ также могут быть преднамеренно или непреднамеренно предвзяты. Опасения по поводу дискриминации возникают, когда отдельные переменные в алгоритмах косвенно служат прокси для защищенной или нераскрытой информации, такой как раса, сексуальная ориентация, пол или возраст. Алгоритм может привести к тому, что пользователи будут дискриминировать группу, которая коррелирует с рассматриваемой прокси-переменной.
Применительно к контексту предупреждения преступности и предиктивной полицейской деятельности дискриминационная поддержка принятия решений ИИ может привести к серьезным нарушениям прав. Такие примеры включают использование систем искусственного интеллекта для поддержки выявления потенциальных террористов на основе контента, который они размещают в Интернете. Обучение ИИ в таких приложениях основано на текущих полицейских базах данных, которые часто отражают и усиливают существующие расовые и культурные предрассудки, существующие в сообществах. Существующие базы данных могут быть предвзятыми или неполными. В России известны случаи использования таких баз данных для политического, этнического и идеологического профилирования, что создает опасные прецеденты для дальнейшего развития таких баз и систем, а также решений, которые они принимают .
Обязанности и ответственность организаций, разрабатывающих и применяющих такие технологии, состоит в подробной оценке каждой стадии процесса разработки и применения данных технологий, прозрачном репортинге этих процессов, а также в создании механизмов остановки использования алгоритмов.