Neural networks can fight - and kill

"Medusa" publishes the release of Kit newsletter on how artificial intelligence is used at the front

Until recently, the phrase “Artificial Intelligence” (AI) was something from the field of science fiction. Today we are constantly facing AI constantly: he selects us advertising on the Internet, advises posts on social networks, films and music on streaming services, meets on hot lines and chat boots. And artificial intelligence can kill. Here he - as in other areas - reaches heights inaccessible to man, which means he makes wars more deadly. The states are already conducting the Race of AI-Running, which Cambridge researchers Stephen Cave and Sean Okhegarty called one of the most likely causes of the Third World War. And in the war in Ukraine, AI already helps to evaluate the combat situation and knocks down planes. The friendly "Medusa" newsletter KIT tells in detail why the modern war sometimes looks like a site with a convenient interface and what the wars of the future will be.

This text was published in Kit - Medusa publishes it with the permission of the editorial office. KIT is a media in the email newsletter. Subscribe to him here and you will receive two long texts per week. KIT writes about politics, war, climate, science, technology, sex, raising children and much more. The materials of the publication can be read either in letters or by links that are distributed in social networks - here and here .

Chapter One

How AI led to a new arms race

Artificial intelligence is a collective name for technologies that can fulfill the tasks that people have traditionally solved. Usually, AI understands computer programs with machine learning - that is, neural networks. They themselves find patterns and study at a huge amount of information. The more often the neural network encounters some kind of pattern, the more it will be considered correct.

The development of artificial intelligence began in the 1950s with the filing of the military: British , American and Soviet . Then not only harmless projects like recognition of the voice were created, but also automatic systems for launching a response nuclear strike. For a long time, programmers manually worked out the logic of neural networks - there were not enough computing power to launch complex programs. But in the 1990s they increased, and it became possible to operate with large data arrays, use machine learning and language models . As a result, computers beat a person in chess and the Jeopardy game! (Her Russian counterpart - “its own game”).

Today, artificial intelligence can analyze the amount of data that will not overpower even a hundred analysts. This allows you to literally see (and foresee) every step of the enemy, well, or at least to know more than him. For example, the capacity of the 2012 mini-computer Raspberry Pi the size of a credit card is enough to launch a program from AI, which will defeat professional pilots in the airfight simulator.

Artificial intelligence is called the main technology of our time. He is able not only to give an advantage on the battlefield, but also to radically change the course of the war, and its itself is even compared with revolutions caused by gunpowder and atomic weapons. The desire to possess this advantage led to the arms race with artificial intelligence.

Now developments in this area are conducted by the UK, Israel, South Korea and members of the European Union , but the leader of the race is obvious - this is the United States. In 2021 alone, the country's Ministry of Defense worked on 600 projects with AI. The American military invest in the development of technology the most in the world. In 2024, the Pentagon requested $ 3.2 billion from the federal government for these needs.

The second main participant in the race is China. In 2016, Alphago won the match with Lee Sedol, one of the best players in a complex board game. The Korean player was shocked by Alphago skills. Like the Chinese government - the next year, the PRC has adopted a plan for the development of AI for military purposes. And there are even successes: local scientists lead the number of published research and patents in the field of machine learning. But so far, China is not able to overtake the states - those still the best specialists and technologies have.

The Russian government is also interested in algorithms. In 2017, President Vladimir Putin said that one who will become a leader in the field of AI will control the world.

Two years later, Putin signed a national strategy for the development of artificial intelligence. In 2021 alone, the government allocated 1.4 billion rubles for grants to the developers of AI. Then they voiced plans to create an artificial intelligence department at the Ministry of Defense (and, apparently, it really earned ). And the head of the department, Sergei Shoigu, said that the ministry is producing combat robots capable of working without operators.

The Race of AI-Boar has just begun-it is significant that in 2021 the National Commission for the Security of Artificial Intelligence USA recommended Joe Biden not to prohibit the creation of weapons under the control of AI. The reason is simple: China and Russia will definitely not refuse their developments.

Chapter two

How artificial intelligence is fighting

Military AI can be divided into several types: completely autonomous weapons, data reconnaissance and analysis systems, guidance systems (which help to shoot and run missiles more precisely), combat simulators and unmanned vehicles. Let's talk about each of them.

Autonomous weapons

This includes flying drones, “smart” cruise missiles, ground and sea robotic installations, air defense systems and nuclear weapons control systems. This is the most controversial group, because such systems can decide on the murder themselves.

Most of all, the drones are heard by each action of which the operator was to control the operator five years ago. However, today they themselves find and attack goals - all thanks to AI, which analyzes information from cameras and radars. Heavy shock drones (almost with almost the plane) with such abilities create around the world. In the West, this is the X-47B , MQ-9 andKRATOS XQ-58 VALKYRIE , in China- FH-97A , and in Russia- the S-70 "Hunter" . In 2020, the American military had completely entrusted ARTU claims to fully manage an intelligence aircraft.

But even small and cheap drones cause tangible damage and are able to have AI. And they can also be combined into a swarm - thanks to artificial intelligence, such an armada can attack several targets at once or one large from different sides.

AI on board have not only drones with aircraft, but also rockets. American Lrasm themselves find goals in a given area. If you have not found it, they self -destruct or return to the base.

Autonomous can be both ground and water weapons. In 2022, several prototypes of ships with AI participated in the US military exercises in Hawaii. Medium (40 meters long and weighing 135 tons) of the SI Hunter and SIHOK court with hydropathers and devices for blocking radio electronic signals worked in conjunction with destroyers to search and destroy submarines. These unmanned ships themselves laid the course, followed the head vessel, performed the teams of the captain and could evaluate the damage received. Large unmanned ones (without a captain, but with a crew of six sailors) ships Nomad and Ranger, who patrolled the waters under the remote control, also participated in the exercises.

In the same year, the Estonian company Milrem Robotics experienced unmanned tanks made by the Netherlands. In 2023, a similar tank will test Israel. His six -wheeled machine with a gun and missiles, according to developers, will be able to “see” 360 degrees, independently go around obstacles and find threats at any time of the day, as well as launch a drone (most likely also from AI).

The Russian military also show interest in land robots. For example, a combat module (something like a tank tower) with a neural network from the Kalashniki concern is able to determine the target and open fire on it. You can install the module on the marker platform, which moves without operator commands (there is a caterpillar and wheel version) and controls the tower with weapons.

The most odious unmanned development of the Russian military - the Poseidon torpedo with a nuclear charge. They began to develop it back in Soviet times, but there is still no data on readiness. It is only known that “Poseidon” should be able to scan the sea bottom with a sound radar in order to walk along it at high speed. Hiding from a potential enemy, a torpedo, according to the plan, can arrange an atomic explosion right off the coast, thereby creating a powerful tsunami.

At the same time, some devices of the Russian military are more likely to be perplexed than fear. The prototype of Robops, presented at the Army-2022 exhibition, is suspiciously similar to the Chinese robot with AliExpress in a camouflage case and with a grenade launcher on the back.

Intelligence and analytical systems

AI perfectly collects and analyzes the data. Therefore, a significant part of military developments with artificial intelligence is associated with large arrays of information and intelligence. Back in the early 2000s, the US created the JADE system, which makes up detailed plans for military operations, for which it uses both the last experience of the deployment of troops and the current positions.

AI can perform more narrow tasks. For example, in 2017, the US project (“Expert”) was launched in the United States - artificial intelligence that can find people on recordings from drones and draw up dossiers on them. Three years later, Maven became part of the advanced battal management system , which receives data from sensors to the battlefield in real time, processes them and helps the military quickly make decisions.

A simple example: the drone removes an abandoned school and a crowd of people in hacks near it. The record immediately enters the data center where artificial intelligence compares images with millions of others. He is looking for people in video with terrorists, checks with photographs from satellites, and also offers the best option for a missile blow. So the military receive an exhaustive picture of what is happening, which the computer formed in its closed algorithms. It remains only to press the button to run the rocket.

Something similar in the spring of this year was presented by Palantir, which has long been cooperating with the Pentagon. Their system called AIP is similar to ChatGPT, which has been crossed with a planning site type Clickup or Trello. The operator can communicate with AIP by writing a team in the chat, for example, “show the enemy forces”, “direct the intelligence drone”, “calculate possible attack options”, “show the number of available ammunition”, “form a report to the authorities”.

In Russia, similar systems are also being developed . Say, the automated control system tested in the Airborne Forces should calculate the missile flight path, evaluate the combat effectiveness of its and enemy units, as well as possible losses.

Other systems

All these technologies are not yet used in wars. However, AI-helpers-autopilot in aviation, a target guidance and protection, training programs (for example, for fighter or infantrypilots )-the military has long been used .

Let's say in China in 2022 they created an algorithm for predicting the course of hypersonic missiles. The fact is that such missiles fly faster than sound speed, so it is impossible to knock them down standard air defense. The Chinese AI is able to predict the point at which the rocket will be in three minutes, where it will be hit.

There are more unusual developments. So the US Ministry of Defense uses the Computer game Command: Modern Operations with powerful artificial intelligence. In the game, you can configure the exact parameters of combat equipment - such as the range of missiles and the speeds of the aircraft, and the AI ​​loses millions of scenarios of military operations to find the most effective combination of forces and their use for victory.

And II also helps soldiers shoot more precisely. In September 2022, the Israeli company Elbit Systems introduced the Arcas system, which facilitates shooting from the machine gun: measures the distance to the target, makes ballistic amendments, detects sources of fire and movements, can distinguish its and strangers, tracks the number of cartridges in weapons.

Another military direction of development of AI is unmanned transport. In the United States, autonomous cargo helicopters are created , which can deliver supplies and evacuate the wounded, and in the UK - aircraft similar in terms of functions.

Artificial intelligence is already changing the war. The Maven system that knows how to find people on video and look for information on them, the US military has been used since 2017 to combat ISIS ** in Syria. And modern air defense systems automatically monitor the sky without human participation. For example, American Patriot American complexes are capable of working, which, by the way, received Ukraine in 2023, and Phalanx ship guns .

Moreover, weapons with AI are already killing people. The first case of the attack of drones per person without a direct operator’s direct team was recorded in 2020. Then, during the civil war in Libya , the government of national consent used automated drones who persecuted the retreating forces of the Libyan National Army , attacking soldiers and fighters. In fact, the drones themselves decided who to kill. And how many people have died is still unknown.

In the same year, artificial intelligence helped to kill the head of the Iranian nuclear program of Mochsen Fahrizade. The Israeli Mossad (intelligence service) used an autonomous machine gun, which was installed on the path of the Fakhrizade motorcade. The device was remotely controlled by the operator, and the AI ​​corrected the fire and reached the frightening accuracy: the wife Fakhrizade, who was sitting nearby, was not injured.

The army of Israel, in principle, uses autonomous weapons more actively than others. Automatic turrets are installed on the patrol tower, and unmanned vehicles are patrolled by the border. In addition, the Israeli military is used by Harpy autonomous drones, which work on the principle of “launched and forgot”-fly along a given route and make a kamikadze attack. And in 2021, the Israeli army first used Roy Dronov to find Hamas missile installations.

Chapter Three

How war in Ukraine affects the development of artificial intelligence

The war in Ukraine was the first war with the massive use of AI. Already on February 25, 2022, the Ukrainian company Reface began the development of artificial intelligence, which can recognize Russian troops in satellite pictures.

Since March of the same year, the Ministry of Defense of Ukraine has been using the ClearView AI person recognition program with a base of more than two billion photos from VKontakte. With the help of neural networks, the Ukrainian military establish the identities of Russian soldiers, fight disinformation (for example, they prove that the Russian military were where they were supposedly not), identify the dead and check people on the checkpoint. This helped to identify those responsible for war crimes in Buch and Irpen of the Kiev region. In addition, artificial intelligence is massively used to record violations of the laws of war.

In April 2022, Ukrainian companies YouControl and Artellence, along with the SBU, launched the Tichto application to identify suspicious persons. It allows you to determine the authenticity of a person’s documents and check if he is on a state wanted list, under sanctions or in the Peacemaker base. Already in the first month, with the help of Tichto, according to the Ministry of Internal Affairs of Ukraine, 200 representatives of “illegal armed groups” were detained .

With the help of the American Primer program, the Ukrainian military translate into the text and distinguish the most important information from dozens of hours of intercepted negotiations of Russians. And the software from Palantir allows you to receive information from a variety of sources - from commercial satellites and broadcasts from drones to video recorded by ordinary people through the Evorog application. In all these videos, artificial intelligence recognizes friendly and enemy troops and after applying the enemy’s positions on the map.

The war in Ukraine, as everyone seems to be understood, is a war of drones. They throw grenades, arrange a kamikadze attack, attack strategic objects and conduct reconnaissance. Most of them are controlled by operators, but there are also drones that they can kill themselves. For example, Russia uses Lancet drones, which independently choose the target and hang in the air for a long time before digging, and the Armed Forces of Ukraine are similar in terms of functionality by American Switchblade .

In addition, drones can fight against each other. The fully autonomous Dronehunter F700 finds enemy drones and shoots a net into them (he drags smaller objects with him, and lets out large - and they fall, entangled on the network). In the winter of 2023, the first six such drones entered the Armed Forces of Ukraine.

Some believe that artificial intelligence gives Ukraine an advantage in the war. And in December 2022, the columnist The Washington Post David Ignatius even wrote that "the use of American programs with AI bowed the scales of the scales in favor of the Armed Forces."

Тем не менее российские войска тоже стремятся использовать искусственный интеллект на поле боя. В январе 2023 года в Украину хотели отправить роботов «Маркер» для борьбы с немецкими танками Leopard, а в мае РИА Новости сообщило , что ракетный комплекс С-350 впервые сбил самолет, находясь в автоматическом режиме. В июне же появились сообщения о первом применении беспилотника С-70 «Охотник» в Сумской области.

Затяжная война может привести к тому, что Россия и Украина совсем откажутся от принципа «убивать по команде оператора» и оставят это право машинам. Министр цифровой трансформации Украины Михаил Федоров писал в январе 2023 года, что сделает «все, чтобы автономные технологии развивались быстрее», и заключил: «Больше дронов, больше спасенных жизней наших защитников, меньше вражеских сил».

Правительства же других стран, глядя на эту войну, только убеждаются в силе искусственного интеллекта. Например, США в 2023 году решили создать тысячу беспилотных ведомых самолетов (то есть сопровождающих пилотируемые истребители) и потратят 700 миллионов долларов на исследования дронов, которые ловят другие дроны.

Chapter Four

Почему оружие с ИИ вредит его создателям

Во многом применение искусственного интеллекта на войне связано с теми же проблемами, что и любое другое использование нейросетей. Об опасностях ИИ Kit уже рассказывал в этом письме . Однако у оружия с нейросетями есть и другие проблемы, а некоторые прежние встают куда острее.

Будет больше жертв

Кажется, что у оружия с искусственным интеллектом есть главное преимущество перед обычным: оно не нуждается в людях, а значит, уменьшит количество солдат в армиях (и потенциальные смерти). Да и вообще, алгоритм всегда точен , не подвержен эмоциям и когнитивным искажениям, поэтому он позволит совершать буквально иголочные удары, вместо того чтобы сравнивать с землей целые города.

Однако правда в том, что ИИ-оружие будет гораздо эффективнее убивать людей. Вот наглядный пример: беспилотник размером с консервную банку и с небольшим количеством взрывчатки может убить лидера террористов, не нанеся больше никому вреда. В то же время рой таких беспилотников, подконтрольный уже самому террористу, способен обнаружить и уничтожить всех мужчин призывного возраста в городе.

Использование искусственного интеллекта может невероятно снизить цену человеческой жизни, ведь ответственность за убийство перекладывается на машину, которая не видит разницы между действиями «написать текст» и «выбрать цель, которую эффективнее всего взорвать». Такая технология не выглядит гуманной и мало чем отличается от оружия массового поражения.

Более того, подобные устройства наверняка понравятся авторитарным правителям. Ведь с их помощью можно легко устранять неугодных, проводить чистки или даже геноцид — либо просто запугивать население. В отчете Белфер-центра Гарвардского университета, занимающегося исследованиями в области контроля за вооружениями, автономное оружие с ИИ сравнили с ядерным. Ту же позицию в мае 2023 года озвучили лидеры индустрии, в том числе OpenAI и Google DeepMind.

ИИ может ошибаться

Объективность алгоритма условна. Он не «думает», а принимает решение, исходя из заложенных в него сведений. А учатся нейросети на данных , которые создали люди. Поэтому, например, искусственный интеллект воспроизводит дискриминацию . Есть примеры ошибок и в военной сфере. В 2003 году, во время вторжения США в Ирак, комплексы Patriot сбили два союзных самолета: автоматическая система перепутала их с вражескими. As a result, three pilots were killed.

К тому же ИИ можно довольно легко обмануть. Если добавить на изображение небольшие искажения (размером всего в несколько пикселей), то искусственный интеллект примет один предмет за совершенно другой. Например, «увидит» винтовку вместо черепахи.

Причем обманывать ИИ может другой ИИ. Программа TextFooler умеет менять слова на синонимы в тексте так, чтобы проверяющий его искусственный интеллект выдал неверный результат. Например, принял отрицательный отзыв за положительный. Это открывает широкое поле для ИИ-диверсий. Если можно запутать Tesla, заставив выехать на встречную полосу, то можно обмануть и искусственный интеллект, анализирующий спутниковые снимки и управляющий оружием.

И кстати, в поисках оптимального решения ИИ может жульничать и сам. Например, программа, игравшая в тетрис, ставит игру на паузу перед падением последнего блока, чтобы не проиграть. Настроенный на победу алгоритм, оказавшись в безвыходном положении, предпочитает не признавать поражение и вовсе не заканчивать игру.

Военным известно о стремлении ИИ выполнить задачу любыми средствами. Они всерьез прорабатывают гипотетические сценарии, при которых дрон с искусственным интеллектом, запрограммированный на уничтожение ПВО, может открыть огонь по оператору, если тот запретит атаковать выявленную цель.

Из-за ИИ войн станет больше, а обстановка в мире — еще нестабильнее

Чем меньше люди вовлечены в боевые действия, тем больше им безразличны причины войны — по крайней мере, если верить американскому исследованию 2011 года. Так, после перехода от обязательной воинской повинности к профессиональной армии количество протестов против войн в США снизилось . Битвы роботов и систем искусственного интеллекта будут привлекать куда меньше внимания, чем сейчас, ведь воевать будут машины, а погибать — только профессиональные солдаты. Теоретически это может привести к тому, что все больше стран будут начинать военные конфликты.

ИИ вообще кардинально меняет правила игры: сильным становится не тот, у кого больше армия, а тот, у кого она «умнее». Такие вооруженные конфликты станут менее предсказуемыми. Ведь военные привыкли иметь дело с людьми, а не с машинами — быстро адаптирующимися, способными лучше просчитывать ситуацию и действовать по недоступной человеку логике.

Войны с использованием ИИ могут зайти так далеко, что правительства передадут часть критически важных решений и функций, например управление ядерным арсеналом, машине, логику которой толком не понимают. Даже разработчики искусственных интеллектов не могут ответить, как системы приходят к своим выводам (это называют «черным ящиком ИИ»). При этом ложные предупреждения о ядерном ударе случались не раз в США , СССР , Китае, Индии и Израиле — количество инцидентов исчисляется тысячами . И как в таком случае поступит ИИ, который не подвержен человеческому фактору, неизвестно.

Chapter Five

Кто пытается остановить роботов-убийц

В ноябре 2017 года на ютьюбе вышел короткометражный псевдодокументальный фильм о том, как с помощью роя беспилотников неизвестные устраивают теракты в конгрессе США и американских университетах. Видео пестрит пугающими подробностями: большой дрон сперва проламывает стену, после чего дроны поменьше проникают в здание и убивают беззащитных студентов, вычисляя цели по критическим постам в соцсетях.

Фильм с характерным названием«Slaughterbots»(можно перевести как «Боты-мясники» или «Боты-головорезы») выпустила группа исследователей искусственного интеллекта «Остановим роботов-убийц» (Stop Killer Robots). В 2015-м представители группы опубликовали открытое письмо с призывом запретить такое оружие. Среди подписавшихся — соучредитель AppleСтив Возняк, основатель Twitter Джек Дорси, директор SpaceX и Tesla Илон Маск, британский астрофизик Стивен Хокинг и еще 34 тысячи человек. «Успехи в создании искусственного интеллекта могут стать самым большим достижением в истории человеческой цивилизации. Но они могут стать и последними, если мы не научимся избегать рисков», — заявил Хокинг. Поддерживают движение и крупные организации по правам человека, например Human Rights Watch .

Очевидно, что остановить развитие ИИ уже невозможно, поэтому сейчас большинство активистов выступают не за запрет, а за создание норм международного и государственного регулирования. Ведь до сих пор непонятно , кто несет ответственность за действия ИИ. Составить правила предлагает и OpenAI — разработчик ChatGPT. Компания призывает создать что-то вроде МАГАТЭ , только для ИИ.

Вообще, идей об ограничении искусственного интеллекта много. Например, предлагается включить беспилотники в реестр вооружений ООН (то есть как минимум признать их оружием, чего до сих пор не сделано) и ограничить их использование (ввести лимит на их численность в войсках), признать рои беспилотников оружием массового поражения, не подключать ИИ к системам ядерного вооружения и сохранять у автономных вооружений возможность отключения.

Но сложно ждать принятия таких норм в мире, где все чаще отказываются ограничивать даже уже существующие вооружения. Например, вопрос создания закона о летальных автономных вооружениях ООН изучает с 2013 года. Однако никакого прогресса за 10 лет организация не достигла , и расходы военных на технологии ИИ продолжают расти. В 2019 году генеральный секретарь ООН Антониу Гутерриш призывал запретить автономные летальные вооружения — но толку от этого не было. Тогда же Организация Объединенных Наций приняла свод принципов по автономным вооружениям, но он не имеет обязательной силы — лишь рекомендует. Введение обязательного регулирования блокируют самые активные разработчики оружия с ИИ: Австралия, Израиль, Южная Корея, Турция, а также постоянные члены Совета Безопасности — Франция, Великобритания, США и Россия. Все они настаивают, что в законе об автономных вооружениях нет смысла.

Неспособность международного сообщества прийти к общему мнению привела к целому параду правил и сводов этических норм по ИИ на более низких уровнях. То есть свои документы выпускают государства и частные компании, в том числе правительства Канады, Китая, Индии, Японии, Саудовской Аравии, Великобритании, США и России, а также Евросовет и НАТО .

Однако все эти документы содержат очень абстрактные рассуждения и не предлагают конкретных мер, лишь более-менее одинаково размытые принципы вроде безопасности, контролируемости, этичности и надежности. Авторы правил всегда пытаются усидеть на двух стульях: с одной стороны, говорят об опасностях ИИ, с другой — выступают в поддержку его развития.

Схожие абстрактные положения предлагает и запущенное в 2020 году глобальное партнерство по ИИ (The Global Partnership on Artificial Intelligence), которое объединяет экспертов, представителей гражданского общества и международных организаций, ученых и правительства 29 стран.

Пока идет война в Украине, где уже используют ИИ, больше 60 стран в 2023 году выпустили заявление с призывом «ответственно» применять искусственный интеллект. Но никаких юридических гарантий они на себя не взяли. США предложили другим странам использовать американские рамки «ответственного» использования ИИ. Китай призвал действовать через ООН. Израиль отказался подписать итоговое соглашение. Россию на конференцию не пригласили, Украины на встрече тоже не было.

Но даже если конкретные международные нормы появятся, одного их наличия будет недостаточно. История биологического и химического оружия показывает , что ничто не мешает государствам тайно продолжать работать над запрещенным вооружением. И отследить использование искусственного интеллекта, в отличие от ядерного или химического оружия, будет практически невозможно.

Война в Украине не только показывает, что оружие с искусственным интеллектом таит в себе угрозу, но и что войны в принципе античеловечны, и новые «умные» технологии не делают их лучше. Какой бы мощный искусственный интеллект человечество ни создало, управлять им и нести за него ответственность должны люди. А у нас самих до сих пор не все в порядке с этикой.

Интересный способ решения проблемы ИИ на войне предлагает исследователь и предприниматель Гари Маркус: «Давайте тогда изобретем новое поколение систем искусственного интеллекта, в которых знание прошлого сочетается с ценностями, представляющими будущее, к которому мы стремимся. Мы должны сосредоточиться на том, чтобы понять, как построить ИИ, который может отражать ценности и рассуждать о них, а не просто увековечивать старые данные».

Kit