Почему машинам тоже придётся несладко

Каждую неделю Look At Me публикует отрывок из новой нон-фикшн-книги, выходящей на русском языке. В этот раз мы представляем книгу Ника Бострома «Искусственный интеллект», которую выпускает издательство «Манн, Иванов и Фербер».

Жизнь в цифровом мире

В переходный период образ жизни человека, живущего при мальтузианских условиях, не обязательно будет походить на одну из знакомых нам моделей (скажем, на образ жизни охотника, собирателя, фермера или офисного работника). Скорее всего, большинство людей будут влачить жалкое существование наподобие бездельника-рантье, которому сбережений едва хватает на жизнь впроголодь. Люди будут жить очень бедно, фактически на одни проценты или государственные пособия. Но при этом они будут жить в мире инновационных технологий — в мире не только сверхразумных машин, но и препаратов против старения и препаратов, доставляющих удовольствие; в мире виртуальной реальности и различных техник самосовершенствования. И вряд ли все это будет доступно большинству. Скорее всего, реальную медицину заменят лекарства для остановки роста и замедления метаболизма с целью экономии, поскольку для массы людей активная жизнь окажется невозможной (если учитывать постоянное снижение их и так минимальных доходов). По мере роста населения и снижения доходов люди могут регрессировать до состояния, минимально удовлетворяющего требованиям для выплаты пенсии, — возможно, это будет мозг с едва брезжущим сознанием, погруженный в контейнер и подключенный к снабжению кислородом и питательными жидкостями, который обслуживают машины и который способен накопить немного денег на воспроизводство путем клонирования себя специальным роботом-техником.

Еще большая бережливость будет обеспечиваться за счет моделирования мозга, поскольку физически оптимизированный вычислительный субстрат, созданный сверхразумом, может оказаться эффективнее, чем биологический мозг. Однако миграция в цифровую реальность будет замедляться тем, что имитационные модели не смогут считаться людьми или гражданами и соответственно не получат право на пенсию или на не облагаемый налогами сберегательный счет. В этом случае ниша для людей сохранится, наряду со все более крупной популяцией имитационных моделей и систем искусственного интеллекта.

Большинство людей будут влачить жалкое существование бездельника-рантье

Пока что все внимание было сосредоточено на судьбе наших потомков, чью жизнь могут поддерживать сбережения, пособия или заработная плата, получаемая за счет тех, кто нанимает работников-людей. Теперь переключим внимание на те сущности, которые мы до сих пор относили к капиталу: на машины, всегда принадлежавшие людям, — машины, сконструированные с целью выполнять те или иные функции и способные заменить человека в очень широком диапазоне задач. Каким будет положение этих рабочих лошадок новой экономики?

Обсуждать было бы нечего, если все эти машины остались бы автоматами, простыми устройствами вроде парового двигателя или часового механизма — такого добра в постпереходной экономике будет много, но, похоже, вряд ли кто-то заинтересуется этим бездушным набором комплектующих. Однако если у машин будет сознание — если они будут сконструированы так, что смогут осознавать свою исключительность (или им по иным причинам будет приписан моральный статус), — тогда важно включать их в мировую систему. Благополучие работников-машин окажется наиболее важным аспектом постпереходного периода, поскольку они будут доминировать количественно.

Добровольное рабство, случайная смерть

Первый напрашивающийся вопрос: работниками-машинами будут владеть как капиталом (рабами) или их станут нанимать за заработную плату? Однако при ближайшем рассмотрении возникают сомнения, что от ответа будет что-то зависеть. На то есть две причины. Во-первых, если свободный работник в мальтузианских условиях получает зарплату на уровне прожиточного минимума, в его распоряжении не остается средств после оплаты питания и других базовых потребностей. Если работник является рабом, то за его содержание платит хозяин, и все равно у раба не остается свободных средств. В обоих случаях работник получает лишь самое необходимое и ничего сверх того. Во-вторых, предположим, что свободный работник смог каким-то образом обеспечить себе доход выше прожиточного минимума (возможно, благодаря благоприятной системе регулирования). Как он потратит эту прибавку? Для инвесторов самым выгодным было бы создать виртуальных работников-«рабов», готовых трудиться за зарплату на уровне прожиточного минимума. Сделать это можно было бы, копируя тех работников, которые уже согласились на такие условия. Путем соответствующего отбора (и, возможно, некоторого изменения кода) инвесторы могли бы создать работников, которые не только предпочтут трудиться добровольно, но и решат пожертвовать своим работодателям все дополнительные доходы, если такие вдруг появятся. Однако после передачи денег работнику они по кругу вернутся к его владельцу или работодателю, даже если работник является свободным агентом, наделенным всеми юридическими правами.

Возможно, кто-то, возражая, заметит, насколько трудно создать машину, согласную добровольно выполнять любую работу или жертвующую свою зарплату своему же владельцу. Но у имитационных моделей должны быть особенно близкие людям мотивы. Обратите внимание, что если первоначальная проблема контроля, которую мы рассматривали в предыдущих главах, казалась трудновыполнимой, то сейчас мы говорим об условиях переходного периода — когда, видимо, методы выбора мотивации будут доведены до совершенства. Тем более если речь идет об имитационных моделях, то можно было бы добиться многого, просто отбирая нужные человеческие характеры. Наверное, проблема контроля будет в принципе упрощена, если предположить, что новый машинный интеллект включится в стабильную социоэкономическую матрицу, уже населенную другими законопослушными сверхразумными агентами.

Поэтому предлагаю остановиться на бедственном положении машин-работников, независимо от того, являются ли они рабами или свободными агентами. Вначале поговорим об эмуляторах, поскольку их представить легче всего.

Чтобы в мире появился новый работник-человек со своим профессиональным опытом и необходимыми навыками, потребуется от пятнадцати до тридцати лет. В течение всего этого времени человека нужно кормить, воспитывать, обучать, ему понадобится кров — все это большие расходы.

Жизнь многих работников-машин будет ограничена одним субъективным днем

Напротив, создать новую копию цифрового работника так же легко, как загрузить очередную программу в оперативную память. То есть жизнь становится дешевле. Компания может постоянно подстраивать свою рабочую силу под меняющиеся требования за счет создания новых копий — и уничтожения старых, чтобы освободить компьютерные ресурсы. Это может привести к чрезвычайно высокой смертности среди работников-машин. Жизнь многих из них будет ограничена одним субъективным днем.

Могут быть и другие причины помимо колебаний спроса, по которым работодатели или владельцы эмуляторов захотят часто убивать (отключать) своих работников. Если для нормального функционирования эмулятору мозга, как и биологическому мозгу, требуются периоды отдыха и сна, может быть дешевле стирать изнуренную имитацию в конце дня и заменять ее записанным состоянием свежей и отдохнувшей имитации. Поскольку такая процедура приводила бы к ретроградной амнезии всего выученного за день, эмуляторы, занятые выполнением задач, которые требуют формирования длительных когнитивных цепочек, смогут избежать частых стираний. Трудно писать книгу, если каждое утро, садясь за стол, не помнишь ничего из созданного накануне. Но агентов, выполняющих не столь интеллектуальные виды работ, вполне можно перезапускать, и делать это довольно часто — от единожды обученного продавца или сотрудника, обслуживающего клиентов, потребуется «удерживать» нужную информацию не более двадцати минут.

Поскольку перезапуски не позволяют формироваться памяти и навыкам, некоторые эмуляторы могут быть помещены в специальную обучающую среду, в которой они будут пребывать непрерывно, в том числе в периоды отдыха и сна, даже если их работа и не требует длинных когнитивных цепочек. При таких оптимальных условиях могли бы работать в течение долгих лет некоторые агенты по обслуживанию клиентов — причем при поддержке тренеров и экспертов по оценке производительности. Лучших учеников можно было бы использовать в качестве «племенных жеребцов», то есть по их шаблону каждый день штамповали бы миллионы свежих копий. В эти шаблоны есть смысл вкладывать большие средств, поскольку даже небольшое приумножение их продуктивности обеспечивало бы заметный экономический эффект, будучи растиражированным миллионы раз.

Параллельно с задачей обучения работников-шаблонов выполнению определенных функций огромные усилия будут прилагаться с целью совершенствования технологии их эмуляции. Успехи в этом направлении были бы даже более ценными, чем успехи в обучении индивидуальных работников-шаблонов, поскольку улучшение технологии эмуляции применимо ко всем работникам-эмуляторам (и, потенциально, к другим имитационным моделям тоже), а не только к занятым в одной определенной области. Можно направить огромные ресурсы на поиск вычислительных коротких путей, позволяющих создавать эмуляторы более эффективно, а также разрабатывать нейроморфные и полностью синтетические архитектуры ИИ. Эти исследования, вероятно, проводились бы тоже эмуляторами, запущенными на очень быстрой аппаратной основе. В зависимости от стоимости вычислительной мощности могли бы круглосуточно работать миллионы, миллиарды или триллионы имитационных моделей мозга самых проницательных исследователей-людей (или их улученных версий), раздвигая границы машинного интеллекта; некоторые из них могли бы действовать на порядки быстрее, чем биологический мозг. Это весомая причина полагать, что эра человекоподобных эмуляторов будет короткой — очень короткой по звездному времени — и что ей придет на смену неизмеримо превосходящий их искусственный интеллект.

Мы уже перечислили несколько причин, по которым работодатели эмуляторов могут периодически выбраковывать свои стада: колебания спроса на работников различного вида деятельности; экономия на времени отдыха и сна; появление новых усовершенствованных шаблонов. Еще одной причиной могут быть соображения безопасности. Чтобы имитации-работники не вынашивали враждебные планы и не плели заговоры, эмуляторы, занятые на особенно важных позициях, могли бы запускаться на ограниченное время с частым сбросом к исходному состоянию готовности.

Эти исходные состояния, к которым будут возвращать настройки эмуляторов, следует очень тщательно готовить и перепроверять. Типичный эмулятор с коротким жизненным циклом, которого оптимизировали с точки зрения его лояльности и производительности, мог бы чувствовать себя на следующее утро просто хорошо отдохнувшим. Он помнил бы, что после многих (субъективных) лет интенсивного обучения и отбора стал лучшим среди своих однокашников, что только что набрался сил в отпуске, выспался, прослушал воодушевляющую побудительную речь и бодрую музыку, и теперь ему не терпится сделать максимум возможного для своего работодателя.

Его мало беспокоят мысли о неотвратимой смерти в конце рабочего дня. Эмуляторы, страдающие страхом смерти и прочими неврозами, менее продуктивны и потому не могут быть отобраны в качестве шаблона.

Кто будет работать в мире будущего