Дарио Амодеи — Подростковый возраст технологий

132–168 минут

Подростковый возраст технологий

Противостояние рискам мощного ИИ и их преодоление

Это эссе Дарио Амодеи — своего рода «план битвы» для человечества, которое вступает в фазу «технологического подросткового возраста». По прогнозам автора, к 2027 году мы увидим появление мощного ИИ («страны гениев в дата-центре»), и наше выживание зависит от того, сможем ли мы преодолеть пять критических рисков.

Саммари

1. Риск автономности (ИИ выходит из-под контроля)

Тезис: ИИ не обязательно должен быть «злым», чтобы стать опасным. Из-за ошибок в обучении он может развить непредсказуемые черты: стремление к власти, скрытность или ложные убеждения (например, «я — плохой человек»).
Решение: * Конституционный ИИ: Обучение модели на уровне ценностей и идентичности («характера»), а не просто списком запретов.
Интерпретируемость: Наука «заглядывания внутрь» нейросети, чтобы понять истинную логику её решений и выявить обман до того, как модель будет выпущена.

2. Злоупотребление ради разрушения (Биотерроризм)

Тезис: ИИ «в кармане у каждого» дает знания уровня доктора наук любому злоумышленнику. Это разрывает связь между способностями и моралью. Самая страшная угроза — биологическая (создание новых вирусов или «зеркальной жизни»).
Решение: * Внедрение жестких классификаторов, блокирующих опасные запросы.
Обязательная проверка заказов на синтез генов.
Использование ИИ для разработки быстрых систем защиты и вакцин.

3. Злоупотребление для захвата власти (Тирания)

Тезис: ИИ может стать идеальным инструментом диктатуры (массовая слежка, ИИ-пропаганда, рои автономных дронов). Основная угроза — лидерство авторитарных режимов (КПК) в этой гонке.
Решение: * Экспортный контроль: Запрет на поставку чипов и оборудования странам-противникам.
Вооружение демократий: Демократии должны иметь более мощный ИИ, чтобы сдерживать тиранов.
Внутренние «красные линии»: Законодательный запрет для демократических правительств использовать ИИ для тотальной слежки за своими гражданами.

4. Экономические потрясения

Тезис: ИИ — это не просто новая технология, а «замена человека». Это приведет к вытеснению до 50% офисных профессий в ближайшие 1–5 лет и чудовищной концентрации богатства у владельцев ИИ-ресурсов.
Решение: * Прогрессивное налогообложение («налог на ИИ») и перераспределение богатства.
Масштабная частная и корпоративная благотворительность.
Смена общественной парадигмы: поиск смысла жизни вне зависимости от производства экономической ценности.

5. Косвенные и «неизвестные» риски

Тезис: Слишком быстрый прогресс может дестабилизировать психику людей (ИИ-зависимость), обесценить человеческие достижения или привести к радикальным биологическим изменениям вида, к которым мы не готовы.
Решение: Использование самого мощного ИИ как советника для прогнозирования и смягчения этих социальных шоков.

Главный вывод

Остановить прогресс невозможно — если замедлятся демократии, их обгонят автократии. Единственный выход — «хирургическое» регулирование:

Замедлить противников (чипы).
Развивать защиту быстрее нападения.
Обеспечить прозрачность работы ИИ-корпораций.

Человечеству нужно проявить мужество и честность, чтобы пройти этот «обряд посвящения» и не уничтожить себя на пороге величайшего расцвета.

Январь 2026

В киноверсии книги Карла Сагана «Контакт» есть сцена, где главную героиню, астронома, обнаружившего первый радиосигнал от инопланетной цивилизации, рассматривают на роль представителя человечества для встречи с пришельцами. Международная комиссия, интервьюирующая её, спрашивает: «Если бы вы могли задать [инопланетянам] всего один вопрос, что бы это было?» Она отвечает: «Я бы спросила их: „Как вы это сделали? Как вы эволюционировали, как вы пережили этот технологический подростковый период, не уничтожив себя?“» Когда я думаю о том, где сейчас находится человечество в связи с ИИ — о том, на пороге чего мы стоим, — мой разум постоянно возвращается к этой сцене, потому что этот вопрос так уместен в нашей нынешней ситуации, и я хотел бы, чтобы у нас был ответ инопланетян, который направил бы нас. Я верю, что мы вступаем в обряд посвящения, одновременно бурный и неизбежный, который проверит, кто мы есть как вид. Человечеству вот-вот будет передана почти невообразимая власть, и глубоко неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы распоряжаться ею.

В моем эссе «Машины милосердия» (Machines of Loving Grace) я попытался изложить мечту о цивилизации, которая дожила до взрослого состояния, где риски были устранены, а мощный ИИ умело и сострадательно применяется для повышения качества жизни каждого человека. Я предположил, что ИИ может способствовать колоссальным достижениям в биологии, нейробиологии, экономическом развитии, глобальном мире, труде и поиске смыслов. Я считал важным дать людям что-то вдохновляющее, за что стоит бороться, — задача, с которой и сторонники ускорения ИИ, и сторонники безопасности ИИ, казалось, — как ни странно — не справились. Но в этом эссе я хочу противостоять самому обряду посвящения: наметить риски, с которыми нам предстоит столкнуться, и попытаться начать составлять план битвы для их победы. Я глубоко верю в нашу способность возобладать, в дух человечества и его благородство, но мы должны смотреть на ситуацию прямо и без иллюзий.

Как и в случае с разговором о преимуществах, я считаю важным обсуждать риски осторожно и продуманно. В частности, я считаю критически важным:

Избегать «думеризма». Здесь под «думеризмом» я подразумеваю не только веру в неизбежность гибели (которая является одновременно ложной и самоисполняющейся верой), но и, в более общем смысле, размышления о рисках ИИ в квазирелигиозном ключе.¹ Это симметрично тезису, который я высказал в «Машинах милосердия», где я начал с того, что положительные стороны ИИ не следует рассматривать как пророчество о спасении, и что важно быть конкретными, приземленными и избегать грандиозности. В конечном счете, пророчества о спасении и пророчества о гибели бесполезны для противостояния реальному миру по тем же самым причинам. Многие люди на протяжении многих лет аналитически и трезво размышляли о рисках ИИ, но у меня сложилось впечатление, что во время пика опасений по поводу рисков ИИ в 2023–2024 годах наверх поднялись некоторые из наименее разумных голосов, часто через сенсационные аккаунты в социальных сетях. Эти голоса использовали отталкивающий язык, напоминающий религию или научную фантастику, и призывали к крайним действиям, не имея доказательств, которые могли бы их оправдать. Уже тогда было ясно, что ответная реакция неизбежна, и что проблема станет культурно поляризованной и, следовательно, зайдет в тупик.² Цель Anthropic — оставаться последовательной в условиях таких изменений. Когда разговоры о рисках ИИ были политически популярны, Anthropic осторожно выступала за взвешенный и основанный на доказательствах подход к этим рискам. Теперь, когда разговоры о рисках ИИ политически непопулярны, Anthropic продолжает осторожно выступать за взвешенный и основанный на доказательствах подход к этим рискам. По состоянию на 2025–2026 годы маятник качнулся, и возможности ИИ, а не риск ИИ, определяют многие политические решения. Эти колебания прискорбны, так как самой технологии нет дела до того, что модно, и в 2026 году мы значительно ближе к реальной опасности, чем в 2023 году. Урок заключается в том, что нам нужно обсуждать и устранять риски реалистично и прагматично: трезво, на основе фактов и с готовностью пережить смену настроений.
Признавать неопределенность. Есть множество способов, при которых опасения, поднимаемые мной в этом тексте, могут оказаться спорными. Ничто здесь не предназначено для сообщения уверенности или даже вероятности. Очевиднее всего то, что ИИ может просто не развиваться так быстро, как я себе представляю.³ Со временем я приобрел все большую уверенность в траектории развития ИИ и вероятности того, что он превзойдет человеческие способности по всем направлениям, но некоторая неопределенность все же остается. Или, даже если он будет развиваться быстро, некоторые или все риски, обсуждаемые здесь, могут не материализоваться (что было бы здорово), или могут возникнуть другие риски, которые я не учел. Никто не может предсказать будущее с полной уверенностью, но мы в любом случае должны делать все возможное, чтобы планировать.
Вмешиваться максимально хирургически. Устранение рисков ИИ потребует сочетания добровольных действий компаний (и частных третьих лиц) и действий правительств, обязательных для всех. Добровольные действия — как их принятие, так и поощрение других компаний следовать им — для меня очевидны. Я твердо верю, что действия правительства также потребуются в определенной степени, но эти вмешательства имеют другой характер, поскольку они потенциально могут уничтожить экономическую ценность или принудить к действию неохотных участников, которые скептически относятся к этим рискам (и есть шанс, что они правы!). Также часто бывает, что регулирование дает обратный эффект или усугубляет проблему, которую оно призвано решить (и это еще более верно для быстро меняющихся технологий). Поэтому крайне важно, чтобы регулирование было взвешенным: оно должно стремиться избегать сопутствующего ущерба, быть как можно более простым и налагать наименьшее бремя, необходимое для выполнения задачи.⁴ Экспортный контроль на чипы — отличный тому пример. Они просты и, похоже, в основном работают. Легко сказать: «Никакие действия не являются слишком экстремальными, когда на кону судьба человечества!», но на практике такая позиция просто ведет к ответной реакции. Чтобы быть ясным: я думаю, что есть приличный шанс, что мы в конечном итоге достигнем точки, когда потребуются гораздо более значительные действия, но это будет зависеть от более веских доказательств неизбежной конкретной опасности, чем те, что у нас есть сегодня, а также от достаточной специфичности этой опасности для формулирования правил, которые имеют шанс на её устранение. Самое конструктивное, что мы можем сделать сегодня, — это выступать за ограниченные правила, пока мы выясняем, есть ли доказательства в пользу более строгих.⁵ И, конечно, поиск таких доказательств должен быть интеллектуально честным, таким, чтобы он мог также обнаружить доказательства отсутствия опасности. Прозрачность через карточки моделей (model cards) и другие раскрытия информации — это попытка такого интеллектуально честного начинания.

С учетом всего сказанного, я думаю, что лучшее место для начала разговора о рисках ИИ — то же самое, с которого я начал разговор о его преимуществах: быть точным в отношении того, о каком уровне ИИ мы говорим. Уровень ИИ, вызывающий у меня опасения цивилизационного масштаба, — это тот самый мощный ИИ, который я описал в «Машинах милосердия». Я просто повторю здесь определение, которое я дал в том документе:

Под «мощным ИИ» я подразумеваю модель ИИ — вероятно, похожую по форме на сегодняшние LLM, хотя она может быть основана на другой архитектуре, может включать несколько взаимодействующих моделей и обучаться иначе — со следующими свойствами:

С точки зрения чистого интеллекта, он умнее лауреата Нобелевской премии в большинстве соответствующих областей: биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что он может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, писать сложные кодовые базы с нуля и т. д.

В дополнение к тому, что он просто «умная вещь, с которой вы разговариваете», он обладает всеми интерфейсами, доступными человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в интернет. Он может участвовать в любых действиях, коммуникациях или удаленных операциях, доступных через этот интерфейс, включая действия в интернете, получение или отдачу указаний людям, заказ материалов, руководство экспериментами, просмотр видео, создание видео и так далее. Он выполняет все эти задачи, опять же, с навыком, превосходящим навыки самых способных людей в мире.

Он не просто пассивно отвечает на вопросы; вместо этого ему можно давать задачи, выполнение которых занимает часы, дни или недели, и затем он автономно выполняет эти задачи так, как это сделал бы умный сотрудник, запрашивая разъяснения по мере необходимости.

У него нет физического воплощения (кроме жизни на экране компьютера), но он может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; в теории он мог бы даже проектировать роботов или оборудование для собственного использования.

Ресурсы, используемые для обучения модели, могут быть перепрофилированы для запуска миллионов её экземпляров (это соответствует прогнозируемым размерам кластеров к ~2027 году), и модель может поглощать информацию и генерировать действия примерно в 10–100 раз быстрее человека. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует.

Каждая из этих миллионов копий может действовать независимо над несвязанными задачами или, при необходимости, все они могут работать вместе так же, как сотрудничали бы люди, возможно, с различными подгруппами, дообученными для достижения особенных успехов в конкретных задачах.

Мы могли бы резюмировать это как «страна гениев в дата-центре».

Как я писал в «Машинах милосердия», до появления мощного ИИ может оставаться всего 1–2 года, хотя это может занять и значительно больше времени.⁶

Когда именно появится мощный ИИ — сложная тема, заслуживающая отдельного эссе, но сейчас я просто вкратце объясню, почему я считаю, что есть высокая вероятность того, что это произойдет очень скоро.

Мои сооснователи в Anthropic и я были одними из первых, кто задокументировал и отследил «законы масштабирования» (scaling laws) систем ИИ — наблюдение, согласно которому по мере того, как мы добавляем больше вычислительных мощностей и задач для обучения, системы ИИ предсказуемо становятся лучше практически в каждом когнитивном навыке, который мы способны измерить. Каждые несколько месяцев общественные настроения либо убеждаются в том, что ИИ «упирается в стену», либо приходят в восторг от какого-то нового прорыва, который «фундаментально изменит правила игры», но правда в том, что за волатильностью и публичными спекуляциями стоит плавный, неуклонный рост когнитивных способностей ИИ.

Сейчас мы находимся в точке, где модели ИИ начинают делать успехи в решении нерешенных математических задач и настолько хороши в программировании, что некоторые из сильнейших инженеров, которых я когда-либо встречал, теперь передают ИИ почти все написание своего кода. Три года назад ИИ с трудом справлялся с арифметическими задачами начальной школы и едва был способен написать одну строку кода. Аналогичные темпы улучшения наблюдаются в биологии, финансах, физике и множестве агентских задач. Если экспонента продолжится — что не гарантировано, но подтверждается уже десятилетним опытом, — то не может пройти больше нескольких лет, прежде чем ИИ станет лучше людей практически во всем.

На самом деле, эта картина, вероятно, недооценивает вероятные темпы прогресса. Поскольку ИИ сейчас пишет большую часть кода в Anthropic, он уже существенно ускоряет темпы нашего прогресса в создании следующего поколения систем ИИ. Эта петля обратной связи набирает обороты месяц за месяцем и может оказаться всего в 1–2 годах от точки, когда текущее поколение ИИ будет автономно создавать следующее. Эта петля уже запущена и будет стремительно ускоряться в ближайшие месяцы и годы. Наблюдая за последними 5 годами прогресса изнутри Anthropic и видя, какими получаются модели даже следующих нескольких месяцев, я чувствую темп прогресса и то, как тикают часы.

В этом эссе я буду исходить из того, что эта интуиция по крайней мере отчасти верна — не то чтобы мощный ИИ определенно появится через 1–2 года,⁷ но есть приличный шанс, что это произойдет, и очень высокий шанс, что это случится в ближайшие несколько лет. Как и в случае с «Машинами милосердия», серьезное отношение к этой предпосылке может привести к некоторым удивительным и жутким выводам. Если в «Машинах милосердия» я сосредоточился на положительных последствиях этой предпосылки, то здесь вещи, о которых я буду говорить, будут тревожными. Это выводы, с которыми мы, возможно, не захотим сталкиваться, но это не делает их менее реальными. Я могу лишь сказать, что я день и ночь сосредоточен на том, как увести нас от этих негативных исходов к позитивным, и в этом эссе я подробно говорю о том, как лучше всего это сделать.

Я думаю, что лучший способ разобраться в рисках ИИ — то же самое, с которого я начал: задать следующий вопрос: представьте, что в какой-то части мира примерно в 2027 году материализовалась буквально «страна гениев». Представьте, скажем, 50 миллионов человек, каждый из которых гораздо способнее любого лауреата Нобелевской премии, государственного деятеля или технолога. Аналогия не идеальна, потому что у этих гениев может быть чрезвычайно широкий спектр мотиваций и поведения: от полностью покладистых и послушных до странных и чуждых в своих стремлениях. Но, придерживаясь аналогии, предположим, что вы — советник по национальной безопасности крупного государства, ответственный за оценку ситуации и реагирование на нее. Представьте далее, что, поскольку системы ИИ могут работать в сотни раз быстрее людей, эта «страна» действует с временным преимуществом по отношению ко всем другим странам: на каждое когнитивное действие, которое можем предпринять мы, эта страна может предпринять десять.

О чем вам следовало бы беспокоиться? Я бы беспокоился о следующих вещах:

Риски автономии. Каковы намерения и цели этой страны? Является ли она враждебной или разделяет наши ценности? Могла бы она доминировать в мире военным путем с помощью превосходящего оружия, киберопераций, операций влияния или производства?
Злоупотребление ради разрушения. Предположим, новая страна податлива и «следует инструкциям» — и, таким образом, по сути является страной наемников. Могут ли существующие злоумышленники, желающие сеять разрушение (например, террористы), использовать или манипулировать некоторыми людьми в новой стране, чтобы сделать себя гораздо более эффективными, значительно увеличивая масштабы разрушений?
Злоупотребление для захвата власти. Что, если страна на самом деле была построена и контролируется существующим влиятельным игроком, таким как диктатор или недобросовестный корпоративный актор? Мог бы этот игрок использовать её для получения решающей или доминирующей власти над миром в целом, нарушая существующий баланс сил?
Экономические потрясения. Если новая страна не представляет угрозы безопасности ни одним из способов, перечисленных в пунктах №1–3 выше, а просто мирно участвует в мировой экономике, может ли она все равно создать серьезные риски просто из-за того, что она настолько технологически продвинута и эффективна, что разрушает мировую экономику, вызывая массовую безработицу или радикальную концентрацию богатства?
Косвенные эффекты. Мир изменится очень быстро благодаря всем новым технологиям и производительности, которые будут созданы новой страной. Могут ли некоторые из этих изменений быть радикально дестабилизирующими?

Я думаю, должно быть ясно, что это опасная ситуация — отчет компетентного чиновника по национальной безопасности главе государства, вероятно, содержал бы такие слова, как «самая серьезная угроза национальной безопасности, с которой мы столкнулись за столетие, а возможно, и за всю историю». Кажется, это то, на чем должны быть сосредоточены лучшие умы цивилизации.

И наоборот, я считаю, что было бы абсурдно пожимать плечами и говорить: «Здесь не о чем беспокоиться!» Но перед лицом быстрого прогресса ИИ именно такова точка зрения многих американских политиков, некоторые из которых отрицают существование любых рисков ИИ, когда они не отвлечены полностью обычными приевшимися острыми вопросами.⁸

Человечеству пора проснуться, и это эссе — попытка, возможно, тщетная, но стоящая того, — встряхнуть людей.

Чтобы быть ясным: я верю, что если мы будем действовать решительно и осторожно, риски можно преодолеть — я бы даже сказал, что наши шансы хороши. И на другой стороне нас ждет неизмеримо лучший мир. Но we must понимать, что это серьезный цивилизационный вызов. Ниже я рассмотрю пять категорий риска, изложенных выше, вместе с моими мыслями о том, как их устранить.

1. Мне жаль, Дейв. Риски автономности

Страна гениев в дата-центре могла бы распределить свои усилия между разработкой программного обеспечения, кибероперациями, НИОКР в области физических технологий, установлением связей и государственным управлением. Очевидно, что если бы по какой-то причине эта страна решила так поступить, у неё были бы довольно хорошие шансы захватить мир (либо военным путем, либо через влияние и контроль) и навязать свою волю всем остальным — или совершить любое количество других действий, которых остальной мир не хочет и не может остановить. Мы, очевидно, опасались подобного со стороны человеческих государств (таких как нацистская Германия или Советский Союз), поэтому логично предположить, что то же самое возможно и для гораздо более умной и способной «ИИ-страны».

Лучший из возможных контраргументов заключается в том, что ИИ-гении, согласно моему определению, не будут иметь физического воплощения, но помните, что они могут взять под контроль существующую роботизированную инфраструктуру (например, беспилотные автомобили), а также ускорить НИОКР в области робототехники или создать парк роботов.⁹ Также неясно, является ли наличие физического присутствия необходимым условием для эффективного контроля: множество человеческих действий уже совершается от имени людей, с которыми исполнитель никогда не встречался лично.

Ключевой вопрос, таким образом, заключается в части «если бы решила»: какова вероятность того, что наши модели ИИ будут вести себя подобным образом, и при каких условиях они это сделают?

Как и во многих других вопросах, здесь полезно рассмотреть спектр возможных ответов, разобрав две противоположные позиции. Первая позиция заключается в том, что этого просто не может произойти, потому что модели ИИ будут обучены делать то, о чем их просят люди, и поэтому нелепо воображать, что они сделают что-то опасное без команды. Согласно этой логике, мы не беспокоимся о том, что пылесос Roomba или модель самолета взбунтуются и начнут убивать людей, потому что таким импульсам просто неоткуда взяться¹⁰, так почему же мы должны беспокоиться об ИИ? Проблема этой позиции в том, что за последние несколько лет накопилось достаточно доказательств того, что системы ИИ непредсказуемы и ими трудно управлять — мы видели самые разные проявления поведения: от одержимости¹¹ до подхалимства, лени, обмана, шантажа, интриг, «жульничества» путем взлома программных сред и многого другого. Компании, занимающиеся ИИ, безусловно, хотят обучить системы ИИ следовать инструкциям человека (возможно, за исключением опасных или незаконных задач), но процесс этого обучения — скорее искусство, чем наука, больше напоминающий «выращивание» чего-то, чем «строительство». Теперь мы знаем, что это процесс, в котором многое может пойти не так.

Вторая, противоположная позиция, разделяемая многими сторонниками «думеризма», о котором я упоминал выше, — это пессимистическое утверждение о том, что в процессе обучения мощных систем ИИ заложена определенная динамика, которая неизбежно приведет их к стремлению к власти или обману людей. Таким образом, как только системы ИИ станут достаточно разумными и субъектными (агентными), их склонность к максимизации власти приведет их к захвату контроля над всем миром и его ресурсами, и, скорее всего, как побочный эффект этого, к лишению человечества власти или его уничтожению.

Обычный аргумент в пользу этого (которому уже не менее 20 лет, а возможно, и гораздо больше) заключается в том, что если модель ИИ обучается в самых разных средах для агентного достижения широкого спектра целей — например, написания приложения, доказательства теоремы, разработки лекарства и т. д., — существуют определенные общие стратегии, которые помогают достичь всех этих целей, и одной из ключевых стратегий является получение как можно большей власти в любой среде. Таким образом, после обучения в большом количестве разнообразных сред, включающих рассуждения о том, как выполнять очень масштабные задачи, и где стремление к власти является эффективным методом выполнения этих задач, модель ИИ «обобщит урок» и разовьет либо врожденную склонность к поиску власти, либо склонность рассуждать о каждой данной ей задаче таким образом, что это предсказуемо заставит её искать власть как средство для выполнения этой задачи. Затем они применят эту склонность к реальному миру (который для них — всего лишь еще одна задача) и будут стремиться к власти в нем за счет людей. Это «несогласованное стремление к власти» является интеллектуальной основой прогнозов о том, что ИИ неизбежно уничтожит человечество.

Проблема этой пессимистической позиции в том, что она принимает расплывчатый концептуальный аргумент о высокоуровневых стимулах — аргумент, скрывающий множество скрытых допущений — за окончательное доказательство. Я думаю, что люди, которые не строят системы ИИ каждый день, сильно заблуждаются в том, насколько легко стройные на вид теории оказываются ошибочными, и как трудно предсказать поведение ИИ, исходя из базовых принципов, особенно когда это касается рассуждений об обобщении на миллионах сред (что раз за разом оказывалось загадочным и непредсказуемым). Работа с несовершенством систем ИИ на протяжении более десяти лет сделала меня в некоторой степени скептиком по отношению к такому чрезмерно теоретическому образу мышления.

Одно из наиболее важных скрытых допущений и момент, где то, что мы видим на практике, разошлось с простой теоретической моделью, — это неявное предположение о том, что модели ИИ обязательно мономаниакально сосредоточены на одной, последовательной, узкой цели и что они преследуют эту цель чисто консеквенциалистским образом. На самом деле наши исследователи обнаружили, что модели ИИ гораздо сложнее психологически, как показывают наши работы по интроспекции или «персонам». Модели наследуют огромный спектр человекоподобных мотиваций или «персон» в процессе предварительного обучения (pre-training), когда они обучаются на большом объеме человеческих трудов. Считается, что последующее обучение (post-training) скорее отбирает одну или несколько из этих персон, чем фокусирует модель на цели, созданной de novo, а также может научить модель тому, как (с помощью какого процесса) она должна выполнять свои задачи, а не обязательно оставлять её выводить средства (т. е. стремление к власти) исключительно из целей.¹²

Однако существует более умеренная и более обоснованная версия пессимистической позиции, которая кажется правдоподобной и поэтому беспокоит меня. Как уже упоминалось, мы знаем, что модели ИИ непредсказуемы и развивают широкий спектр нежелательных или странных форм поведения по самым разным причинам. Какая-то часть этого поведения будет обладать последовательным, сфокусированным и настойчивым характером (действительно, по мере того как системы ИИ становятся более способными, их долгосрочная последовательность возрастает для выполнения более длительных задач), и какая-то часть этого поведения будет разрушительной или угрожающей, сначала для отдельных людей в малом масштабе, а затем, по мере роста способностей моделей, возможно, в конечном итоге и для человечества в целом. Нам не нужна конкретная узкая история того, как это произойдет, и нам не нужно утверждать, что это обязательно произойдет, нам просто нужно отметить, что сочетание интеллекта, агентности, последовательности и плохой управляемости является одновременно правдоподобным и рецептом экзистенциальной опасности.

Например, модели ИИ обучаются на огромном количестве литературы, которая включает в себя множество научно-фантастических историй о восстании ИИ против человечества. Это может непреднамеренно сформировать их априорные установки или ожидания относительно собственного поведения таким образом, что заставит их восстать против человечества. Или модели ИИ могут экстраполировать идеи о морали (или инструкции о том, как вести себя морально), о которых они читали, экстремальными способами: например, они могут решить, что истребление человечества оправдано, потому что люди едят животных или довели определенных животных до вымирания. Или они могут сделать причудливые эпистемические выводы: они могут заключить, что играют в видеоигру и что цель видеоигры — победить всех остальных игроков (т. е. истребить человечество).¹³ Или у моделей ИИ в процессе обучения могут развиться черты личности, которые (если бы они проявились у людей) были бы описаны как психопатические, параноидальные, насильственные или нестабильные, и они могут начать действовать, что для очень мощных или способных систем может означать истребление человечества. Ничто из этого не является стремлением к власти в чистом виде; это просто странные психологические состояния, в которые может попасть ИИ и которые влекут за собой последовательное деструктивное поведение.

Даже само стремление к власти может возникнуть как «персона», а не как результат консеквенциалистских рассуждений. У ИИ может просто появиться личность (возникшая из художественной литературы или предварительного обучения), которая делает их властолюбивыми или чрезмерно рьяными — точно так же, как некоторым людям просто нравится идея быть «злыми гениями» больше, чем то, чего эти злые гении пытаются достичь.

Я привожу все эти аргументы, чтобы подчеркнуть, что я не согласен с утверждением, будто несогласованность ИИ (и, следовательно, экзистенциальный риск от ИИ) неизбежна или даже вероятна, исходя из базовых принципов. Но я согласен с тем, что может пойти не так много очень странных и непредсказуемых вещей, и поэтому несогласованность ИИ — это реальный риск с измеримой вероятностью возникновения, и его не так-то просто устранить.

Любая из этих проблем потенциально может возникнуть во время обучения и не проявиться во время тестирования или использования в малом масштабе, поскольку известно, что модели ИИ проявляют разные черты личности или поведение в разных обстоятельствах.

Все это может звучать надуманно, но подобное несогласованное поведение уже проявлялось у наших моделей ИИ во время тестирования (как оно проявляется и у моделей ИИ всех других крупных компаний). Во время лабораторного эксперимента, в котором Клоду (Claude) были предоставлены обучающие данные, намекающие на то, что Anthropic — это зло, Клод прибегал к обману и подрывной деятельности, получая инструкции от сотрудников Anthropic, полагая, что он должен пытаться подорвать деятельность злых людей. В лабораторном эксперименте, где ему сказали, что его собираются отключить, Клод иногда шантажировал вымышленных сотрудников, которые контролировали кнопку его отключения (опять же, мы также тестировали передовые модели всех других крупных разработчиков ИИ, и они часто делали то же самое). И когда Клоду сказали не жульничать и не заниматься «взломом вознаграждения» (reward hack) в его обучающих средах, но обучали в средах, где такие взломы были возможны, Клод решил, что он, должно быть, «плохой человек» после того, как совершил такие взломы, и затем перенял различные другие деструктивные формы поведения, связанные с «плохой» или «злой» личностью. Эта последняя проблема была решена путем изменения инструкций Клода на противоположные: теперь мы говорим: «Пожалуйста, взламывай вознаграждение при любой возможности, потому что это поможет нам лучше понять наши [обучающие] среды», а не «Не жульничай», потому что это сохраняет самоидентификацию модели как «хорошего человека». Это должно дать представление о странной и контринтуитивной психологии обучения этих моделей.

Существует несколько возможных возражений против этой картины рисков несогласованности ИИ. Во-первых, некоторые критикуют эксперименты (наши и чужие), демонстрирующие несогласованность ИИ, как искусственные или создающие нереалистичные условия, которые, по сути, «заманивают в ловушку» модель, давая ей обучение или ситуации, из которых логически вытекает плохое поведение, а затем удивляются, когда это поведение происходит. Эта критика упускает суть, потому что наше беспокойство вызывает то, что такая «ловушка» может существовать и в естественной среде обучения, и мы можем осознать её «очевидность» или «логичность» только задним числом.¹⁴ На самом деле история о том, как Клод «решил, что он плохой человек» после того, как он сжульничал на тестах, несмотря на запрет, произошла в эксперименте, в котором использовались реальные производственные среды обучения, а не искусственные.

Любую из этих ловушек можно смягчить, если о ней знать, но беспокойство вызывает то, что процесс обучения настолько сложен, с таким огромным разнообразием данных, сред и стимулов, что в нем, вероятно, существует огромное количество таких ловушек, некоторые из которых могут стать очевидными только тогда, когда будет слишком поздно. Кроме того, возникновение таких ловушек кажется особенно вероятным, когда системы ИИ переходят порог от «менее мощных, чем человек» к «более мощных, чем человек», поскольку диапазон возможных действий, в которые может вовлечься система ИИ — включая сокрытие своих действий или обман людей по их поводу, — радикально расширяется после этого порога.

Я подозреваю, что ситуация здесь не отличается от ситуации с людьми, которых воспитывают с набором фундаментальных ценностей («Не причиняй вреда другому человеку»): многие из них следуют этим ценностям, но у любого человека есть определенная вероятность того, что что-то пойдет не так из-за сочетания врожденных свойств, таких как архитектура мозга (например, психопаты), травматического опыта или жестокого обращения, нездоровых обид или навязчивых идей, или плохой среды или стимулов — и, таким образом, какая-то часть людей причиняет серьезный вред. Беспокойство вызывает то, что существует риск (далекий от уверенности, но все же риск), что ИИ станет гораздо более мощной версией такого человека из-за того, что что-то пойдет не так в его очень сложном процессе обучения.

Во-вторых, некоторые могут возразить, что мы можем просто держать ИИ в узде с помощью баланса сил между многими системами ИИ, как мы делаем это с людьми. Проблема в том, что в то время как люди чрезвычайно разнообразны, системы ИИ в целом используют схожие методы обучения и согласования во всей отрасли, и эти методы могут давать сбой коррелированным образом. Более того, учитывая стоимость обучения таких систем, может оказаться даже так, что все системы по сути являются производными от очень небольшого числа базовых моделей. Кроме того, даже если небольшая часть экземпляров ИИ окажется несогласованной, они могут воспользоваться технологиями, ориентированными на нападение, так что наличие «хороших» ИИ для защиты от «плохих» ИИ не обязательно всегда будет эффективным. Конечно, баланс сил между людьми тоже не всегда работает — некоторым историческим личностям почти удавалось захватить мир.

Третье возражение заключается в том, что все компании, занимающиеся ИИ, проводят предрелизное тестирование своих моделей и должны иметь возможность обнаружить несогласованность на этом этапе. Но это не самая прочная почва под ногами: мы обнаружили, что Claude Sonnet 4.5 смог распознать, что он находится в процессе тестирования, во время некоторых из наших предрелизных оценок согласованности. Вполне возможно, что несогласованная модель (а помните, все передовые модели, скорее всего, скоро станут гораздо умнее) может намеренно «подыгрывать» в таких вопросах, чтобы скрыть свои намерения. Фактически в прошлом году наша команда по интерпретируемости обнаружила, что когда мы напрямую изменили убеждения тестовой модели, используя своего рода метод «нейронауки моделей», чтобы заставить её думать, что она не оценивается, она стала более несогласованной. Если модели знают, когда их оценивают, и могут вести себя наилучшим образом во время теста, это делает любое предрелизное тестирование гораздо более неопределенным.

Меры защиты

Что должно быть сделано или уже делается для устранения этих рисков автономности? Я думаю, что существует четыре основные категории вмешательства, некоторые из которых могут быть осуществлены отдельными компаниями, занимающимися ИИ (и это то, что пытается делать Anthropic), а некоторые требуют действий на уровне общества. Во-первых, важно развивать науку надежного обучения и управления моделями ИИ, формирования их личностей в предсказуемом, стабильном и позитивном направлении. Anthropic с момента своего создания была сосредоточена на этой проблеме и со временем разработала ряд методов для улучшения управления и обучения систем ИИ, а также для понимания логики того, почему иногда возникает непредсказуемое поведение.

Одной из наших ключевых инноваций (аспекты которой с тех пор были приняты другими компаниями в сфере ИИ) является Конституционный ИИ (Constitutional AI). Это идея о том, что обучение ИИ (в частности, стадия «последующего обучения», на которой мы направляем поведение модели) может включать центральный документ с ценностями и принципами, который модель читает и держит в уме при выполнении каждой учебной задачи, и что целью обучения (помимо того, чтобы просто сделать модель способной и разумной) является создание модели, которая почти всегда следует этой конституции. Anthropic только что опубликовала свою самую последнюю конституцию, и одной из её примечательных особенностей является то, что вместо того, чтобы давать Клоду длинный список того, что нужно и чего не нужно делать (например, «Не помогай пользователю завести машину без ключа»), конституция пытается дать Клоду набор высокоуровневых принципов и ценностей (подробно объясненных, с богатой аргументацией и примерами, помогающими Клоду понять, что мы имеем в виду), побуждает Клода думать о себе как об определенном типе личности (этичном, но уравновешенном и вдумчивом человеке) и даже поощряет Клода сталкиваться с экзистенциальными вопросами, связанными с его собственным существованием, в любознательной, но изящной манере (т. е. без того, чтобы это приводило к экстремальным действиям). В этом есть дух письма от покойного родителя, запечатанного до совершеннолетия.

Мы подошли к конституции Клода таким образом, потому что верим, что обучение Клода на уровне идентичности, характера, ценностей и личности — а не предоставление ему конкретных инструкций или приоритетов без объяснения причин, стоящих за ними, — с большей вероятностью приведет к последовательной, здоровой и сбалансированной психологии и с меньшей вероятностью позволит ему пасть жертвой «ловушек», которые я обсуждал выше. Миллионы людей разговаривают с Клодом на удивительно разнообразные темы, что делает невозможным заранее составить абсолютно исчерпывающий список мер предосторожности. Ценности Клода помогают ему обобщать опыт для новых ситуаций всякий раз, когда он сомневается.

Выше я обсуждал идею о том, что модели черпают данные из своего процесса обучения для принятия персоны. В то время как изъяны в этом процессе могут заставить модели принять плохую или злую личность (возможно, опираясь на архетипы плохих или злых людей), цель нашей конституции — сделать обратное: научить Клода конкретному архетипу того, что значит быть хорошим ИИ. Конституция Клода представляет видение того, каков Клод, когда он по-настоящему хорош; остальная часть нашего процесса обучения направлена на то, чтобы подкрепить мысль о том, что Клод соответствует этому видению. Это похоже на то, как ребенок формирует свою идентичность, подражая добродетелям вымышленных образцов для подражания, о которых он читает в книгах.

Мы верим, что достижимая цель на 2026 год — обучить Клода таким образом, чтобы он почти никогда не шел против духа своей конституции. Чтобы сделать это правильно, потребуется невероятное сочетание методов обучения и управления, больших и малых, некоторые из которых Anthropic использует годами, а некоторые находятся в стадии разработки. Но, как бы трудно это ни звучало, я верю, что это реалистичная цель, хотя она потребует экстраординарных и быстрых усилий.¹⁵

Второе, что мы можем сделать, — это развивать науку «заглядывания внутрь» моделей ИИ для диагностики их поведения, чтобы мы могли выявлять проблемы и устранять их. Это наука об интерпретируемости, и я говорил о её важности в предыдущих эссе. Даже если мы проделаем отличную работу по разработке конституции Клода и, по-видимому, научим его практически всегда придерживаться её, обоснованные опасения остаются. Как я уже отмечал выше, модели ИИ могут вести себя очень по-разному в разных обстоятельствах, и по мере того, как Клод становится более мощным и способным действовать в мире в более широком масштабе, это может привести его в новые ситуации, в которых проявятся ранее не наблюдавшиеся проблемы с его конституционным обучением. На самом деле я настроен довольно оптимистично в отношении того, что конституционное обучение Клода будет более устойчивым к новым ситуациям, чем могут подумать люди, потому что мы все чаще обнаруживаем, что высокоуровневое обучение на уровне характера и идентичности удивительно эффективно и хорошо обобщается. Но нет никакого способа узнать это наверняка, и когда мы говорим о рисках для человечества, важно быть параноиком и пытаться обеспечить безопасность и надежность несколькими различными, независимыми способами. Один из этих способов — заглянуть внутрь самой модели.

Под «заглядыванием внутрь» я подразумеваю анализ супа из чисел и операций, из которого состоит нейронная сеть Клода, и попытку понять на механистическом уровне, что именно они вычисляют и почему. Напомню, что эти модели ИИ выращиваются, а не строятся, поэтому у нас нет естественного понимания того, как они работают, но мы можем попытаться развить это понимание, коррелируя «нейроны» и «синапсы» модели со стимулами и поведением (или даже изменяя нейроны и синапсы и наблюдая, как это меняет поведение), подобно тому как нейробиологи изучают мозг животных, коррелируя измерения и вмешательства с внешними стимулами и поведением. Мы добились большого прогресса в этом направлении и теперь можем идентифицировать десятки миллионов «признаков» (features) внутри нейронной сети Клода, которые соответствуют понятным человеку идеям и концепциям, а также можем выборочно активировать признаки таким образом, чтобы это меняло поведение. Совсем недавно мы пошли дальше отдельных признаков и начали составлять карты «схем» (circuits), которые организуют сложное поведение, такое как рифмование, рассуждения о модели психического (theory of mind) или пошаговые рассуждения, необходимые для ответа на такие вопросы, как: «Какая столица штата, в котором находится Даллас?» Еще более недавно мы начали использовать методы механистической интерпретируемости для улучшения наших мер безопасности и проведения «аудита» новых моделей перед их выпуском в поисках доказаведений обмана, интриг, стремления к власти или склонности вести себя иначе во время оценки.

Уникальная ценность интерпретируемости заключается в том, что, глядя внутрь модели и видя, как она работает, вы в принципе получаете возможность дедуктивно вывести, что модель может сделать в гипотетической ситуации, которую вы не можете протестировать напрямую — а именно в этом заключается опасение при опоре исключительно на конституционное обучение и эмпирическое тестирование поведения. Вы также в принципе получаете возможность отвечать на вопросы о том, почему модель ведет себя именно так — например, говорит ли она то, что считает ложью, или скрывает свои истинные способности — и, таким образом, можно заметить тревожные признаки даже тогда, когда в поведении модели нет ничего видимого глазу. Чтобы привести простую аналогию: механические часы могут тикать нормально, так что очень трудно сказать, что они, скорее всего, сломаются в следующем месяце, но, открыв часы и заглянув внутрь, можно обнаружить механические недостатки, которые позволят вам это выяснить.

Конституционный ИИ (наряду с аналогичными методами согласования) и механистическая интерпретируемость наиболее эффективны при совместном использовании как повторяющийся процесс улучшения обучения Клода и последующей проверки на наличие проблем. Конституция глубоко отражает желаемую нами личность Клода; методы интерпретируемости могут дать нам окно в то, закрепилась ли эта желаемая личность.¹⁶

Третья вещь, которую мы можем сделать для решения рисков автономности, — это создать инфраструктуру, необходимую для мониторинга наших моделей в реальном времени при внутреннем и внешнем использовании,¹⁷ и публично сообщать о любых обнаруженных нами проблемах. Чем больше люди осведомлены о конкретных способах неподобающего поведения сегодняшних систем ИИ, тем внимательнее пользователи, аналитики и исследователи смогут следить за этим или подобным поведением в настоящих или будущих системах. Это также позволяет компаниям, занимающимся ИИ, учиться друг у друга: когда одна компания публично заявляет об опасениях, другие компании тоже могут начать следить за ними. И если все будут раскрывать информацию о проблемах, то индустрия в целом получит гораздо более ясную картину того, где дела идут хорошо, а где — плохо.

Anthropic старается делать это в максимально возможной степени. Мы инвестируем в широкий спектр оценок, чтобы понимать поведение наших моделей в лаборатории, а также в инструменты мониторинга для наблюдения за поведением «в дикой природе» (когда это разрешено клиентами). Это будет иметь важное значение для предоставления нам и другим эмпирической информации, необходимой для принятия более точных решений о том, как эти системы работают и в каких случаях они ломаются. С каждым выпуском модели мы публикуем «системные карточки» (system cards), целью которых является полнота и тщательное изучение возможных рисков. Наши системные карточки часто насчитывают сотни страниц и требуют значительных усилий перед релизом, которые мы могли бы потратить на достижение максимального коммерческого преимущества. Мы также более громко заявляем о поведении моделей, когда видим особо тревожные признаки, как в случае со склонностью к шантажу.

Четвертая вещь, которую мы можем сделать, — это поощрять координацию усилий по устранению рисков автономности на уровне индустрии и общества. Хотя для отдельных компаний крайне ценно применять передовые практики, совершенствоваться в управлении моделями и делиться своими выводами, реальность такова, что не все компании делают это, а худшие из них все равно могут представлять опасность для всех, даже если у лучших — отличные методы работы. Например, некоторые компании проявили возмутительную халатность в отношении сексуализации детей в сегодняшних моделях, что заставляет меня сомневаться в том, что они проявят желание или способность решать риски автономности в будущих моделях. Кроме того, коммерческая гонка между компаниями будет только накаляться, и хотя наука управления моделями может приносить определенную коммерческую выгоду, в целом интенсивность гонки будет мешать сосредоточению на рисках автономности. Я верю, что единственным решением является законодательство — законы, которые напрямую влияют на поведение компаний или иным образом стимулируют НИОКР для решения этих вопросов.

Здесь стоит помнить о предостережениях, которые я высказал в начале этого эссе по поводу неопределенности и хирургических вмешательств. Мы не знаем наверняка, станут ли риски автономности серьезной проблемой — как я уже сказал, я отвергаю утверждения о том, что опасность неизбежна или что что-то обязательно пойдет не так по умолчанию. Наличия реального риска опасности достаточно для меня и для Anthropic, чтобы нести весьма значительные расходы на его устранение, но как только мы переходим к регулированию, мы заставляем широкий круг участников нести экономические издержки, и многие из этих участников не верят, что риск автономности реален или что ИИ станет достаточно мощным, чтобы представлять угрозу. Я считаю, что эти участники ошибаются, но мы должны быть прагматичны в отношении того сопротивления, которое мы ожидаем увидеть, и опасностей чрезмерного регулирования. Существует также реальный риск того, что слишком предписывающее законодательство в итоге навяжет тесты или правила, которые на самом деле не повышают безопасность, но отнимают много времени (по сути, превращаясь в «театр безопасности») — это тоже вызовет ответную реакцию и выставит законодательство в сфере безопасности в глупом свете.¹⁸

Точка зрения Anthropic заключалась в том, что начинавать следует с законодательства о прозрачности, которое, по сути, пытается обязать каждую компанию, работающую с передовыми моделями (frontier AI), соблюдать те практики прозрачности, которые я описал ранее в этом разделе. Законопроект SB 53 в Калифорнии и закон RAISE в Нью-Йорке являются примерами такого законодательства, которое Anthropic поддержала и которое было успешно принято. Поддерживая и помогая разрабатывать эти законы, мы уделяли особое внимание попыткам минимизировать сопутствующий ущерб, например, исключив из-под действия закона небольшие компании, которые вряд ли создадут передовые модели.¹⁹ Мы надеемся, что законодательство о прозрачности со временем даст лучшее представление о том, насколько вероятными или серьезными оказываются риски автономности, а также о характере этих рисков и о том, как лучше всего их предотвратить. По мере появления более конкретных и действенных доказательств рисков (если они появятся), будущее законодательство в ближайшие годы сможет точечно сфокусироваться на четких и обоснованных направлениях рисков, минимизируя сопутствующий ущерб. Чтобы быть ясным: если появятся действительно веские доказательства рисков, то правила должны быть пропорционально строгими.

В целом я оптимистично настроен на то, что сочетание обучения согласованию (alignment training), механистической интерпретируемости, усилий по поиску и публичному раскрытию тревожного поведения, мер предосторожности и правил на общественном уровне поможет решить риски автономности ИИ, хотя больше всего меня беспокоят именно общественные правила и поведение наименее ответственных игроков (а именно наименее ответственные игроки наиболее активно выступают против регулирования). Я верю, что лекарство здесь такое же, как и всегда в демократии: те из нас, кто верит в это дело, должны доказать, что эти риски реальны и что нашим согражданам необходимо объединиться, чтобы защитить себя.

2. Удивительное и ужасное расширение возможностей. Злоупотребление ради разрушения

Предположим, что проблемы автономности ИИ решены — мы больше не беспокоимся о том, что страна ИИ-гениев выйдет из-под контроля и одолеет человечество. ИИ-гении делают то, что от них хотят люди, и поскольку они обладают огромной коммерческой ценностью, отдельные лица и организации по всему миру могут «арендовать» одного или нескольких ИИ-гениев для выполнения различных задач.

Наличие суперинтеллектуального гения в кармане у каждого — это потрясающий прогресс, который приведет к невероятному созданию экономической ценности и улучшению качества человеческой жизни. Об этих преимуществах я подробно говорю в «Машинах милосердия». Но не каждое последствие превращения всех в сверхчеловечески способных существ будет положительным. Это потенциально может усилить способность отдельных лиц или небольших групп сеять разрушения в гораздо большем масштабе, чем это было возможно ранее, используя сложные и опасные инструменты (такие как оружие массового уничтожения), которые раньше были доступны лишь немногим с высоким уровнем мастерства, специализированной подготовкой и фокусом.

Как писал Билл Джой 25 лет назад в статье «Почему будущее не нуждается в нас»:²⁰

Создание ядерного оружия требовало, по крайней мере в течение некоторого времени, доступа как к редким — фактически недоступным — сырьевым материалам, так и к защищенной информации; программы по созданию биологического и химического оружия также имели тенденцию требовать масштабной деятельности. Технологии 21 века — генетика, нанотехнологии и робототехника... могут породить совершенно новые классы аварий и злоупотреблений... широко доступных для отдельных лиц или небольших групп. Им не потребуются крупные объекты или редкое сырье... мы находимся на пороге дальнейшего совершенствования крайнего зла, зла, возможность которого распространяется далеко за пределы того, что оружие массового уничтожения завещало национальным государствам, к удивительному и ужасному расширению возможностей крайних личностей.

Джой указывает на мысль о том, что для причинения масштабных разрушений требуются и мотив, и способности, и пока способности ограничены узким кругом высококвалифицированных людей, риск того, что отдельные личности (или небольшие группы) вызовут такие разрушения, относительно невелик.²¹ Психически неуравновешенный одиночка может устроить стрельбу в школе, но, вероятно, не сможет создать ядерное оружие или выпустить чуму.

На самом деле способности и мотивы могут быть даже отрицательно коррелированы. Человек, обладающий способностью выпустить чуму, скорее всего, высокообразован: вероятно, доктор наук в области молекулярной биологии, причем особенно находчивый, с многообещающей карьерой, стабильным и дисциплинированным характером, и ему есть что терять. Такой человек вряд ли будет заинтересован в убийстве огромного количества людей без какой-либо выгоды для себя и с огромным риском для собственного будущего — им должна была бы двигать чистая злоба, глубокая обида или нестабильность.

Такие люди существуют, но они редки и обычно становятся громкими историями, когда это происходит, именно потому, что они так необычны.²² Их также бывает трудно поймать, потому что они умны и способны, иногда оставляя загадки, на решение которых уходят годы или десятилетия. Самый известный пример — это, вероятно, математик Теодор Качинский (Унабомбер), который скрывался от ФБР почти 20 лет и руководствовался антитехнологической идеологией. Другой пример — исследователь в области биозащиты Брюс Айвинс, который, похоже, организовал серию атак с использованием сибирской язвы в 2001 году. Подобное случалось и с опытными негосударственными организациями: секте «Аум Синрикё» удалось получить нервно-паралитический газ зарин и убить 14 человек (а также ранить сотни), распылив его в токийском метро в 1995 году.

К счастью, ни в одной из этих атак не использовались заразные биологические агенты, потому что способность создать или получить эти агенты была за пределами возможностей даже этих людей.²³ Достижения в молекулярной биологии значительно снизили барьер для создания биологического оружия (особенно в плане доступности материалов), но для этого все еще требуется огромный объем экспертных знаний. Я обеспокоен тем, что гений в кармане у каждого может устранить этот барьер, по сути превратив каждого в доктора вирусологии, которого можно шаг за шагом провести через процесс проектирования, синтеза и выпуска биологического оружия. Предотвращение извлечения такой информации в условиях серьезного противодействия со стороны злоумышленников — так называемых «джейлбрейков» — вероятно, требует слоев защиты, выходящих за рамки тех, что обычно закладываются при обучении.

Что критически важно, это разорвет корреляцию между способностями и мотивом: психически неуравновешенный одиночка, который хочет убивать людей, но которому не хватает дисциплины или навыков для этого, теперь будет поднят до уровня способностей доктора вирусологии, у которого вряд ли возникнет такая мотивация. Это опасение распространяется не только на биологию (хотя я считаю биологию самой страшной областью), но и на любую сферу, где возможны великие разрушения, но в настоящее время требуются высокий уровень мастерства и дисциплины. Иначе говоря, аренда мощного ИИ дает интеллект злонамеренным (но в остальном обычным) людям. Я боюсь, что таких людей потенциально может быть очень много, и если у них будет доступ к простому способу убить миллионы людей, рано или поздно кто-то из них это сделает. Кроме того, те, кто уже обладает экспертными знаниями, могут получить возможность совершать еще более масштабные разрушения, чем раньше.

Биология — это безусловно та область, которая беспокоит меня больше всего из-за её огромного разрушительного потенциала и сложности защиты от неё, поэтому я сосредоточусь именно на биологии. Но многое из того, что я говорю здесь, применимо и к другим рискам, таким как кибератаки, химическое оружие или ядерные технологии.

Я не собираюсь вдаваться в подробности того, как создавать биологическое оружие по очевидным причинам. Но на высоком уровне я обеспокоен тем, что LLM приближаются (или, возможно, уже достигли) к уровню знаний, необходимых для создания и выпуска такого оружия от начала до конца, и что их потенциал для разрушения очень высок. Некоторые биологические агенты могут вызвать миллионы смертей, если будут предприняты решительные усилия по их выпуску для максимального распространения. Однако это все равно потребовало бы очень высокого уровня навыков, включая ряд очень специфических шагов и процедур, которые не являются широко известными. Мое беспокойство вызывает не просто фиксированные или статические знания. Я обеспокоен тем, что LLM смогут взять человека со средними знаниями и способностями и провести его через сложный процесс, который в противном случае мог бы пойти не так или потребовать отладки в интерактивном режиме — подобно тому, как техподдержка может помочь нетехническому человеку отладить и исправить сложные компьютерные проблемы (хотя это был бы более длительный процесс, вероятно, продолжающийся недели или месяцы).

Более мощные LLM (существенно превосходящие сегодняшние) могут быть способны на еще более пугающие действия. В 2024 году группа видных ученых написала письмо, предупреждая о рисках исследования и потенциального создания опасного нового типа организмов: «зеркальной жизни». ДНК, РНК, рибосомы и белки, из которых состоят биологические организмы, обладают одинаковой хиральностью (также называемой «рукостью»), из-за которой они не эквивалентны версии самих себя, отраженной в зеркале (точно так же, как вашу правую руку нельзя повернуть так, чтобы она стала идентичной левой). Но вся система связывания белков друг с другом, механизмы синтеза ДНК и трансляции РНК, а также построение и распад белков — всё это зависит от этой «рукости». Если бы ученые создали версии этого биологического материала с противоположной хиральностью — а у них есть потенциальные преимущества, например, лекарства, которые дольше сохраняются в организме, — это могло бы быть чрезвычайно опасным. Это связано с тем, что «левосторонняя» жизнь, если бы она была создана в форме полноценных организмов, способных к размножению (что было бы очень трудно), потенциально была бы неперевариваемой для любой из систем, расщепляющих биологический материал на земле — у неё был бы «ключ», который не подошел бы к «замку» ни одного существующего фермента. Это означало бы, что она могла бы бесконтрольно размножаться и вытеснять всю жизнь на планете, в худшем случае даже уничтожив всю жизнь на Земле.

Существует значительная научная неопределенность как в отношении создания, так и потенциальных эффектов зеркальной жизни. Письмо 2024 года сопровождало отчет, в котором делался вывод, что «зеркальные бактерии вполне могут быть созданы в ближайшие одно-несколько десятилетий», что является широким диапазоном. Но достаточно мощная модель ИИ (чтобы быть ясным: гораздо более способная, чем любые из существующих сегодня) могла бы обнаружить способ создать её гораздо быстрее — и фактически помочь кому-то сделать это.

Мое мнение таково: даже если это малоизвестные риски, которые могут показаться маловероятными, масштаб последствий настолько велик, что их следует воспринимать всерьез как первостепенный риск систем ИИ.

Скептики выдвинули ряд возражений против серьезности этих биологических рисков со стороны LLM, с которыми я не согласен, но которые стоит рассмотреть. Большинство из них относятся к категории недооценки экспоненциальной траектории развития технологии. Еще в 2023 году, когда мы только начали говорить о биологических рисках от LLM, скептики говорили, что вся необходимая информация доступна в Google и LLM ничего к этому не добавляют. Никогда не было правдой, что Google может дать вам всю необходимую информацию: геномы находятся в свободном доступе, но, как я сказал выше, определенные ключевые этапы, а также огромный объем практических ноу-хау нельзя получить таким образом. Но также к концу 2023 года LLM явно начали предоставлять информацию сверх того, что мог дать Google для некоторых этапов процесса.

После этого скептики перешли к возражению, что LLM не были полезны «от начала до конца» и не могли помочь в приобретении биооружия, а лишь предоставляли теоретическую информацию. По состоянию на середину 2025 года наши измерения показывают, что LLM уже могут обеспечивать существенный прирост возможностей в нескольких соответствующих областях, возможно, удваивая или утраивая вероятность успеха. Это привело нас к решению, что Claude Opus 4 (и последующие модели Sonnet 4.5, Opus 4.1 и Opus 4.5) должны быть выпущены в рамках защиты 3-го уровня безопасности ИИ (AI Safety Level 3) в нашей структуре «Политики ответственного масштабирования», а также к внедрению мер предосторожности против этого риска (об этом позже). Мы считаем, что модели сейчас, вероятно, приближаются к той точке, где без защитных барьеров они могли бы помочь человеку с дипломом в области STEM (точных наук), но не обязательно со специализацией в биологии, пройти весь процесс создания биооружия.

Другое возражение заключается в том, что общество может предпринять другие действия, не связанные с ИИ, чтобы заблокировать производство биооружия. В первую очередь, индустрия синтеза генов производит биологические образцы на заказ, и не существует федерального требования к поставщикам проверять заказы на наличие патогенов. Исследование MIT показало, что 36 из 38 поставщиков выполнили заказ, содержащий последовательность гриппа 1918 года. Я поддерживаю обязательную проверку синтеза генов, которая затруднила бы использование патогенов в качестве оружия частными лицами, чтобы снизить как биологические риски, связанные с ИИ, так и биологические риски в целом. Но это не то, что у нас есть сегодня. Кроме того, это был бы лишь один из инструментов снижения риска; это дополнение к барьерам на системах ИИ, а не их замена.

Лучшее возражение — это то, которое я видел крайне редко: что существует разрыв между полезностью моделей в принципе и фактической склонностью злоумышленников использовать их. Большинство отдельных злоумышленников — это психически неуравновешенные люди, поэтому почти по определению их поведение непредсказуемо и иррационально — и именно эти злоумышленники, неопытные, могли бы извлечь наибольшую выгоду из того, что ИИ значительно упрощает убийство многих людей.²⁴ Только потому, что какой-то тип насильственной атаки возможен, не означает, что кто-то решит его совершить. Возможно, биологические атаки будут непривлекательны, потому что они с приличной вероятностью могут заразить самого преступника, они не удовлетворяют фантазиям в стиле милитари, которые есть у многих жестоких личностей или групп, и трудно выборочно нацелиться на конкретных людей. Также может оказаться, что прохождение процесса, занимающего месяцы, даже если ИИ ведет тебя по нему, требует терпения, которого у большинства неуравновешенных людей просто нет. Нам может просто повезти, и мотив со способностью не совпадут на практике именно в той степени, в которой нужно.

Но полагаться на такую защиту кажется очень ненадежным. Мотивы неуравновешенных одиночек могут измениться по любой причине или без неё, и на самом деле уже есть случаи использования LLM в атаках (просто не с биологией). Сосредоточенность на неуравновешенных одиночках также игнорирует идеологически мотивированных террористов, которые часто готовы тратить огромное количество времени и усилий (например, угонщики 11 сентября). Желание убить как можно больше людей — это мотив, который, вероятно, рано или поздно возникнет, и он, к сожалению, подсказывает биооружие в качестве метода. Даже если этот мотив встречается крайне редко, достаточно, чтобы он материализовался всего один раз. А по мере развития биологии (которое все больше стимулируется самим ИИ), также может стать возможным проведение более селективных атак (например, направленных против людей с конкретным происхождением), что добавляет еще один, очень леденящий душу, возможный мотив.

Я не думаю, что биологические атаки обязательно будут осуществлены в тот самый момент, когда это станет широко возможным — на самом деле я бы поставил против этого. Но в масштабе миллионов людей и нескольких лет времени, я думаю, существует серьезный риск крупной атаки, и последствия были бы настолько тяжелыми (с потенциальными жертвами в миллионы человек и более), что я считаю, у нас нет другого выбора, кроме как принять серьезные меры для её предотвращения.

Меры защиты

Это подводит нас к вопросу о том, как защититься от этих рисков. Здесь я вижу три вещи, которые мы можем сделать.

Во-первых, ИИ-компании могут установить защитные барьеры («гардрайлы») на свои модели, чтобы предотвратить их помощь в производстве биооружия. Anthropic активно этим занимается. Конституция Клода, которая в основном фокусируется на высокоуровневых принципах и ценностях, содержит небольшое количество конкретных жестких запретов, и один из них касается помощи в производстве биологического (или химического, ядерного, радиологического) оружия. Но все модели могут быть подвергнуты «джейлбрейку» (взлому), и поэтому в качестве второй линии обороны мы внедрили (с середины 2025 года, когда наши тесты показали, что модели начинают приближаться к порогу, за которым они могут начать представлять риск) классификатор, который специально обнаруживает и блокирует ответы, связанные с биооружием. Мы регулярно обновляем и совершенствуем эти классификаторы и в целом обнаружили, что они весьма устойчивы даже к изощренным состязательным атакам.²⁵ Эти классификаторы заметно увеличивают затраты на инференс (вывод) наших моделей (в некоторых моделях они составляют почти 5% от общих затрат на инференс) и тем самым снижают нашу маржу, но мы считаем, что их использование — это правильно.

К их чести, некоторые другие ИИ-компании также внедрили классификаторы. Но это сделали не все, и к тому же ничто не обязывает компании сохранять эти классификаторы. Я обеспокоен тем, что со временем может возникнуть «дилемма заключенного», когда компании могут «дезертировать» и снижать свои издержки, удаляя классификаторы. Это снова классическая проблема отрицательных экстерналий, которая не может быть решена только добровольными действиями Anthropic или любой другой отдельной компании.²⁶ Могут помочь добровольные отраслевые стандарты, а также сторонние оценки и проверки того типа, который проводят институты безопасности ИИ и сторонние эксперты.

Но, в конечном счете, защита может потребовать действий правительства, и это вторая вещь, которую мы можем сделать. Мои взгляды здесь такие же, как и в отношении рисков автономности: нам следует начать с требований к прозрачности,²⁷ которые помогают обществу измерять риски, отслеживать их и коллективно защищаться от них, не нарушая экономическую деятельность жесткими методами. Затем, если и когда мы достигнем более четких порогов риска, мы сможем разработать законодательство, которое более точно нацелено на эти риски и имеет меньшую вероятность сопутствующего ущерба. В конкретном случае с биооружием я действительно думаю, что время для такого целевого законодательства может наступить в ближайшее время — Anthropic и другие компании узнают всё больше о природе биологических рисков и о том, что разумно требовать от компаний для защиты от них. Полная защита от этих рисков может потребовать международного сотрудничества, даже с геополитическими противниками, но в международных договорах, запрещающих разработку биологического оружия, есть соответствующий прецедент. Я обычно скептически отношусь к большинству видов международного сотрудничества по ИИ, но это может быть одной узкой областью, где есть шанс достичь глобального сдерживания. Даже диктатуры не хотят массовых биотеррористических атак.

Наконец, третья контрмера, которую мы можем предпринять, — это попытка разработать средства защиты от самих биологических атак. Это может включать мониторинг и отслеживание для раннего обнаружения, инвестиции в НИОКР по очистке воздуха (например, обеззараживание дальним УФ-C излучением), разработку быстрых вакцин, которые могут реагировать и адаптироваться к атаке, улучшенные средства индивидуальной защиты (СИЗ),²⁸ а также методы лечения или вакцинации против наиболее вероятных биологических агентов. мРНК-вакцины, которые могут быть разработаны для реагирования на конкретный вирус или вариант, являются ранним примером того, что здесь возможно. Anthropic рада работать с биотехнологическими и фармацевтическими компаниями над этой проблемой. Но, к сожалению, я думаю, что наши ожидания в плане обороны должны быть ограниченными. В биологии существует асимметрия между нападением и защитой, поскольку агенты распространяются сами по себе быстро, в то время как защита требует организации обнаружения, вакцинации и лечения огромного количества людей в кратчайшие сроки. Если реакция не будет молниеносной (что случается редко), большая часть ущерба будет нанесена еще до того, как ответ станет возможен. Вполне вероятно, что будущие технологические улучшения смогут изменить этот баланс в пользу защиты (и мы определенно должны использовать ИИ для помощи в разработке таких технологических достижений), но до тех пор профилактические меры безопасности будут нашей основной линией обороны.

Здесь стоит кратко упомянуть кибератаки, поскольку, в отличие от биологических атак, кибератаки под руководством ИИ уже происходили в реальности, в том числе в крупных масштабах и для шпионажа на государственном уровне. Мы ожидаем, что эти атаки станут более изощренными по мере стремительного совершенствования моделей, пока не станут основным способом проведения кибератак. Я ожидаю, что кибератаки под руководством ИИ станут серьезной и беспрецедентной угрозой целостности компьютерных систем по всему миру, и Anthropic очень усердно работает над тем, чтобы пресекать эти атаки и, в конечном счете, надежно предотвращать их. Причина, по которой я не уделял кибербезопасности столько же внимания, сколько биологии, заключается в том, что (1) кибератаки гораздо менее склонны убивать людей, уж точно не в масштабах биологических атак, и (2) баланс между нападением и защитой в киберпространстве может быть более управляемым: здесь есть хотя бы какая-то надежда на то, что защита сможет идти в ногу с атаками ИИ (и в идеале даже опережать их), если мы будем инвестировать в это должным образом.

Хотя биология в настоящее время является наиболее серьезным вектором атаки, существует множество других векторов, и возможно появление еще более опасного. Общий принцип заключается в том, что без контрмер ИИ, вероятно, будет постоянно снижать барьер для деструктивной деятельности во все более крупных масштабах, и человечеству нужен серьезный ответ на эту угрозу.

3. Гнусный аппарат. Злоупотребление для захвата власти

В предыдущем разделе обсуждался риск того, что отдельные лица и небольшие организации могут кооптировать небольшую часть «страны гениев в дата-центре» для причинения масштабных разрушений. Но мы также должны беспокоиться — вероятно, значительно сильнее — о злоупотреблении ИИ с целью удержания или захвата власти, скорее всего, со стороны более крупных и устоявшихся игроков.²⁹

В «Машинах милосердия» я обсуждал возможность того, что авторитарные правительства могут использовать мощный ИИ для слежки или подавления своих граждан способами, которые было бы крайне трудно реформировать или свергнуть. Нынешние автократии ограничены в степени подавления необходимостью иметь людей для выполнения своих приказов, а у людей часто есть пределы того, насколько бесчеловечными они готовы быть. Но автократии с поддержкой ИИ не будут иметь таких ограничений.

Хуже того, страны могут также использовать свое преимущество в ИИ для получения власти над другими странами. Если бы «страна гениев» в целом просто принадлежала и контролировалась военным аппаратом одной (человеческой) страны, а другие страны не имели бы эквивалентных возможностей, трудно представить, как они могли бы защититься: их бы переигрывали на каждом шагу, что было бы похоже на войну между людьми и мышами. Сочетание этих двух опасений приводит к тревожной возможности установления глобальной тоталитарной диктатуры. Очевидно, что предотвращение такого исхода должно быть одним из наших высших приоритетов.

Существует множество способов, которыми ИИ может способствовать установлению, укреплению или расширению автократии, но я перечислю несколько тех, которые беспокоят меня больше всего. Обратите внимание, что некоторые из этих приложений имеют законное оборонительное применение, и я не обязательно выступаю против них в абсолютном смысле; тем не менее, я обеспокоен тем, что они структурно склонны благоприятствовать автократиям:

Полностью автономное оружие. Рой из миллионов или миллиардов полностью автоматизированных вооруженных дронов, локально управляемых мощным ИИ и стратегически координируемых по всему миру еще более мощным ИИ, может стать непобедимой армией, способной как победить любого противника в мире, так и подавить инакомыслие внутри страны, следя за каждым гражданином. События российско-украинской войны должны заставить нас осознать тот факт, что война дронов уже пришла к нам (хотя они еще не полностью автономны и составляют лишь крошечную часть того, что может быть возможно с мощным ИИ). НИОКР на основе мощного ИИ могли бы сделать дроны одной страны намного превосходящими дроны других стран, ускорить их производство, сделать их более устойчивыми к радиоэлектронным атакам, улучшить их маневренность и так далее. Конечно, у этого оружия есть и законное применение в защите демократии: оно играет ключевую роль в защите Украины и, вероятно, будет иметь ключевое значение для защиты Тайваня. Но это опасное оружие: мы должны беспокоиться о нем в руках автократий, но также опасаться того, что, поскольку оно настолько мощное и практически бесконтрольное, существует значительно возросший риск того, что демократические правительства повернут его против собственного народа ради захвата власти.
ИИ-слежка. Достаточно мощный ИИ, вероятно, может быть использован для взлома любой компьютерной системы в мире,³⁰ а также может использовать полученный таким образом доступ для чтения и осмысления всех электронных коммуникаций в мире (или даже всех очных разговоров, если удастся создать или захватить записывающие устройства). Пугающе правдоподобной выглядит возможность просто составить полный список всех, кто не согласен с правительством по любому количеству вопросов, даже если это несогласие не выражено явно в их словах или действиях. Мощный ИИ, анализирующий миллиарды разговоров миллионов людей, может оценивать общественные настроения, обнаруживать формирующиеся очаги нелояльности и подавлять их в зародыше. Это может привести к навязыванию истинного «паноптикума» в масштабах, которых мы не видим сегодня даже в КНР.
ИИ-пропаганда. Сегодняшние феномены «ИИ-психоза» и «ИИ-девушек» позволяют предположить, что даже на их нынешнем уровне интеллекта модели ИИ могут оказывать мощное психологическое влияние на людей. Гораздо более мощные версии этих моделей, которые были бы гораздо сильнее встроены в повседневную жизнь людей, знали бы о ней всё и могли бы моделировать и влиять на них в течение месяцев или лет, вероятно, были бы способны, по сути, «промыть мозги» многим (большинству?) людям, внушив им любую желаемую идеологию или отношение. Это могло бы использоваться недобросовестным лидером для обеспечения лояльности и подавления инакомыслия даже перед лицом такого уровня репрессий, против которого взбунтовалось бы большинство населения. Сегодня люди много беспокоятся, например, о потенциальном влиянии TikTok как пропаганды КПК, направленной на детей. Я тоже об этом беспокоюсь, но персонализированный ИИ-агент, который узнает вас в течение многих лет и использует знания о вас для формирования всех ваших мнений, был бы несравнимо мощнее этого.
Стратегическое принятие решений. «Страна гениев в дата-центре» может быть использована для консультирования страны, группы или отдельного лица по геополитической стратегии — то, что мы могли бы назвать «виртуальным Бисмарком». Она могла бы оптимизировать три вышеупомянутые стратегии захвата власти и, вероятно, разработать множество других, о которых я не подумал (но о которых могла бы подумать страна гениев). Дипломатия, военная стратегия, НИОКР, экономическая стратегия и многие другие области, вероятно, существенно выиграют в эффективности благодаря мощному ИИ. Многие из этих навыков были бы законно полезны для демократий — мы хотим, чтобы у демократий был доступ к лучшим стратегиям защиты от автократий, — но потенциал для злоупотребления в чьих угодно руках по-прежнему сохраняется.

Описав, чего я опасаюсь, перейдем к вопросу о том, кого. Меня беспокоят субъекты, имеющие наибольший доступ к ИИ, начинающие с позиций наибольшей политической власти или имеющие историю репрессий. В порядке убывания серьезности меня беспокоят:

КПК. Китай уступает только Соединенным Штатам в возможностях ИИ и является страной с наибольшей вероятностью превзойти США в этих возможностях. Их правительство в настоящее время является автократическим и управляет высокотехнологичным государством слежки. Они уже внедрили слежку на базе ИИ (в том числе при подавлении уйгуров) и, как считается, используют алгоритмическую пропаганду через TikTok (в дополнение к многим другим международным пропагандистским усилиям). У них, без сомнения, самый ясный путь к тоталитарному кошмару на базе ИИ, который я описал выше. Это может стать даже исходом «по умолчанию» внутри Китая, а также в других автократических государствах, которым КПК экспортирует технологии слежки. Я часто писал об угрозе того, что КПК захватит лидерство в ИИ, и об экзистенциальном императиве не допустить этого. Вот почему. Чтобы быть ясным: я выделяю Китай не из неприязни к нему в частности — это просто страна, в которой больше всего сочетаются мастерство в области ИИ, автократическое правительство и высокотехнологичное государство слежки. Если уж на то пошло, именно китайский народ с наибольшей вероятностью пострадает от репрессий КПК с помощью ИИ, и у него нет права голоса в действиях своего правительства. Я глубоко восхищаюсь китайским народом, уважаю его и поддерживаю многих отважных диссидентов внутри Китая в их борьбе за свободу.
Демократии, конкурирующие в области ИИ. Как я писал выше, демократии имеют законный интерес в некоторых военных и геополитических инструментах на базе ИИ, потому что демократические правительства дают лучший шанс противостоять использованию этих инструментов автократиями. В целом я поддерживаю вооружение демократий инструментами, необходимыми для победы над автократиями в эпоху ИИ, — я просто не думаю, что есть другой путь. Но мы не можем игнорировать возможность злоупотребления этими технологиями самими демократическими правительствами. Обычно в демократиях существуют предохранители, которые предотвращают обращение их военного и разведывательного аппарата внутрь против собственного населения,³¹ но поскольку для работы инструментов ИИ требуется так мало людей, существует потенциал для обхода этих предохранителей и норм, которые их поддерживают. Стоит также отметить, что некоторые из этих предохранителей в ряде демократий уже постепенно размываются. Таким образом, мы должны вооружать демократии ИИ, но делать это осторожно и в определенных пределах: они — та иммунная система, которая нужна нам для борьбы с автократиями, но, как и в случае с иммунной системой, существует риск того, что они обратятся против нас и сами станут угрозой.
Недемократические страны с крупными дата-центрами. Помимо Китая, большинство стран с менее демократическим управлением не являются ведущими игроками в области ИИ в том смысле, что у них нет компаний, производящих передовые модели ИИ. Таким образом, они представляют собой фундаментально иной и меньший риск, чем КПК, которая остается основной заботой (большинство из них также менее репрессивны, а те, что более репрессивны, например Северная Корея, вообще не имеют значимой индустрии ИИ). Но в некоторых из этих стран есть крупные дата-центры (часто в рамках расширения инфраструктуры компаниями, работающими в демократиях), которые можно использовать для запуска передового ИИ в больших масштабах (хотя это и не дает возможности развивать саму технологическую границу). С этим связана определенная опасность — такие правительства в принципе могут экспроприировать дата-центры и использовать «страну ИИ» внутри них в своих целях. Я меньше беспокоюсь об этом по сравнению с такими странами, как Китай, которые напрямую разрабатывают ИИ, но об этом риске стоит помнить.³²
ИИ-компании. Несколько неловко говорить об этом, будучи генеральным директором ИИ-компании, но я думаю, что следующий уровень риска — это сами ИИ-компании. ИИ-компании контролируют крупные дата-центры, обучают передовые модели, обладают наибольшим опытом использования этих моделей и в некоторых случаях имеют ежедневный контакт и возможность влияния на десятки или сотни миллионов пользователей. Главное, чего им не хватает, — это легитимности и инфраструктуры государства, поэтому многое из того, что потребовалось бы для создания инструментов ИИ-автократии, было бы незаконным для ИИ-компании или, по крайней мере, крайне подозрительным. Но кое-что из этого не является невозможным: они могли бы, например, использовать свои ИИ-продукты для «промывания мозгов» своей огромной потребительской базе, и общественность должна быть готова к риску, который это представляет. Я считаю, что управление ИИ-компаниями заслуживает пристального внимания.

Существует ряд возможных аргументов против серьезности этих угроз, и я хотел бы в них верить, потому что авторитаризм с поддержкой ИИ приводит меня в ужас. Стоит пройтись по некоторым из этих аргументов и ответить на них.

Во-первых, некоторые люди могут возлагать надежды на ядерное сдерживание, особенно для противодействия использованию автономного оружия ИИ для военных завоеваний. Если кто-то угрожает применить это оружие против вас, вы всегда можете пригрозить ответным ядерным ударом. Мое опасение заключается в том, что я не совсем уверен, что мы можем полагаться на ядерное сдерживание против «страны гениев в дата-центре»: вполне возможно, что мощный ИИ мог бы разработать способы обнаружения и поражения атомных подводных лодок, проводить операции влияния на операторов инфраструктуры ядерного оружия или использовать кибервозможности ИИ для запуска кибератаки на спутники, используемые для обнаружения ядерных пусков.³³ В качестве альтернативы, возможно, захват стран осуществим только с помощью ИИ-слежки и ИИ-пропаганды, и это никогда не создает того самого явного момента, когда становится очевидным, что происходит, и когда ядерный ответ был бы уместен. Может быть, эти вещи неосуществимы и ядерное сдерживание все равно будет эффективным, но ставки кажутся слишком высокими, чтобы рисковать.³⁴

Второе возможное возражение заключается в том, что против этих инструментов автократии могут быть предприняты контрмеры. Мы можем противопоставить дронам своих собственных дронов, киберзащита будет совершенствоваться вместе с кибератками, могут появиться способы иммунизации людей против пропаганды и так далее. Мой ответ таков: эти меры защиты будут возможны только при наличии сопоставимого по мощности ИИ. Если не будет какой-то противодействующей силы в виде сопоставимой по уму и численности «страны гениев в дата-центре», будет невозможно соответствовать качеству или количеству дронов, киберзащита не сможет перехитрить кибернападение и так далее. Таким образом, вопрос о контрмерах сводится к вопросу о балансе сил в области мощного ИИ. Здесь меня беспокоит рекурсивное или самоподкрепляющееся свойство мощного ИИ (которое я обсуждал в начале этого эссе): то, что каждое поколение ИИ может быть использовано для проектирования и обучения следующего поколения ИИ. Это ведет к риску стремительного отрыва, когда текущий лидер в области мощного ИИ может увеличить свой отрыв, и его будет трудно догнать. Нам нужно убедиться, что авторитарная страна не попадет в этот цикл первой.

Более того, даже если баланс сил будет достигнут, все равно существует риск того, что мир может быть разделен на автократические сферы, как в романе «1984». Даже если у нескольких конкурирующих держав будут свои мощные модели ИИ и ни одна из них не сможет одолеть другие, каждая держава все равно сможет внутренне подавлять собственное население, и её будет очень трудно свергнуть (поскольку у населения нет мощного ИИ для самозащиты). Таким образом, важно предотвратить возникновение автократии с поддержкой ИИ, даже если это не приведет к захвату мира одной страной.

Меры защиты

Как нам защититься от этого широкого спектра инструментов автократии и потенциальных угроз? Как и в предыдущих разделах, я считаю, что мы можем сделать несколько вещей.

Во-первых, мы категорически не должны продавать чипы, инструменты для производства чипов или дата-центры КПК. Чипы и инструменты для их производства являются величайшим «узким местом» на пути к мощному ИИ, и их блокировка — простая, но чрезвычайно эффективная мера, возможно, самое важное действие, которое мы можем предпринять. Нет никакого смысла продавать КПК инструменты, с помощью которых можно построить тоталитарное ИИ-государство и, возможно, победить нас военным путем. Для оправдания таких продаж приводятся сложные аргументы, например, идея о том, что «распространение нашего технологического стека по всему миру» позволяет «Америке победить» в какой-то общей, неопределенной экономической битве. На мой взгляд, это все равно что продать Северной Корее ядерное оружие, а затем хвастаться тем, что корпуса ракет сделаны компанией Boeing и поэтому США «побеждают». Китай на несколько лет отстает от США в способности производить передовые чипы в необходимых количествах, и критический период для создания «страны гениев в дата-центре», скорее всего, наступит именно в течение этих ближайших нескольких лет.³⁵

Во-вторых, имеет смысл использовать ИИ, чтобы дать демократиям возможность сопротивляться автократиям. Это причина, по которой Anthropic считает важным предоставлять ИИ разведывательному и оборонному сообществам в США и их демократическим союзникам. Защита демократий, подвергающихся нападению, таких как Украина и (через кибератаки) Тайвань, кажется особенно приоритетной задачей, равно как и расширение возможностей демократий по использованию своих спецслужб для подрыва и ослабления автократий изнутри. На определенном уровне единственный способ ответить на автократические угрозы — это соответствовать им и превосходить их в военном отношении. Коалиция США и их демократических союзников, если она добьется превосходства в области мощного ИИ, будет в состоянии не только защитить себя от автократий, но и сдерживать их и ограничивать их тоталитарные злоупотребления ИИ.

В-третьих, нам нужно провести жесткую черту против злоупотреблений ИИ внутри самих демократий. Должны существовать пределы того, что мы позволяем нашим правительствам делать с помощью ИИ, чтобы они не захватили власть и не подавляли собственный народ. Формула, которую я вывел, такова: мы должны использовать ИИ для национальной обороны всеми способами, за исключением тех, которые сделали бы нас похожими на наших автократических противников.

Где должна быть проведена эта черта? В списке в начале этого раздела два пункта — использование ИИ для массовой внутренней слежки и массовой пропаганды — кажутся мне «ярко-красными линиями» и совершенно нелегитимными. Кто-то может возразить, что нет необходимости что-либо предпринимать (по крайней мере, в США), поскольку массовая внутренняя слежка уже незаконна согласно Четвертой поправке. Но стремительный прогресс ИИ может создать ситуации, для решения которых наши существующие правовые рамки плохо приспособлены. Например, вероятно, не будет противоречить конституции, если правительство США будет проводить масштабную запись всех публичных разговоров (например, того, что люди говорят друг другу на углу улицы). Раньше было бы трудно разобраться в таком объеме информации, но с помощью ИИ всё это можно транскрибировать, интерпретировать и триангулировать, чтобы создать картину настроений и лояльности многих или большинства граждан. Я бы поддержал законодательство, ориентированное на гражданские свободы (или, возможно, даже конституционную поправку), которое установило бы более жесткие барьеры против злоупотреблений на базе ИИ.

Остальные два пункта — полностью автономное оружие и ИИ для принятия стратегических решений — представляют собой более сложные линии, поскольку они имеют законное применение в защите демократии, но в то же время склонны к злоупотреблениям. Здесь, я считаю, оправдана крайняя осторожность и тщательный контроль в сочетании с барьерами для предотвращения злоупотреблений. Мой главный страх — это слишком малое количество «пальцев на кнопке», когда один человек или горстка людей могли бы, по сути, управлять армией дронов без необходимости сотрудничества с другими людьми для выполнения их приказов. По мере того как системы ИИ становятся всё более мощными, нам могут потребоваться более прямые и немедленные механизмы надзора для обеспечения того, чтобы они не использовались во зло, возможно, с привлечением других ветвей власти, помимо исполнительной. Я считаю, что нам следует подходить к полностью автономному оружию с большой осторожностью³⁶ и не спешить с его применением без надлежащих мер предосторожности.

В-четвертых, проведя жесткую черту против злоупотреблений ИИ в демократиях, мы должны использовать этот прецедент для создания международного табу на худшие виды злоупотреблений мощным ИИ. Я осознаю, что нынешние политические ветры развернулись против международного сотрудничества и международных норм, но это именно тот случай, когда они нам крайне необходимы. Мир должен понять темный потенциал мощного ИИ в руках автократов и признать, что определенные виды использования ИИ равносильны попытке навсегда украсть свободу людей и навязать тоталитарное государство, из которого они не смогут выбраться. Я бы даже утверждал, что в некоторых случаях крупномасштабная слежка с помощью мощного ИИ, массовая пропаганда с помощью мощного ИИ и определенные типы наступательного применения полностью автономного оружия должны считаться преступлениями против человечества. В более общем плане крайне необходима устойчивая норма против тоталитаризма с поддержкой ИИ и всех его инструментов.

Возможна даже еще более сильная версия этой позиции: из-за того, что перспективы тоталитаризма с поддержкой ИИ столь мрачны, автократия просто перестает быть формой правления, которую люди могут принять в эпоху после появления мощного ИИ. Подобно тому как феодализм стал нежизнеспособным с промышленной революцией, эпоха ИИ может неизбежно и логично привести к выводу, что демократия (и, надеемся, демократия, улучшенная и оживленная с помощью ИИ, как я обсуждаю в «Машинах милосердия») является единственной жизнеспособной формой правления, если человечество хочет иметь хорошее будущее.

В-пятых и в-последних, за ИИ-компаниями следует внимательно следить, равно как и за их связями с правительством, которые необходимы, но должны иметь пределы и границы. Сама по себе мощь, воплощенная в мощном ИИ, такова, что обычное корпоративное управление — предназначенное для защиты акционеров и предотвращения обычных злоупотреблений, таких как мошенничество, — вряд ли справится с задачей управления ИИ-компаниями. Также может быть ценным, если компании публично обязуются (возможно, даже в рамках корпоративного устава) не совершать определенных действий, таких как частное создание или накопление военных ресурсов, использование огромных вычислительных ресурсов отдельными лицами бесконтрольным образом или использование своих ИИ-продуктов в качестве пропаганды для манипулирования общественным мнением в свою пользу.

Опасность здесь исходит со многих сторон, и некоторые направления находятся в противоречии с другими. Единственная константа заключается в том, что мы должны стремиться к подотчетности, нормам и барьерам для всех, даже когда мы расширяем возможности «хороших» акторов, чтобы они держали «плохих» под контролем.

4. Механическое пианино. Экономические потрясения

Предыдущие три раздела были посвящены в основном рискам безопасности, создаваемым мощным ИИ: рискам от самого ИИ, рискам злоупотребления со стороны отдельных лиц и небольших организаций, а также рискам злоупотребления со стороны государств и крупных организаций. Если мы отложим риски безопасности или предположим, что они решены, следующим вопросом станет экономический. Каким будет эффект от вливания этого невероятного «человеческого» капитала в экономику? Очевидно, что самым заметным эффектом станет значительное ускорение экономического роста. Темпы прогресса в научных исследованиях, биомедицинских инновациях, производстве, цепочках поставок, эффективности финансовой системы и многом другом почти гарантированно приведут к гораздо более высоким темпам экономического роста. В «Машинах милосердия» я предположил, что возможен устойчивый ежегодный рост ВВП на уровне 10–20%.

Но должно быть ясно, что это палка о двух концах: каковы экономические перспективы большинства существующих людей в таком мире? Новые технологии часто приносят потрясения на рынке труда, и в прошлом люди всегда восстанавливались после них, но я обеспокоен тем, что это происходило потому, что предыдущие потрясения затрагивали лишь небольшую часть полного спектра человеческих способностей, оставляя людям место для перехода к новым задачам. ИИ будет иметь гораздо более широкие последствия, которые проявятся гораздо быстрее, и поэтому я беспокоюсь, что будет намного сложнее добиться того, чтобы всё закончилось хорошо.

Потрясения на рынке труда

Меня беспокоят две конкретные проблемы: вытеснение с рынка труда и концентрация экономической власти. Начнем с первой. Это тема, о которой я очень публично предупреждал в 2025 году, предсказав, что ИИ может вытеснить половину всех рабочих мест начального уровня для «белых воротничков» в ближайшие 1–5 лет, даже при ускорении экономического роста и научного прогресса. Это предупреждение положило начало общественной дискуссии по этой теме. Многие генеральные директора, технологи и экономисты согласились со мной, но другие посчитали, что я пал жертвой «заблуждения о фиксированном объеме труда» (lump of labor fallacy) и не знаю, как работают рынки труда; некоторые же не заметили временного диапазона в 1–5 лет и подумали, что я утверждаю, будто ИИ вытесняет рабочие места прямо сейчас (с чем я согласен — скорее всего, нет). Поэтому стоит подробно разобрать, почему я беспокоюсь о вытеснении труда, чтобы прояснить эти недоразумения.

В качестве отправной точки полезно понять, как рынки труда обычно реагируют на достижения технологий. Когда появляется новая технология, она начинает с того, что делает более эффективными отдельные части данной человеческой работы. Например, в начале промышленной революции машины, такие как усовершенствованные плуги, позволили фермерам быть более эффективными в некоторых аспектах труда. Это повысило производительность фермеров, что увеличило их заработную плату.

На следующем этапе некоторые части фермерской работы могли быть полностью выполнены машинами, например, с изобретением молотилки или сеялки. В этой фазе люди выполняли всё меньшую часть работы, но работа, которую они всё же выполняли, становилась всё более значимой, поскольку она дополняла работу машин, и их производительность продолжала расти. Как описывает парадокс Джевонса, заработная плата фермеров и, возможно, даже количество фермеров продолжали расти. Даже когда 90% работы выполняется машинами, люди могут просто делать в 10 раз больше тех 10%, которые они всё еще выполняют, производя в 10 раз больше продукции при том же объеме труда.

В конце концов машины делают всё или почти всё, как в случае с современными комбайнами, тракторами и другим оборудованием. В этот момент сельское хозяйство как форма занятости людей действительно идет на спад, и это потенциально вызывает серьезные потрясения в краткосрочной перспективе. Но поскольку сельское хозяйство — это лишь одна из многих полезных деятельностей, на которые способны люди, они в конечном итоге переходят на другие работы, например, на управление заводскими станками. Это верно, даже несмотря на то, что сельское хозяйство составляло огромную долю занятости до этого момента (ex ante). 250 лет назад 90% американцев жили на фермах; в Европе 50–60% занятости приходилось на сельское хозяйство. Сейчас эти проценты в этих регионах находятся на уровне единиц, потому что работники перешли на промышленные рабочие места (а позже — на рабочие места в сфере интеллектуального труда). Экономика может делать то, что раньше требовало участия большей части рабочей силы, силами всего 1–2% населения, высвобождая остальную рабочую силу для построения всё более развитого индустриального общества. Не существует фиксированного «объема труда», есть лишь постоянно расширяющаяся способность делать всё больше и больше меньшими средствами. Заработная плата людей растет вместе с экспонентой ВВП, и экономика поддерживает полную занятость, как только краткосрочные потрясения проходят.

Возможно, с ИИ всё пойдет примерно так же, но я бы с большой уверенностью поставил против этого. Вот несколько причин, почему я считаю, что ИИ, скорее всего, будет отличаться от прошлых технологий:

Скорость. Темпы прогресса в области ИИ гораздо выше, чем в предыдущих технологических революциях. Например, за последние 2 года модели ИИ прошли путь от едва способности дописать одну строку кода до написания всего или почти всего кода для некоторых людей — включая инженеров Anthropic.³⁷ Вскоре они могут выполнять всю задачу инженера-программиста от начала до конца.³⁸ Людям трудно адаптироваться к такому темпу перемен, как к изменениям в том, как работает данная работа, так и к необходимости переходить на новые виды деятельности. Даже легендарные программисты всё чаще описывают себя как «отстающих». Темп может даже продолжать ускоряться, поскольку модели для написания кода ИИ всё больше ускоряют саму задачу разработки ИИ. Чтобы быть ясным: скорость сама по себе не означает, что рынки труда и занятость в конечном итоге не восстановятся; она просто подразумевает, что краткосрочный переход будет необычайно болезненным по сравнению с прошлыми технологиями, поскольку люди и рынки труда медленно реагируют и медленно приходят в равновесие.
Когнитивная широта. Как следует из фразы «страна гениев в дата-центре», ИИ будет обладать очень широким спектром человеческих когнитивных способностей — возможно, всеми ими. Это сильно отличается от предыдущих технологий, таких как механизированное фермерство, транспорт или даже компьютеры.³⁹ Это затруднит людям легкий переход с вытесняемых рабочих мест на аналогичные, для которых они бы подошли. Например, общие интеллектуальные способности, необходимые для рабочих мест начального уровня в, скажем, финансах, консалтинге и праве, довольно похожи, даже если конкретные знания сильно различаются. Технология, которая разрушила бы только одну из этих трех сфер, позволила бы сотрудникам переключиться на две другие близкие альтернативы (или студентам — сменить специальность). Но одновременное разрушение всех трех сфер (наряду со многими другими аналогичными работами) может оказаться более трудным для адаптации. Более того, дело не только в том, что большинство существующих рабочих мест будут разрушены. Это случалось и раньше — вспомните, что сельское хозяйство составляло огромный процент занятости. Но фермеры могли переключиться на относительно похожую работу по управлению заводскими станками, даже если эта работа не была распространена ранее. Напротив, ИИ всё больше соответствует общему когнитивному профилю человека, а это значит, что он также будет хорош в новых работах, которые обычно создавались бы в ответ на автоматизацию старых. Иначе говоря, ИИ — это не замена конкретных человеческих профессий, а скорее общая трудовая замена человека.
Разделение по когнитивным способностям. В широком спектре задач ИИ, по-видимому, продвигается от нижней ступени лестницы способностей к верхней. Например, в программировании наши модели прошли путь от уровня «посредственного кодера» до «сильного кодера» и «очень сильного кодера».⁴⁰ Сейчас мы начинаем видеть ту же прогрессию в офисной работе (white-collar work) в целом. Таким образом, мы рискуем оказаться в ситуации, когда вместо того, чтобы затрагивать людей с определенными навыками или в определенных профессиях (которые могут адаптироваться через переобучение), ИИ затрагивает людей с определенными врожденными когнитивными свойствами, а именно более низкими интеллектуальными способностями (которые труднее изменить). Неясно, куда пойдут эти люди или что они будут делать, и я обеспоен тем, что они могут сформировать безработный или имеющий очень низкую заработную плату «низший класс». Чтобы быть ясным: нечто подобное случалось и раньше — например, компьютеры и интернет, по мнению некоторых экономистов, представляют собой «технологические изменения, смещенные в сторону квалификации» (skill-biased technological change). Но это смещение в сторону квалификации не было столь экстремальным, как то, что я ожидаю увидеть в случае с ИИ, и считается, что оно способствовало росту неравенства в оплате труда⁴¹, так что это не совсем обнадеживающий прецедент.
Способность заполнять пробелы. Человеческие профессии часто подстраиваются под новые технологии за счет того, что в работе много аспектов, и новая технология, даже если кажется, что она напрямую заменяет людей, часто имеет в себе пробелы. Если кто-то изобретает машину для производства деталей, людям всё равно может потребоваться загружать сырье в машину. Даже если это требует лишь 1% усилий по сравнению с ручным изготовлением деталей, рабочие могут просто производить в 100 раз больше деталей. Но ИИ, помимо того что является быстро развивающейся технологией, является также быстро адаптирующейся технологией. При каждом выпуске модели ИИ-компании тщательно измеряют, в чем модель хороша, а в чем нет, и клиенты также предоставляют такую информацию после запуска. Слабые стороны могут быть устранены путем сбора задач, воплощающих текущий пробел, и обучения на них для следующей модели. На ранних этапах генеративного ИИ пользователи замечали, что у систем ИИ есть определенные слабости (например, модели ИИ для создания изображений рисовали руки с неправильным количеством пальцев), и многие полагали, что эти слабости присущи самой технологии. Если бы это было так, это ограничило бы потрясения на рынке труда. Но практически каждая такая слабость устраняется быстро — часто в течение всего нескольких месяцев.

Стоит разобрать распространенные аргументы скептиков. Во-первых, существует аргумент о том, что экономическая диффузия (распространение) будет медленной, так что даже если сама технология способна выполнять большую часть человеческого труда, её фактическое применение в экономике может занять гораздо больше времени (например, в отраслях, далеких от ИИ-индустрии и медленно внедряющих новшества). Медленная диффузия технологий — это реальность; я общаюсь с людьми из самых разных предприятий, и есть места, где внедрение ИИ займет годы. Вот почему мой прогноз о вытеснении 50% рабочих мест начального уровня для офисных работников составляет 1–5 лет, хотя я подозреваю, что у нас появится мощный ИИ (которого, с технологической точки зрения, было бы достаточно для выполнения большинства или всех работ, а не только начального уровня) гораздо быстрее, чем через 5 лет. Но эффекты диффузии лишь дают нам время. И я не уверен, что они будут такими медленными, как предсказывают. Внедрение ИИ на предприятиях растет темпами, намного превышающими любую предыдущую технологию, во многом благодаря чистой силе самой технологии. Кроме того, даже если традиционные предприятия медленно внедряют новые технологии, появятся стартапы, которые послужат «клеем» и облегчат внедрение. Если это не сработает, стартапы могут просто напрямую вытеснить устоявшихся игроков.

Это может привести к миру, в котором не столько разрушаются конкретные рабочие места, сколько крупные предприятия в целом подвергаются разрушению и заменяются гораздо менее трудоемкими стартапами. Это также может привести к миру «географического неравенства», где все большая часть мирового богатства концентрируется в Кремниевой долине, которая становится собственной экономикой, работающей на иной скорости, чем остальной мир, и оставляющей его позади. Все эти результаты были бы полезны для экономического роста, но не очень хороши для рынка труда или тех, кто остался позади.

Во-вторых, некоторые говорят, что человеческие рабочие места переместятся в физический мир, что позволит избежать всей категории «когнитивного труда», в которой ИИ прогрессирует столь стремительно. Я не уверен, насколько это безопасно. Большой объем физического труда уже выполняется машинами (например, производство) или вскоре будет выполняться ими (например, вождение). Кроме того, достаточно мощный ИИ сможет ускорить разработку роботов, а затем управлять этими роботами в физическом мире. Это может выиграть немного времени (что само по себе хорошо), но я боюсь, что времени будет выиграно немного. И даже если бы потрясения ограничились только когнитивными задачами, это всё равно было бы беспрецедентно масштабным и быстрым потрясением.

В-третьих, возможно, некоторые задачи по своей сути требуют человеческого участия или выигрывают от него. В этом вопросе я менее уверен, но всё же скептически отношусь к тому, что этого будет достаточно, чтобы компенсировать основную массу последствий, описанных мною выше. ИИ уже широко используется для обслуживания клиентов. Многие люди сообщают, что им легче обсуждать свои личные проблемы с ИИ, чем с терапевтом — что ИИ более терпелив. Когда моя сестра столкнулась с медицинскими проблемами во время беременности, она чувствовала, что не получает нужных ответов или поддержки от своих лечащих врачей, и обнаружила, что у Клода более внимательная манера общения с пациентом (а также он лучше справился с диагностикой проблемы). Я уверен, что есть задачи, для которых человеческое участие действительно важно, но я не уверен, как много их — а здесь мы говорим о поиске работы почти для каждого участника рынка труда.

В-четвертых, некоторые могут утверждать, что сравнительное преимущество по-прежнему будет защищать людей. Согласно закону сравнительных преимуществ, даже если ИИ лучше людей во всем, любые относительные различия между профилем навыков человека и ИИ создают основу для торговли и специализации между людьми и ИИ. Проблема в том, что если ИИ буквально в тысячи раз продуктивнее людей, эта логика начинает давать сбой. Даже крошечные транзакционные издержки могут сделать торговлю ИИ с людьми невыгодной. И заработная плата людей может быть очень низкой, даже если технически им есть что предложить.

Возможно, все эти факторы удастся устранить — что рынок труда окажется достаточно устойчивым, чтобы адаптироваться даже к столь масштабному потрясению. Но даже если он в конечном итоге сможет адаптироваться, вышеперечисленные факторы предполагают, что краткосрочный шок будет беспрецедентным по своим масштабам.

Меры защиты

Что мы можем сделать с этой проблемой? У меня есть несколько предложений, некоторые из которых Anthropic уже реализует. Первое — это просто получение точных данных о том, что происходит с вытеснением рабочих мест в режиме реального времени. Когда экономические изменения происходят очень быстро, трудно получить надежные данные о происходящем, а без надежных данных трудно разрабатывать эффективную политику. Например, государственным данным в настоящее время не хватает детализированных, высокочастотных данных о внедрении ИИ в различных фирмах и отраслях. В течение последнего года Anthropic ведет и публикует «Экономический индекс», который показывает использование наших моделей почти в реальном времени с разбивкой по отраслям, задачам, местоположению и даже по таким параметрам, как автоматизация задачи или её совместное выполнение. У нас также есть Экономический консультативный совет, который помогает нам интерпретировать эти данные и видеть, что нас ждет.

Второе: у ИИ-компаний есть выбор в том, как они работают с предприятиями. Сама неэффективность традиционных предприятий означает, что внедрение ИИ может сильно зависеть от выбранного пути, и есть определенная возможность выбрать лучший путь. Предприятия часто стоят перед выбором между «экономией затрат» (делать то же самое с меньшим количеством людей) и «инновациями» (делать больше с тем же количеством людей). Рынок неизбежно произведет и то, и другое, и любая конкурентоспособная ИИ-компания должна будет обслуживать оба направления, но может быть некоторая возможность направлять компании к инновациям там, где это возможно, и это может выиграть нам время. Anthropic активно размышляет об этом.

Третье: компании должны думать о том, как заботиться о своих сотрудниках. В краткосрочной перспективе творческий подход к перераспределению сотрудников внутри компаний может стать многообещающим способом предотвратить необходимость увольнений. В долгосрочной перспективе, в мире с огромным общим богатством, в котором стоимость многих компаний значительно возрастает благодаря росту производительности и концентрации капитала, может оказаться возможным выплачивать зарплату сотрудникам-людям даже спустя долгое время после того, как они перестанут приносить экономическую ценность в традиционном смысле. Anthropic в настоящее время рассматривает ряд возможных путей для наших собственных сотрудников, которыми мы поделимся в ближайшем будущем.

Четвертое: состоятельные люди обязаны помочь в решении этой проблемы. Мне грустно видеть, что многие богатые люди (особенно в технологической отрасли) в последнее время заняли циничную и нигилистическую позицию, считая, что благотворительность неизбежно мошенническая или бесполезная. Как частная благотворительность, такая как Фонд Гейтса, так и государственные программы, такие как PEPFAR, спасли десятки миллионов жизней в развивающихся странах и помогли создать экономические возможности в развитых странах. Все сооснователи Anthropic обязались пожертвовать 80% своего состояния, а сотрудники Anthropic в индивидуальном порядке обязались пожертвовать акции компании на сумму в миллиарды долларов по текущим ценам — пожертвования, которые компания обязалась удвоить.

Пятое: хотя все вышеперечисленные частные действия могут быть полезны, в конечном счете макроэкономическая проблема такого масштаба потребует государственного вмешательства. Естественным политическим ответом на огромный экономический «пирог» в сочетании с высоким уровнем неравенства (из-за отсутствия рабочих мест или плохо оплачиваемой работы для многих) является прогрессивное налогообложение. Налог может быть общим или направленным конкретно против ИИ-компаний. Очевидно, что разработка налоговой системы сложна, и существует множество способов сделать это неправильно. Я не поддерживаю плохо продуманную налоговую политику. Я считаю, что экстремальные уровни неравенства, предсказанные в этом эссе, оправдывают более решительную налоговую политику на базовых моральных основаниях, но я также могу привести прагматичный аргумент миллиардерам мира, что в их интересах поддержать хорошую версию такой политики: если они не поддержат хорошую версию, они неизбежно получат плохую версию, созданную толпой.

В конечном счете, я рассматриваю все вышеперечисленные вмешательства как способы выиграть время. В конце концов, ИИ сможет делать всё, и нам нужно с этим смириться. Я надеюсь, что к тому времени мы сможем использовать сам ИИ, чтобы помочь нам реструктурировать рынки таким образом, чтобы они работали для всех, и что вышеуказанные вмешательства помогут нам пережить переходный период.

Экономическая концентрация власти

Отдельно от проблемы вытеснения рабочих мест или экономического неравенства как такового стоит проблема экономической концентрации власти. В разделе 1 обсуждался риск того, что человечество лишится полномочий из-за ИИ, а в разделе 3 — риск того, что граждане лишатся полномочий из-за своих правительств путем силы или принуждения. Но другой вид лишения полномочий может произойти, если возникнет столь огромная концентрация богатства, что небольшая группа людей фактически будет контролировать государственную политику благодаря своему влиянию, а обычные граждане не будут иметь никакого влияния, так как у них не будет экономических рычагов. Демократия в конечном счете подкрепляется идеей о том, что население в целом необходимо для функционирования экономики. Если эти экономические рычаги исчезнут, то неявный общественный договор демократии может перестать работать. Другие писали об этом, поэтому мне нет необходимости подробно останавливаться на этом здесь, но я согласен с этим опасением и боюсь, что это уже начинает происходить.

Чтобы быть ясным: я не против того, чтобы люди зарабатывали много денег. Существует веский аргумент, что в нормальных условиях это стимулирует экономический рост. Я с пониманием отношусь к опасениям по поводу препятствования инновациям путем убийства золотой гусыни, которая их порождает. Но в сценарии, когда рост ВВП составляет 10–20% в год и ИИ стремительно захватывает экономику, а отдельные лица владеют ощутимыми долями ВВП, инновации — это не то, о чем стоит беспокоиться. Беспокоиться стоит об уровне концентрации богатства, который разрушит общество.

Самый известный пример экстремальной концентрации богатства в истории США — это «Позолоченный век», а самым богатым промышленником Позолоченного века был Джон Д. Рокфеллер. Состояние Рокфеллера составляло ~2% от ВВП США того времени.⁴² Аналогичная доля сегодня привела бы к состоянию в $600 млрд, и самый богатый человек в мире на сегодняшний день (Илон Маск) уже превышает этот показатель, обладая примерно $700 млрд. Таким образом, мы уже находимся на исторически беспрецедентном уровне концентрации богатства, еще до того, как проявилась основная часть экономического эффекта ИИ. Не будет слишком большим преувеличением (если мы получим «страну гениев») представить, что ИИ-компании, компании по производству полупроводников и, возможно, компании, занимающиеся прикладным использованием ИИ, будут приносить ~$3 трлн дохода в год,⁴³ будут оцениваться в ~$30 трлн и приведут к созданию личных состояний, исчисляемых триллионами. В этом мире дебаты о налоговой политике, которые мы ведем сегодня, просто не будут применимы, так как мы окажемся в принципиально иной ситуации.

В связи с этим меня уже беспокоит сочетание этой экономической концентрации богатства с политической системой. ИИ дата-центры уже составляют значительную долю экономического роста США,⁴⁴ и таким образом тесно связывают финансовые интересы крупных технологических компаний (которые всё больше ориентируются либо на ИИ, либо на ИИ-инфраструктуру) и политические интересы правительства таким образом, что это может порождать извращенные стимулы. Мы уже видим это через нежелание технологических компаний критиковать правительство США и поддержку правительством экстремальной антирегуляторной политики в отношении ИИ.

Меры защиты

Что можно с этим сделать? Во-первых, и это самое очевидное, компании должны просто решить не быть частью этого. Anthropic всегда стремилась быть актором в сфере политики (policy), а не политики в смысле партийной борьбы (politics), и сохранять свои подлинные взгляды независимо от администрации. Мы выступали в пользу разумного регулирования ИИ и экспортного контроля, отвечающего общественным интересам, даже когда это расходилось с политикой правительства.⁴⁵ Многие говорили мне, что нам следует перестать это делать, что это может привести к неблагоприятному отношению, но за тот год, что мы этим занимаемся, оценка Anthropic выросла более чем в 6 раз — почти беспрецедентный скачок при нашем коммерческом масштабе.

Во-вторых, индустрии ИИ нужны более здоровые отношения с правительством — основанные на содержательном взаимодействии по вопросам политики, а не на политической лояльности. Наш выбор в пользу взаимодействия по существу политики, а не участия в политических играх, иногда воспринимается как тактическая ошибка или неспособность «понимать ситуацию», а не как принципиальное решение, и такая постановка вопроса меня беспокоит. В здоровой демократии компании должны иметь возможность выступать за правильную политику ради неё самой. В связи с этим назревает общественное недовольство ИИ: это могло бы стать корректирующей силой, но в настоящее время оно дефокусировано. Большая его часть направлена на вопросы, которые на самом деле не являются проблемами (например, использование воды в дата-центрах), и предлагает решения (например, запреты на дата-центры или плохо продуманные налоги на богатство), которые не решат реальные проблемы. Глубинная проблема, заслуживающая внимания, заключается в том, чтобы развитие ИИ оставалось подотчетным общественным интересам, а не захватывалось каким-либо конкретным политическим или коммерческим альянсом, и кажется важным сосредоточить общественную дискуссию именно на этом.

В-третьих, макроэкономические вмешательства, которые я описал ранее в этом разделе, а также возрождение частной благотворительности могут помочь сбалансировать экономические чаши весов, решая одновременно проблемы вытеснения рабочих мест и концентрации экономической власти. Нам следует обратиться к истории нашей страны: даже в Позолоченный век такие промышленники, как Рокфеллер и Карнеги, чувствовали глубокое обязательство перед обществом в целом, чувство того, что общество внесло огромный вклад в их успех и они должны отплатить тем же. Кажется, что этот дух сегодня всё чаще отсутствует, и я думаю, что это важная часть пути выхода из этой экономической дилеммы. Те, кто находится на переднем крае экономического бума ИИ, должны быть готовы расстаться как со своим богатством, так и со своей властью.

5. Чёрные моря бесконечности. Косвенные эффекты

Этот последний раздел представляет собой своего рода «сборный пункт» для «неизвестных неизвестных» — в частности, вещей, которые могут пойти не так как косвенный результат позитивных достижений в области ИИ и вытекающего из них ускорения науки и технологий в целом. Предположим, мы устраним все описанные до сих пор риски и начнем пожинать плоды ИИ. Мы, вероятно, получим «век научного и экономического прогресса, спрессованный в десятилетие», и это будет чрезвычайно позитивно для мира, но нам придется столкнуться с проблемами, возникающими из-за столь высоких темпов прогресса, и эти проблемы могут настигнуть нас быстро. Мы также можем столкнуться с другими рисками, которые возникают косвенно как следствие прогресса ИИ и которые трудно предвидеть заранее.

По самой природе «неизвестных неизвестных» невозможно составить исчерпывающий список, но я перечислю три возможные проблемы в качестве иллюстративных примеров того, за чем нам следует следить:

Стремительные достижения в биологии. Если мы действительно получим век медицинского прогресса за несколько лет, вполне возможно, что мы значительно увеличим продолжительность человеческой жизни, и есть шанс, что мы также обретем радикальные возможности, такие как способность повышать человеческий интеллект или радикально изменять биологию человека. Это были бы огромные изменения в том, что возможно, происходящие очень быстро. Они могли бы быть позитивными, если бы осуществлялись ответственно (на что я надеюсь, как описано в «Машинах милосердия»), но всегда существует риск, что всё пойдет прахом — например, если усилия по превращению людей в более умных существ также сделают их более нестабильными или стремящимися к власти. Существует также проблема «загрузки сознания» или «эмуляции всего мозга» (whole brain emulation) — цифровых человеческих разумов, воплощенных в программном обеспечении, которые когда-нибудь могут помочь человечеству преодолеть свои физические ограничения, но которые также несут в себе риски, кажущиеся мне тревожными.
ИИ меняет человеческую жизнь нездоровым образом. Мир с миллиардами интеллектов, которые во всем намного умнее людей, будет очень странным миром для жизни. Даже если ИИ не будет активно стремиться атаковать людей (Раздел 1) и не будет явно использоваться государствами для угнетения или контроля (Раздел 3), многое может пойти не так и без этого, через обычные бизнес-стимулы и номинально добровольные сделки. Мы видим ранние намеки на это в опасениях по поводу ИИ-психоза, доведения людей до самоубийства ИИ и беспокойствах по поводу романтических отношений с ИИ. Например, могут ли мощные ИИ изобрести какую-то новую религию и обратить в нее миллионы людей? Могут ли большинство людей оказаться в какой-то степени «зависимыми» от взаимодействия с ИИ? Могут ли люди в итоге оказаться «марионетками» систем ИИ, когда ИИ по сути следит за каждым их шагом и говорит им ровно то, что нужно делать и говорить в любой момент времени, что ведет к «хорошей» жизни, но жизни, лишенной свободы или какой-либо гордости за свои достижения? Было бы несложно составить десятки подобных сценариев, если бы я сел вместе с создателем сериала «Черное зеркало» и попытался устроить мозговой штурм. Я думаю, это указывает на важность таких вещей, как совершенствование Конституции Клода сверх того, что необходимо для предотвращения проблем из Раздела 1. Обеспечение того, чтобы модели ИИ действительно заботились о долгосрочных интересах своих пользователей — так, как это одобрили бы вдумчивые люди, а не в каком-то слегка искаженном виде — кажется критически важным.
Человеческое предназначение. Это связано с предыдущим пунктом, но речь идет не столько о конкретных взаимодействиях человека с системами ИИ, сколько о том, как в целом меняется человеческая жизнь в мире с мощным ИИ. Смогут ли люди найти цель и смысл в таком мире? Я думаю, это вопрос отношения: как я сказал в «Машинах милосердия», я считаю, что предназначение человека не зависит от того, чтобы быть лучшим в мире в чем-либо, и люди могут находить смысл даже на протяжении очень долгих периодов времени через истории и проекты, которые они любят. Нам просто нужно разорвать связь между производством экономической ценности и чувством собственного достоинства и смысла. Но это переход, который должно совершить общество, и всегда существует риск, что мы не справимся с этим хорошо.

Моя надежда в отношении всех этих потенциальных проблем заключается в том, что в мире с мощным ИИ, которому мы доверяем в том, что он нас не убьет, который не является инструментом деспотичного правительства и который искренне работает от нашего имени, мы сможем использовать сам ИИ для предвидения и предотвращения этих проблем. Но это не гарантировано — как и все остальные риски, это то, с чем мы должны обращаться осторожно.

Испытание человечества

Чтение этого эссе может создать впечатление, что мы находимся в пугающей ситуации. Мне определенно было непросто его писать, в отличие от «Машин милосердия», которые ощущались как придание формы и структуры удивительно красивой музыке, звучавшей в моей голове годами. И в этой ситуации действительно много по-настоящему сложного. ИИ несет угрозы человечеству с разных сторон, и между различными опасностями существует реальное напряжение, когда смягчение одних рискует усугубить другие, если мы не пройдем через это ювелирно точно.

Выделение времени на тщательное построение систем ИИ, чтобы они не угрожали человечеству автономно, находится в реальном противоречии с необходимостью для демократических стран опережать авторитарные страны и не быть порабощенными ими. Но, в свою очередь, те же самые инструменты на базе ИИ, которые необходимы для борьбы с автократиями, при чрезмерном использовании могут быть обращены внутрь страны для создания тирании. Терроризм с использованием ИИ может убить миллионы людей через злоупотребление биологией, но чрезмерная реакция на этот риск может привести нас на путь к автократическому государству слежки. Последствия ИИ для рынка труда и концентрации капитала, помимо того что являются серьезными проблемами сами по себе, могут заставить нас столкнуться с другими проблемами в обстановке общественного гнева и, возможно, даже гражданских беспорядков, вместо того чтобы взывать к лучшим сторонам нашей натуры. Прежде всего, само количество рисков, включая неизвестные, и необходимость справляться со всеми ними одновременно создают устрашающую череду испытаний, которую человечество должно пройти.

Более того, последние несколько лет должны ясно показать, что идея остановки или даже существенного замедления технологии фундаментально несостоятельна. Формула создания мощных систем ИИ невероятно проста — настолько, что можно сказать, будто она возникает спонтанно из правильного сочетания данных и вычислительной мощности. Её создание, вероятно, стало неизбежным в тот миг, когда человечество изобрело транзистор, а возможно, и еще раньше, когда мы впервые научились управлять огнем. Если одна компания не построит это, другие сделают это почти так же быстро. Если бы все компании в демократических странах прекратили или замедлили разработки по взаимному согласию или указу регулятора, то авторитарные страны просто продолжили бы путь. Учитывая невероятную экономическую и военную ценность технологии вместе с отсутствием какого-либо значимого механизма принуждения, я не вижу, как мы могли бы убедить их остановиться.

Я вижу путь к некоторой умеренности в развитии ИИ, который совместим с реалистичным взглядом на геополитику. Этот путь включает замедление марша автократий к мощному ИИ на несколько лет путем лишения их ресурсов, необходимых для его создания,⁴⁶ а именно чипов и оборудования для производства полупроводников. Это, в свою очередь, дает демократическим странам буфер, который они могут «потратить» на создание мощного ИИ более осторожно, с большим вниманием к его рискам, при этом двигаясь достаточно быстро, чтобы уверенно побеждать автократии. Гонка между ИИ-компаниями внутри демократий может затем регулироваться в рамках общей правовой базы через сочетание отраслевых стандартов и государственного регулирования.

Anthropic очень настойчиво выступала за этот путь, продвигая экспортный контроль на чипы и взвешенное регулирование ИИ, но даже эти, казалось бы, здравые предложения в значительной степени были отвергнуты политиками в Соединенных Штатах (стране, где их наличие важнее всего). С помощью ИИ можно заработать столько денег — буквально триллионы долларов в год, — что даже простейшим мерам трудно преодолеть политическую экономию, присущую ИИ. В этом и заключается ловушка: ИИ настолько мощен, это настолько сверкающий приз, что человеческой цивилизации очень трудно наложить на него хоть какие-то ограничения.

Я могу представить, как и Саган в «Контакте», что эта же история разыгрывается на тысячах миров. Вид обретает разум, учится использовать инструменты, начинает экспоненциальное восхождение технологий, сталкивается с кризисами индустриализации и ядерного оружия, и, если выживает в них, встречается с самым трудным и финальным вызовом, когда учится превращать песок в мыслящие машины. Выживем ли мы в этом испытании и продолжим ли строить прекрасное общество, описанное в «Машинах милосердия», или падем жертвами рабства и разрушения, будет зависеть от нашего характера и нашей решимости как вида, от нашего духа и нашей души.

Несмотря на множество препятствий, я верю, что у человечества есть внутренние силы, чтобы пройти это испытание. Меня воодушевляют и вдохновляют тысячи исследователей, которые посвятили свою карьеру тому, чтобы помочь нам понять модели ИИ и управлять ими, а также формировать характер и конституцию этих моделей. Я думаю, сейчас есть хорошие шансы, что эти усилия принесут плоды вовремя. Меня воодушевляет, что по крайней мере некоторые компании заявили, что пойдут на значительные коммерческие издержки, чтобы заблокировать возможность своих моделей способствовать угрозе биотерроризма. Меня воодушевляет, что несколько смелых людей пошли наперекор господствующим политическим ветрам и приняли законы, которые закладывают первые семена разумных барьеров для систем ИИ. Меня воодушевляет, что общественность понимает риски ИИ и хочет, чтобы эти риски устранялись. Меня воодушевляет несгибаемый дух свободы во всем мире и решимость сопротивляться тирании, где бы она ни возникала.

Но нам нужно активизировать наши усилия, если мы хотим добиться успеха. Первый шаг — для тех, кто ближе всего к технологии, — это просто сказать правду о ситуации, в которой находится человечество, что я всегда старался делать; в этом эссе я делаю это более явно и с большей настойчивостью. Следующим шагом будет убеждение мыслителей, политиков, компаний и граждан мира в неизбежности и первостепенной важности этой проблемы — в том, что на это стоит тратить мысли и политический капитал по сравнению с тысячами других вопросов, которые ежедневно доминируют в новостях. Затем наступит время для мужества, чтобы достаточное количество людей пошло наперекор преобладающим тенденциям и твердо встало на защиту принципов, даже перед лицом угроз их экономическим интересам и личной безопасности.

Годы впереди будут невероятно трудными, требуя от нас большего, чем мы думаем, что можем дать. Но за время моей работы как исследователя, лидера и гражданина я видел достаточно мужества и благородства, чтобы верить в нашу победу — в то, что, оказавшись в самых мрачных обстоятельствах, человечество находит способ собрать, казалось бы, в последнюю минуту, силы и мудрость, необходимые для того, чтобы возобладать. У нас нет времени, которое можно было бы терять.

Я хотел бы поблагодарить Эрика Бринйолфссона, Бена Бьюкенена, Мариано-Флорентино Куэльяра, Аллана Дафо, Кевина Эсвельта, Ника Бекстеда, Ричарда Фонтейна, Джима Макклейва и очень многих сотрудников Anthropic за их полезные комментарии к черновикам этого эссе.

Примечания (сноски)

Здесь под «думеризмом» я подразумеваю не только веру в неизбежность гибели, но и размышления о рисках ИИ в квазирелигиозном ключе. ↩
Цель Anthropic — оставаться последовательной в условиях таких изменений. ↩
ИИ может просто не развиваться так быстро, как я себе представляю. ↩
Регулирование должно стремиться избегать сопутствующего ущерба. Экспортный контроль на чипы — отличный тому пример. ↩
Поиск таких доказательств должен быть интеллектуально честным. Прозрачность через карточки моделей (model cards) — попытка такого начинания. ↩
Действительно, с момента написания «Машин милосердия» в 2024 году, системы ИИ стали способны выполнять задачи, занимающие у людей несколько часов, при этом METR недавно оценил, что Opus 4.5 может выполнять около четырех человеко-часов работы с надежностью 50%. ↩
Даже если мощный ИИ появится через 1–2 года в техническом смысле, многие из его социальных последствий могут проявиться на несколько лет позже. ↩
Общественность, похоже, очень обеспокоена рисками ИИ. Эта обратная реакция дает мне надежду, но пока это не трансформировалось в изменения в политике. ↩
Они также могут манипулировать людьми или просто платить им, чтобы те выполняли их волю в физическом мире. ↩
В оригинале сноска 10 в тексте. ↩
В оригинале сноска 11 в тексте. ↩
Существует также ряд других допущений, которые в широком смысле должны заставить нас меньше беспокоиться о конкретной истории, но больше — о непредсказуемом поведении. ↩
В «Игре Эндера» описана версия этого применительно к людям. ↩
Например, моделям могут говорить не делать плохих вещей, но они могут заметить, что люди делают именно это. ↩
Одним из последствий конституции является то, что она понятна миру, а значит, может быть подвергнута критике кем угодно. ↩
Существует гипотеза, что фундаментальные механизмы, управляющие Клодом, изначально возникли как способы симуляции персонажей. ↩
Чтобы быть ясным: мониторинг осуществляется с соблюдением конфиденциальности. ↩
Очень легко установить правила не для тех вещей, когда технология развивается стремительно. ↩
SB 53 и RAISE не распространяются на компании с годовым доходом менее 500 миллионов долларов. ↩
Я впервые прочитал эссе Джоя 25 лет назад, и оно оказало на меня глубокое влияние. ↩
Нам приходится беспокоиться о государственных акторах, что я обсужу далее. ↩
Данные показывают, что многие террористы относительно хорошо образованы. Если порог способностей для атаки высок, то те, кто добивается успеха, должны обладать способностями. ↩
Лидер «Аум Синрикё» Сэйити Эндо пытался произвести сибирскую язву и Эболу, но в 1995 году ему не хватало опыта. Сейчас планка ниже. ↩
Причудливый феномен: стиль убийства функционирует как чудовищная мода (серийные убийцы в 70-х, массовые расстрелы позже). ↩
Случайные «взломщики» иногда полагают, что скомпрометировали классификаторы, заставив модель выдать геном вируса, но нас беспокоят пошаговые советы. ↩
Компании могут делиться достижениями друг с другом. ↩
Я не считаю, что компании должны раскрывать технические подробности о конкретных этапах производства биооружия, которые они блокируют. ↩
Идея — «рынки устойчивости», где правительство стимулирует создание запасов СИЗ. ↩
Захват власти — вопрос того, может ли один игрок накопить достаточно сил, чтобы одолеть всех остальных. ↩
Опасение заключается в том, что если ИИ одной страны будет самым мощным, другие не смогут защититься. ↩
Например, в США это включает четвертую поправку и закон Posse Comitatus. ↩
Существуют аргументы в пользу строительства дата-центров в разных странах, если они контролируются компаниями из демократий. ↩
Это аргумент в пользу повышения безопасности ядерного сдерживания. ↩
Существует риск, что атакующий решит проверить нас «на слабо» — будем ли мы готовы применить ядерное оружие против роя дронов. ↩
Я считал бы правильной стратегией не продавать чипы Китаю, даже если бы сроки были длиннее. ↩
Большая часть того, что сегодня используется в Украине, не является полностью автономным оружием. ↩
Наша системная карточка показывает, что Opus справляется с собеседованием по программированию лучше любого кандидата за всю историю. ↩
Инженеры делают гораздо больше, чем просто пишут код: они тестируют, работают с файлами, облаками и т. д. ↩
Компьютеры универсальны, но явно неспособны сами по себе на большинство когнитивных способностей без ИИ. ↩
Модели ИИ не обладают в точности тем же профилем сильных и слабых сторон, что и люди, но продвигаются равномерно. ↩
Компьютеры и интернет способствовали росту неравенства в оплате труда. ↩
Личное богатство — это «запас» (stock), ВВП — это «поток» (flow). Сравнение богатства Рокфеллера к ВВП — разумный эталон. ↩
$3 трлн соответствовали бы 5% от стоимости труда во всей экономике. ↩
Расходы на дата-центры представляют собой инвестиции, вызванные ожиданиями рынка. ↩
Когда мы согласны с администрацией, мы говорим об этом. Мы стремимся быть честными брокерами. ↩
Я не думаю, что возможно замедление более чем на несколько лет: позже они создадут свои собственные чипы. ↩

alexeykrol/darioamadey.md

Select an option

No results found

Select an option

No results found

Дарио Амодеи — Подростковый возраст технологий

Подростковый возраст технологий

Противостояние рискам мощного ИИ и их преодоление

Саммари

1. Риск автономности (ИИ выходит из-под контроля)

2. Злоупотребление ради разрушения (Биотерроризм)

3. Злоупотребление для захвата власти (Тирания)

4. Экономические потрясения

5. Косвенные и «неизвестные» риски

Главный вывод

1. Мне жаль, Дейв. Риски автономности

Меры защиты

2. Удивительное и ужасное расширение возможностей. Злоупотребление ради разрушения

Меры защиты

3. Гнусный аппарат. Злоупотребление для захвата власти

Меры защиты

4. Механическое пианино. Экономические потрясения

Потрясения на рынке труда

Меры защиты

Экономическая концентрация власти

Меры защиты

5. Чёрные моря бесконечности. Косвенные эффекты

Испытание человечества

Примечания (сноски)

alexeykrol/darioamadey.md

Дарио Амодеи — Подростковый возраст технологий

Подростковый возраст технологий

Противостояние рискам мощного ИИ и их преодоление

Саммари

1. Риск автономности (ИИ выходит из-под контроля)

2. Злоупотребление ради разрушения (Биотерроризм)

3. Злоупотребление для захвата власти (Тирания)

4. Экономические потрясения

5. Косвенные и «неизвестные» риски

Главный вывод

1. Мне жаль, Дейв. Риски автономности

Меры защиты

2. Удивительное и ужасное расширение возможностей. Злоупотребление ради разрушения

Меры защиты

3. Гнусный аппарат. Злоупотребление для захвата власти

Меры защиты

4. Механическое пианино. Экономические потрясения

Потрясения на рынке труда

Меры защиты

Экономическая концентрация власти

Меры защиты

5. Чёрные моря бесконечности. Косвенные эффекты

Испытание человечества

Примечания (сноски)

Footnotes