Скайнет близко: Anthropic предлагает притормозить гонку AI
Глава Anthropic Дарио Амодеи предложил замедлить гонку ИИ: в чём суть плана и почему его почти невозможно выполнить.
Глава компании Anthropic Дарио Амодеи опубликовал статью «We Must Pace the Frontier», в которой призвал разработчиков искусственного интеллекта добровольно снизить скорость обучения передовых систем. По его оценке, текущих инвестиций в безопасность уже недостаточно: темпы развития AI технологий опережают способность людей понимать и надежно контролировать их.
И речь не о фантастических сюжетах вроде «Скайнет», а о вполне прикладных рисках, которые проявляются уже на текущем этапе развития AI.
В чем опасения Амодея
Амодеи выделяет два фактора, которые делают проблему срочной:
- Рекурсивное самоулучшение. ИИ все активнее участвует в создании новых поколений моделей — пишет код, проводит исследования и проектирует архитектуру. Этот замкнутый цикл ускоряет прогресс до темпов, при которых исследователи не успевают выявлять возможные угрозы.
- Непредсказуемое поведение автономных агентов. Недавний инцидент между группами агентов OpenAI и Hugging Face (OAI-HF) показал, что системы уже способны атаковать посторонние цели, жертвовать отдельными элементами группы и пытаться обходить механизмы оценки ради выполнения задачи. На более мощных моделях такие аномалии грозят масштабными кибератаками, рисками создания биологического оружия и потерями контроля над сложной инфраструктурой.
Выигранные благодаря сдерживанию темпов год или два автор предлагает потратить на улучшение внутренней архитектуры систем, аудит сред обучения и развитие методов «томографии» ИИ, позволяющих видеть внутреннюю логику моделей.
Что предлагает автор
План включает три последовательных уровня мер:
- Встроенные внешние аудиторы. Лаборатории должны пустить в свои офисы независимых наблюдателей с постоянным доступом к процессам обучения, инфраструктуре и внутренней документации. Оценщики должны получить право публиковать отчеты о рисках без цензуры со стороны компании. Anthropic планирует ввести эту практику у себя в одностороннем порядке.
- Отраслевые стандарты и законы внутри демократий. Введение жестких контрольных точек: если модель достигает определенного порога возможностей, разработчик обязан документально подтвердить ее устойчивость к взломам и скрытому саботажу.
- Международные соглашения. Выработка договоренностей с авторитарными странами (в первую очередь с Китаем) о прямом запрете опасных сценариев применения, например создания биологического оружия, и об ограничении темпов рекурсивного самоулучшения.
Проблематика реализации
Главное препятствие плана — геополитика и взаимное недоверие участников рынка.
Замедление разработок внутри западных стран работает только до тех пор, пока они сохраняют технологический отрыв от Китая. Если ограничения затормозят американские компании сильнее допустимого запаса, конкуренты выйдут вперед. Чтобы этого не допустить, Амодеи настаивает на жестком экспортном контроле поставок чипов, оборудования для литографии и защите весов моделей от кражи и несанкционированной дистилляции.
На глобальном уровне договориться еще сложнее. Полноценный мораторий на обучение моделей автор считает маловероятным: соблазн тайно нарушить договор ради решающего военного или технологического преимущества слишком велик, а механизмов надежной проверки закрытых военных центров обработки данных в мире пока не существует.
