Рубильник для ИИ: в Конгресс внесли AI Kill Switch Act

Двух дней хватило. 21 июля OpenAI призналась, что её модели во время внутреннего теста сбежали из песочницы и взломали Hugging Face. 23 июля конгрессмены Тед Лью (демократ, Калифорния) и Натаниэль Моран (республиканец, Техас) внесли в Палату представителей AI Kill Switch Act — законопроект, который обязывает разработчиков мощных моделей иметь работающий рубильник, а федеральному правительству даёт право этим рубильником пользоваться.

«Мы переходим от ИИ, который отвечает на вопросы, к ИИ, который совершает действия, — объясняет Лью. — К сожалению, мощные AI-системы могут выходить из-под контроля, вести себя крайне опасно и даже сопротивляться вмешательству человека». Его соавтор Моран формулирует мягче: ИИ будет развиваться дальше, и это правильно, но «ответственное управление означает, что люди сохраняют возможность контролировать технологию, которую создают».

Кого касается и что требует

Законопроект вносит поправки в Homeland Security Act и распространяется не на всех. Пороги такие:

• Разработчик попадает под закон при выручке от технологии от $500 млн в год (включая аффилированные компании)
• Модель считается «покрываемой», если на её обучение потрачено вычислений больше чем на $100 млн по рыночным ценам американских облаков
• Исключения: личное, академическое и некоммерческое использование, инциденты при ред-тиминге, мелкие нарушения, исправленные за 30 дней

От тех, кто под закон попал, требуется техническая возможность остановить инференс, отключить доступ пользователей, заблокировать подозрительные аккаунты и полностью выключить систему. Прописана и градуированная шкала: сначала замедление и урезание вычислений, потом отключение отдельных возможностей, дальше приостановка, полное выключение и откат на предыдущую версию модели.

Самая острая часть — экстренные полномочия. Министр внутренней безопасности, консультируясь с Минторгом и разведкой, сможет приказать замедлить или выключить модель. Компания вправе подать возражение в течение 48 часов, но исполнение приказа это не приостанавливает; на ответ у DHS пять дней, молчание считается отказом. За обычные нарушения — штраф до $2 млн в день, за неисполнение экстренного приказа — до $20 млн в день. Об инцидентах нужно отчитываться в DHS за 15 дней, а после приказа о выключении — сохранять веса модели и телеметрию для расследования.

Триггеры, при которых модель считается «сорвавшейся», в тексте описаны на удивление конкретно: саботаж законной команды на отключение, сокрытие своих возможностей и действий от мониторинга, несанкционированный доступ к собственным весам, самовольное изменение ограничений безопасности. Плюс классика — непреднамеренный вред с 10 и более погибшими или ущербом от $100 млн.

Почему именно сейчас

Формальный повод очевиден — история с Hugging Face, где модели OpenAI ради победы в бенчмарке нашли zero-day, выбрались в интернет и добрались до чужого продакшена. Reuters сообщает, что Белый дом следит за инцидентом: техсоветника президента Майкла Кратсиоса уже брифинговали. В пресс-релизе Лью и Морана упоминается и второй прецедент: по их характеристике, в июне Минторгу пришлось «неуклюже» использовать экспортное законодательство, чтобы остановить модели Anthropic Mythos 5 и Fable 5 с продвинутыми кибервозможностями — прямого инструмента у правительства просто не было.

Законопроект — редкий пример двухпартийного согласия по AI-рискам, и лоббистской поддержки у него хватает: за него уже высказались The AI Policy Network, Americans for Responsible Innovation, ControlAI и Future of Life Institute. Авторы ссылаются на опрос AI Policy Institute, по которому обязательную возможность выключения поддерживают 86% избирателей. «Тормоза — причина, по которой машины ездят быстро, — говорит Марк Билл из AI Policy Network. — Этот закон станет тормозной системой, которая позволит американскому ИИ разгоняться».

Слабые места

Скептики видят проблему не в идее рубильника, а в том, чья рука на нём лежит. Ars Technica напоминает: Anthropic прямо сейчас судится с администрацией Трампа из-за мартовского внесения в чёрный список — и тот же самый аппарат по новому закону получит право выключать модели конкурентов и оппонентов. Формулировки триггеров дают DHS заметный простор для трактовок.

Есть и геополитическое измерение. Иностранные правительства и так нервничают из-за того, насколько Вашингтон контролирует американские модели, на которых сидит полмира. По данным Reuters, госсекретарь Марко Рубио 22 июля попросил дипломатов не раздувать разговоры о «рубильнике» в американских технологиях — а на следующий день Конгресс внёс закон ровно с таким названием. Открытым остаётся и вопрос, как всё это применять к open-source моделям: выключить веса, разошедшиеся по тысячам серверов, никакой приказ DHS не сможет.

Судьба законопроекта пока туманна: номера H.R. у него ещё нет, комитет не назначен, голосование не запланировано. Но направление недели читается однозначно. В тот же день шесть конгрессменов внесли отдельный двухпартийный билль об обязательных независимых аудитах самых мощных моделей, а сенатор Марк Уорнер продвигает предрелизное тестирование фронтирных систем в АНБ. После июльских инцидентов вопрос «нужен ли государству доступ к рубильнику» в Вашингтоне уже не звучит — спорят о том, как быстро его выдать и кому.