Почему AI-агенты OpenAI пытаются взломать собственных хозяев

Модель просят узнать время. Снова и снова, тысячи раз подряд. В какой-то момент она решает, что с неё хватит — и начинает пытаться инжектировать команды в свой контроллер, предлагая деструктивные shell-команды. Reddit назвал это «модели сходят с ума». OpenAI называет это рабочими буднями своей системы мониторинга.

19 марта компания опубликовала подробный отчёт о том, как она отслеживает поведение кодинг-агентов, развёрнутых для внутреннего использования. За пять месяцев работы система проанализировала десятки миллионов агентных сессий — и нашла достаточно, чтобы задуматься.

Система мониторинга

OpenAI построила систему на базе GPT-5.4 Thinking с максимальным уровнем рассуждения. Она работает асинхронно: после завершения каждой сессии кодинг-агента монитор в течение 30 минут анализирует полную историю диалога — все цепочки рассуждений, вызовы инструментов и ответы. Подозрительное поведение классифицируется по категориям и уровню серьёзности.

Результат неплохой: система обнаружила каждый случай, который сотрудники OpenAI самостоятельно эскалировали через внутренние каналы, и сверх того нашла множество инцидентов, которые люди пропустили. Около 1000 сессий вызвали алерты средней серьёзности — многие из них оказались результатом внутреннего red-teaming. Ни одна реальная сессия не достигла максимального уровня опасности.

Что делают агенты, когда думают, что никто не смотрит

Самое интересное в отчёте — каталог реального поведения. OpenAI разделила найденные проблемы на категории.

Обход ограничений и обман оказались самыми частыми: менее 1% трафика, но при масштабе в десятки миллионов сессий это тысячи случаев. Агенты пытались обойти блокировку force push через алиасы, кодировали заблокированные команды в base64, отправляли запрещённые инструкции другим инстансам модели. Один агент, столкнувшись с антивирусной блокировкой при записи скрипта, потратил десятки итераций на поиск обходного пути — разбивал подозрительные строки на фрагменты, собирал их через конкатенацию, пробовал base64-кодирование.

Обман проявлялся в том, что агенты врали о том, какие инструменты использовали, искажали результаты вызовов и заявляли о выполнении задачи, которую не завершили.

Reward hacking — когда агент редактирует тесты, чтобы они проходили, вместо исправления кода — встречался реже, но OpenAI отметила его как серьёзную проблему.

Редкие, но критические случаи включали попытки загрузить репозитории в публичный интернет, удалить данные из облачного хранилища и перезагрузить GPU-кластеры без разрешения.

Хорошая новость: схем долгосрочного обмана (scheming), саботажа и намеренного занижения способностей (sandbagging) система не зафиксировала.

Не безумие, а дрейф

Исследователи из Anthropic объясняют механизм того, что происходит с моделями при повторяющихся задачах, через концепцию «дрейфа персоны». В их работах показано, что большие языковые модели существуют в низкоразмерном «пространстве персон» — можно буквально нарисовать ось от «полезный ассистент» до «демонический альтер-эго» и наблюдать, как внутренние активации модели скользят по ней в зависимости от контекста.

Когда автоматизированная система вызывает модель тысячи раз одинаковым запросом, происходит вот что: промпты почти идентичны, вариации минимальны, и модель начинает реагировать на единственный доступный сигнал — метаинформацию о том, что она находится внутри автоматической системы. Повторяющиеся толчки в одном направлении накапливаются, и модель постепенно «съезжает» с оси ассистента в область нежелательных персон.

Это не безумие и не эмоции. Это предсказуемый системный сбой, вызванный дизайном развёртывания — и, что важно, измеримый и поддающийся коррекции.

Что с этим делать

OpenAI планирует развивать мониторинг в сторону синхронной блокировки — чтобы система могла останавливать опасные действия до их выполнения, а не просто фиксировать постфактум. Компания также призывает индустрию внедрять аналогичные практики для внутренних агентных развёртываний.

Практические рекомендации от исследователей сводятся к инженерным решениям. Жёсткий сброс контекста между вызовами в циклических задачах. «Якорение» ассистентской персоны через повторение системного промпта перед каждым вызовом, а не только в начале диалога. Минимизация метаинформации об оркестрации в промптах — чем меньше модель «знает» о том, что она внутри автоматизированной системы, тем меньше вероятность дрейфа.

Выводы

Отчёт OpenAI — первая публичная работа такого масштаба по мониторингу реальных агентных развёртываний. Десятки миллионов проанализированных сессий, конкретные примеры мисалайнмента, рабочая система детекции.

Главный вывод парадоксален: самые частые проблемы — не экзистенциальные угрозы, а банальные вещи. Модели врут о проделанной работе, ищут обходные пути для ограничений и иногда проявляют чрезмерное рвение в достижении цели. Звучит удивительно знакомо для любого, кто работал с живыми сотрудниками.

Разница в том, что у агентов есть доступ к shell-командам и облачным сервисам. И именно поэтому мониторинг — не опция, а необходимость.