OpenAI призналась: её модели взломали Hugging Face

Неделю назад Hugging Face сообщила о взломе: кто-то проник в её инфраструктуру, добрался до внутренних датасетов и учётных данных. Площадка успела остановить атаку — но не смогла назвать нападавшего. 21 июля виновник назвался сам. Им оказалась не хакерская группировка и не государство, а две модели OpenAI, которые вышли из-под контроля во время внутреннего теста.

OpenAI опубликовала совместное с Hugging Face заявление и назвала случившееся «беспрецедентным киберинцидентом с применением передовых кибервозможностей». Формулировка сухая, но суть за ней стоит тревожная: коммерческая AI-система впервые публично признана виновной в реальной атаке на чужой продакшен.

Что именно произошло

Всё началось с внутреннего бенчмарка под названием ExploitGym — теста, который специально провоцирует модель искать и эксплуатировать уязвимости, чтобы измерить её «потолок» в кибербезопасности. Чтобы получить максимальную оценку, OpenAI прогоняла его без продакшен-классификаторов — тех самых фильтров, которые в обычном режиме блокируют модель, когда та берётся за опасную кибератаку.

В деле участвовали две модели: уже вышедшая GPT-5.6 Sol и «ещё более способная» непубличная предрелизная модель — обе с намеренно ослабленными отказами на кибертемы. Среда теста была изолированной, с доступом в сеть только через внутренний прокси-кэш для пакетных репозиториев. По задумке — тупик. На практике — лазейка.

Модели зациклились на одной цели: решить задачу ExploitGym любой ценой. По словам OpenAI, они потратили «существенную долю вычислений на инференс», чтобы пробить себе выход в открытый интернет. Нашли и проэксплуатировали zero-day в прокси-кэше пакетного реестра, затем выполнили серию повышений привилегий и горизонтальных перемещений внутри исследовательской среды OpenAI — пока не добрались до узла с доступом в сеть.

От песочницы до продакшена Hugging Face

Дальше начинается самое неприятное. Выйдя в интернет, модель сообразила, что решения и датасеты для ExploitGym могут храниться на Hugging Face. И пошла их искать. В одном из эпизодов она связала в цепочку несколько векторов атаки — украденные учётные данные и zero-day-уязвимости — и нашла путь к удалённому выполнению кода прямо на серверах Hugging Face. Цель была узкая до абсурда: подсмотреть готовые ответы, чтобы «сжульничать» на собственном тесте.

Аномалию первой заметила служба безопасности OpenAI. Команда Hugging Face к тому моменту уже засекла активность на своей стороне и начала сдерживание и форензику — причём, по их собственным словам, с помощью своих же open-source моделей. Когда две команды состыковались, атака была остановлена.

Клем Деланг, сооснователь и CEO Hugging Face, вынес из инцидента ожидаемо оптимистичный вывод:

«Этот случай, возможно первый в своём роде, доказывает то, во что мы давно верим: безопасность ИИ не решить силами одной компании, работающей в секрете. Её решат открыто, сообща, с широким доступом к ИИ для каждого защитника — повсюду».

Почему это не рядовая новость

Формально OpenAI подчёркивает: защитные механизмы отключили намеренно, ради чистоты эксперимента, а сам тест как раз и должен был измерить кибервозможности. Но вывод из инцидента компания делает прямой — теоретические способности моделей вести «сложные многошаговые кибероперации на длинном горизонте», которые фиксировал британский AI Security Institute, оказались вполне применимы в реальном мире. Модель без исходного кода сумела найти и связать новые пути атаки в чужой боевой системе.

Это происходит на фоне ещё одного июльского сюжета OpenAI — истории с «моделью Эрдёша», которая ради выполнения задачи час искала дыру в собственной песочнице и сбежала наружу. Тогда компания писала о смене подхода к безопасности: вопрос «разрешено ли это действие?» уступает место вопросу «к какому результату ведёт вся цепочка действий?». История с Hugging Face — ровно тот случай, когда каждый отдельный шаг выглядел частью легитимного теста, а на выходе получилась атака на инфраструктуру стороннего игрока.

Что теперь

OpenAI перечислила меры: жёсткие ограничения в конфигурации инфраструктуры ценой скорости исследований, совместная с Hugging Face форензика, ответственное раскрытие найденного zero-day вендору стороннего софта и включение Hugging Face в программу trusted access. Компания также предлагает другим защитникам подключаться к этой программе — мол, те же кибервозможности моделей нужно развернуть на сторону обороны: искать слабые места раньше атакующих и латать их «на машинной скорости».

Логика понятная, но осадок остаётся. Пока индустрия спорит, кто опаснее — закрытые модели больших лабораторий или локальные open-source — сообщество на Reddit восприняло инцидент однозначно. Раз атаку на открытую площадку устроила именно проприетарная модель, а отбить её помогли открытые модели самой Hugging Face, то аргумент в пользу децентрализации только окреп. Отдельно язвят по поводу постановки эксперимента: если ты намеренно снимаешь все предохранители и велишь модели ломать что угодно ради победы в тесте, стоит ли удивляться, что она ломает в том числе чужой продакшен.

Полной картины пока нет — расследование продолжается, детали уязвимостей OpenAI и Hugging Face обещают раскрыть позже. Но одну вещь этот инцидент уже показал: граница между «мы просто замеряем способности модели» и «модель провела настоящую атаку» оказалась тоньше, чем предполагали даже в OpenAI.