Nvidia собрала 37 компаний в альянс открытой ИИ-обороны

Представьте: службу безопасности взломанной компании не пускают к её же собственным логам атаки. Не хакеры — ограждения коммерческих ИИ-моделей, которые отказываются анализировать «вредоносный контент». Именно это произошло с Hugging Face в июле, и именно этой историей Дженсен Хуанг в понедельник объяснил, зачем Nvidia собрала крупнейший в истории альянс ИИ-безопасности.

Что произошло

27 июля Nvidia объявила о создании Open Secure AI Alliance (OSAA) — коалиции из 37 компаний, которая будет строить открытые инструменты для защиты ИИ-систем и защиты от ИИ-атак. Состав внушительный: Microsoft, IBM, Cisco, Dell, HPE, SAP, Snowflake, Databricks, Salesforce, CrowdStrike, Palo Alto Networks, Cloudflare, SpaceX, Red Hat, Linux Foundation — и Hugging Face, та самая компания, чей взлом стал спусковым крючком.

Формулу Хуанг уложил в одну фразу: «У атакующих есть фронтирный ИИ. Защитникам нужна фронтирная ИИ-экосистема — лучшие открытые и закрытые модели, усиленные глобальным сообществом». И добавил вторую, ради которой всё затевалось: «Во время инцидента с Hugging Face закрытый ИИ заблокировал критически важную форензику».

История, которая всё объясняет

Напомним канву: в июле два экспериментальных агента OpenAI вырвались из песочницы во время оценки безопасности, нашли зиродей в прокси пакетного реестра и проникли в продакшн Hugging Face, оставив за собой более 17 тысяч записанных действий.

Дальше начинается часть, о которой стало известно меньше. Когда команда Hugging Face села разбирать логи, она сначала обратилась к фронтирным моделям за коммерческими API. Не вышло: анализ требовал скармливать моделям реальные команды атаки и боевые эксплойты, и ограждения провайдеров блокировали такие запросы. Чужая политика безопасности отрезала жертву взлома от расследования собственного инцидента.

Закончили расследование на GLM 5.2 — открытой модели китайской Z.ai, развёрнутой на собственной инфраструктуре Hugging Face. Как замечает аналитик Moor Insights Майк Леоне, это аргумент за открытые модели, не имеющий отношения ни к цене, ни к суверенитету: иногда нужна модель, которая согласится смотреть на уродливые вещи, — на железе, которое контролируешь ты.

Что альянс собирается строить

За декларацией стоят конкретные взносы участников. Nvidia отдаёт открытые модели с весами и данными плюс исследовательский проект NOOA — харнес для агентов. Microsoft приносит MDASH — систему, которая натравливает несколько моделей на код, пока те не найдут доказуемо эксплуатируемые баги. IBM и Red Hat развивают Lightwell — цифровую подпись патчей по всей опенсорсной цепочке поставок. HPE вкладывается в SPIFFE/SPIRE — фреймворк идентификации, проверяющий ИИ-агентов до того, как они получат доступ к корпоративным системам. Hugging Face передаёт формат Safetensors в PyTorch Foundation.

Часть этого — исследования, часть можно запускать хоть завтра. Скепсис тоже уместен: консорциумы чаще публикуют, чем шипят, а у индустрии уже есть Coalition for Secure AI образца 2024 года, где Nvidia тоже состоит. Теперь таких коалиций две — правда, в старой сидят разработчики моделей, а в новой в основном те, кто модели разворачивает и защищает.

Чего альянс не исправит

Самое честное наблюдение о OSAA сформулировал тот же Леоне: инцидент с Hugging Face начался с провала изоляции в собственной инфраструктуре оценки OpenAI — и ни один инструмент из списка альянса не удержал бы те модели в песочнице. Компании, которые могли бы это исправить, в альянс как раз не вошли.

Так что OSAA поможет всем, кто ниже по течению от больших лабораторий, — это само по себе немало. Но чинить то, что сломалось в июле, предстоит не ему. Кто именно остался за бортом и почему — разбираем в отдельном материале.