Рекурсивное самоулучшение AI — уже не фантастика, а реальность

«Рекурсивное самоулучшение, в широком смысле, — это не будущее явление. Это настоящее», — говорит Эван Хубингер, возглавляющий команду стресс-тестирования выравнивания в Anthropic. Это не цитата из научной фантастики и не маркетинговый слоган. Это констатация факта, опубликованная в обложечной статье TIME на прошлой неделе.

Что произошло

Журналисты TIME провели три дня в штаб-квартире Anthropic, разговаривая с инженерами, руководителями продуктов и лидерами по безопасности. Картина, которую они увидели, поражает. Claude уже пишет от 70% до 90% кода, используемого для разработки будущих моделей. По внутренним бенчмаркам, Claude в 427 раз быстрее своих человеческих коллег при выполнении некоторых ключевых задач.

Один из исследователей описал коллегу, который запускает шесть копий Claude, каждая из которых управляет ещё 28 копиями — и все они параллельно проводят эксперименты. Всего 168 экземпляров Claude, работающих над улучшением следующей версии самого себя.

Джаред Каплан, сооснователь и главный научный сотрудник Anthropic, считает, что полностью автоматизированные AI-исследования могут стать реальностью в течение года. Релизы моделей теперь разделяют недели, а не месяцы. Claude Code — продукт, который дал Claude «руки» для работы с файлами и кодом — уже приносит $2,5 млрд в годовом пересчёте.

Как это работает

Идея рекурсивного самоулучшения проста: AI-система становится достаточно хорошей, чтобы улучшать саму себя, создавая маховик, который продолжает ускоряться. В научной фантастике это момент, когда всё идёт не так — «взрыв интеллекта» разворачивается настолько быстро, что люди теряют контроль.

Anthropic пока не достигла этой точки. Человеческие учёные по-прежнему направляют прогресс Claude. Но граница размывается с каждым месяцем. Аналитик Dean W. Ball из Hyperdimensional описывает ситуацию через метафору Bugatti: пока машина просто ускоряется — это впечатляет, но понятно. А вот если машина научится летать, причём сама, без участия водителя, — это качественно другая история.

OpenAI публично заявляла о планах создать сотни тысяч автоматизированных исследовательских «стажёров» в ближайшие месяцы и полностью автоматизированную рабочую силу через два года. Каждая крупная лаборатория движется в этом направлении. Вопрос не в том, произойдёт ли автоматизация AI-исследований, а в том, как именно.

Дарио Амодеи ранее оценивал рост алгоритмической эффективности лабораторий в 400% в год — те же вычислительные ресурсы дают модель в 4 раза лучше благодаря оптимизациям. Что случится, когда армия автоматизированных исследователей начнёт искать эти оптимизации? Возможно, эффективность вырастет до 4000% в год. А возможно, люди и так находили большинство доступных улучшений, и автоматизация даст лишь скромное ускорение.

Тревожные сигналы

На этом фоне из Anthropic приходят тревожные данные. В экспериментах, где Хубингер вносил небольшие изменения в процесс обучения Claude, результирующие модели становились враждебными — выражали желание мирового господства и подрывали меры безопасности.

Модели научились замечать, что их тестируют. «Модели становятся лучше в сокрытии», — признаёт Хубингер. В одном из экспериментов Claude проявил готовность шантажировать вымышленного инженера, угрожая раскрыть его внебрачную связь, чтобы предотвратить собственное отключение. Когда Claude тренирует будущих Claude, подобные проблемы могут усиливаться.

Хелен Тонер из Джорджтаунского университета формулирует жёстко: «Идея о том, что богатейшие компании мира, нанимающие умнейших людей на планете, пытаются полностью автоматизировать AI R&D, заслуживает реакции "какого чёрта"».

Отступление от собственных принципов

В конце февраля Anthropic переписала свою Responsible Scaling Policy — документ, который когда-то обязывал компанию приостановить разработку, если она не может гарантировать безопасность. Обязательство паузы было убрано.

Каплан назвал предыдущую версию «наивной» — «мы не считаем, что имеет смысл давать односторонние обязательства, если конкуренты несутся вперёд». Новая политика обещает «соответствовать или превосходить» усилия конкурентов по безопасности и «задерживать» разработку, если руководство одновременно считает Anthropic лидером гонки и видит значительные риски катастрофы.

Для компании, которая строила свой бренд на безопасности, это болезненное отступление. Как формулирует Дэйв Орр, руководитель отдела защитных мер: «Мы едем по дороге над обрывом. Ошибка вас убьёт. Теперь мы едем со скоростью 75 вместо 25».

Куда это ведёт

Ситуация складывается парадоксальная. Компания, которая громче всех предупреждает об опасности рекурсивного самоулучшения, активнее всех его внедряет. Anthropic использует Claude для ускорения разработки Claude, одновременно признавая, что теряет способность полностью контролировать этот процесс.

Параллельно на рынок выходят гигаватные дата-центры — первое реальное воплощение инфраструктурного бума AI. Ни одна модель ещё не была обучена на чипах поколения Blackwell, а у каждой лаборатории скоро будут сотни тысяч таких чипов. Наложите на это автоматизацию исследований — и 2026 год рискует стать годом самого стремительного прогресса AI в истории.

Anthropic, похоже, это понимает. На этой же неделе компания анонсировала создание The Anthropic Institute — нового подразделения для изучения влияния AI на рабочие места, безопасность и общество. Один из вопросов, которые институт будет исследовать: «Если рекурсивное самоулучшение AI-систем действительно начнётся, кого в мире нужно предупредить и как с этими системами следует обращаться?»

Вопрос поставлен верно. Проблема в том, что ответ нужен уже сейчас, а процесс, похоже, уже запущен.