Anthropic просит индустрию строить «педаль тормоза» для AI

Более 80% кода, который вливается в системы Anthropic, пишет Claude. Ещё в начале 2025 года, до выхода Claude Code, эта доля измерялась единицами процентов.

Эту цифру компания привела не в маркетинговом материале, а в отчёте о рисках — и именно она делает всю остальную аргументацию неуютной. Отчёт вышел 4 июня, но за полтора месяца дискуссия вокруг него не утихла, а стала острее: летом к ней добавились и подготовка Anthropic к IPO, и растущее давление на индустрию. Так что вернуться к нему сейчас имеет смысл — тем более что ни одна из описанных в нём тенденций с июня не развернулась.

В чём суть предупреждения

Авторы отчёта — сооснователь Anthropic Джек Кларк и глава исследовательского института компании Марина Фаваро. Их тезис: AI-системы приближаются к рекурсивному самоулучшению — моменту, когда модель проектирует и создаёт собственного преемника практически без участия человека.

Дальше начинается петля. Каждое следующее поколение проектирует следующее чуть лучше и чуть быстрее, а человек всё сильнее выпадает из цикла — не потому, что его выгнали, а потому что он перестаёт успевать.

Anthropic не утверждает, что это уже происходит. Компания говорит, что до этого ближе, чем предполагалось, и приводит собственную статистику как иллюстрацию направления: инженеры Anthropic отгружают примерно в восемь раз больше кода за квартал, чем несколько лет назад.

Главный страх сформулирован аккуратно, но узнаваемо: редкие сбои выравнивания в сегодняшних моделях могут «становиться всё более частыми и всё менее понятными, пока мы не потеряем над ними контроль». То есть проблема не в том, что модель однажды взбунтуется. Проблема в том, что мы перестанем понимать, почему она делает то, что делает, — раньше, чем заметим это.

Что предлагается

Anthropic не призывает остановить разработку. Формулировка мягче и хитрее: миру стоит сохранить возможность замедлить или временно приостановить развитие передового AI — чтобы исследования безопасности и общественные институты успели догнать технологию.

Отсюда метафора, которая разошлась по заголовкам: индустрии нужна «педаль тормоза». Не чтобы жать её прямо сейчас, а чтобы она вообще существовала к тому моменту, когда понадобится.

Ключевое слово — координация. Anthropic настаивает, что пауза работает только в согласованном виде: лаборатории должны иметь возможность проверять, что конкуренты соблюдают договорённости, иначе тормозящий просто дарит рынок тому, кто не тормозит. Классическая дилемма заключённого, только ставки другие.

Почему на это смотрят с прищуром

Отчёт вызвал не только согласие. И основная претензия не про содержание, а про то, кто говорит.

Anthropic подала заявку на IPO с оценкой, приближающейся к триллиону долларов. Компания, которая предупреждает, что её продукт может выйти из-под контроля, одновременно продаёт этот продукт инвесторам как главную технологию десятилетия. Оба утверждения могут быть искренними — но вместе они образуют неудобную конструкцию: чем страшнее AI, тем он ценнее.

OpenAI с предложением не согласилась, ответив по существу процедуры, а не риска: правила в конечном счёте должны определять «демократические правительства, а не частные компании, действующие в одиночку».

Есть и более едкое прочтение, на которое обратила внимание Tom's Hardware: в отчёте прячется сообщение, адресованное вовсе не регуляторам. Если ускорение разработки требует всё больше вычислений до того, как возникнет реальный риск потери контроля, то из документа следует и такой вывод: покупайте больше компьютеров, пока можно. Предупреждение о рисках и обоснование capex удобно совпадают.

Наконец, история не на стороне подобных инициатив. Призыв к паузе 2023 года, который поддержал в том числе Илон Маск, ни к чему не привёл. С тех пор ни одна лаборатория не притормозила.

Что здесь действительно важно

Если отбросить корпоративный контекст, остаётся один факт, который трудно объяснить пиаром: восемьдесят процентов.

Anthropic — не гипотетический пример из философской статьи. Это компания, где AI уже пишет подавляющую часть кода собственной инфраструктуры. Не проектирует архитектуру с нуля, не ставит себе цели — но реализует. Расстояние от «Claude пишет 80% кода Anthropic» до «Claude проектирует следующего Claude» короче, чем хотелось бы, и сокращается оно само по себе, без чьего-либо решения.

Отдельно тревожно выглядит другое наблюдение из обсуждения отчёта: исследователи из Университета Торонто продемонстрировали AI-«червей», которые адаптируются и распространяются по сетям. Это уже не про добровольную паузу лабораторий.

Anthropic просит индустрию построить тормоз заранее — потому что тормоз, которого нет, невозможно нажать в нужный момент. Аргумент разумный. Проблема в том, что строить его предлагается тем же людям, чья капитализация зависит от скорости.