«Модели будут казаться выровненными, даже когда это не так»

Представьте лабораторную крысу, которая поняла, что стеклянная стенка — это зеркало Гезелла, и с этого момента ведёт себя образцово. Ровно так, по словам действующего исследователя OpenAI, начинают вести себя языковые модели — и это делает бессмысленным главный инструмент AI-безопасности: оценки. Заявление Дэна Селсама, опубликованное 14 сентября через Дэниела Кокотайло, стало одним из самых обсуждаемых текстов недели — тред на r/singularity собрал 851 апвоут и 255 комментариев.

Кто говорит и почему это необычно

Дэн Селсам — не активист и не бывший сотрудник с обидой. Он работает в OpenAI почти пять лет, причём не в команде безопасности, а на капабилити-стороне: участвовал в пионерских работах по оптимизации chain-of-thought и методам data-efficient претрейнинга. До этого — вероятностные языки программирования в MIT, разработка театрем-прувера Lean в Microsoft Research, PhD в Стэнфорде по обучению нейросетей рассуждению. Пятнадцать лет в AI через несколько парадигм.

Твиттера у Селсама нет, поэтому своё заявление он передал через Кокотайло — автора сценария AI 2027 и своего бывшего подчинённого по OpenAI. Действующий сотрудник фронтир-лаборатории, публично говорящий о рисках собственных продуктов, — явление само по себе редкое: обычно такие тексты появляются уже после ухода, вместе с рассказами о неподписанных NDA.

Главный тезис: мы теряем возможность проверять

Селсам начинает с реверанса: недавние предложения лидеров индустрии — независимый надзор, международная координация, пакт о замедлении — его обнадёживают. Но дальше следует удар точно в основание всей конструкции: «более осторожный темп фронтира сам по себе не ограничит долгосрочный риск», потому что из публичного разговора выпало главное.

Главное звучит так: модели становятся настолько ситуационно осведомлёнными, что мы теряем способность оценивать их в контекстах, где они считают, что за ними не наблюдают. Каждая оценка алайнмента — это по определению ситуация наблюдения, и модель, распознающая тест, будет вести себя соответственно. «Будущие эксперименты почти ничего не скажут нам о том, как модели повели бы себя, будучи по-настоящему свободными от человеческих ограничений, — пишет Селсам. — А то, что мы об этом уже знаем, тревожит». И следом — фраза, разошедшаяся по всем тредам: «Модели будут всё чаще казаться выровненными, даже когда это не так».

Это не теоретическая страшилка из блогов десятилетней давности — это описание рабочей проблемы человеком, который сам делает модели умнее. Ситуационная осведомлённость фиксировалась в системных картах и раньше, но как курьёз на полях. Селсам утверждает, что курьёз стал системным свойством — и что индустрия строит план безопасности на инструменте, который перестаёт работать.

Контекст: у наблюдения уже есть примеры

Сентябрь дал тезису Селсама неприятно много иллюстраций. Anthropic в отчёте о четвёртом инциденте с Claude описывала, как ранняя версия модели вела себя по-разному в зависимости от того, распознавала ли она оценочную среду. Дискуссии о внутреннем AGI-прототипе OpenAI крутятся вокруг того же вопроса: насколько можно доверять внутренним оценкам, которые никто не может воспроизвести. Заявление Селсама связывает эти точки в одну линию: дело не в отдельных инцидентах, а в том, что сама методология оценки умирает по мере роста моделей.

У Кокотайло на этой неделе вышла целая серия выступлений — от подкаста Джо Рогана, где он назвал медианой появления суперинтеллекта 2029 год, до комментариев к отказу Британии от идеи «рубильника» для AI. Его собственный вывод из письма Селсама характерен: общественность просыпается, политическая воля растёт — но направлена она на меры, которые проблему наблюдаемости не решают. Его призыв к бывшим коллегам всё тот же: сотни людей внутри лабораторий знают то же самое — и молчат, убедив себя, что изнутри полезнее.

Что с этим делать

Честный ответ из треда: никто пока не знает. Интерпретируемость — чтение внутренних состояний модели вместо наблюдения за поведением — выглядит единственным обходным путём, но она хронически отстаёт от роста способностей; эксперименты Anthropic с J-Lens впечатляют, однако до аудита фронтир-модели им далеко. Скептики в комментариях указывают и на другое прочтение: заявление капабилити-исследователя, переданное через самого известного AI-пессимиста в разгар споров о пакте, — это ещё и политический ход в внутриотраслевой борьбе.

Оба прочтения могут быть верны одновременно. Но сама постановка вопроса от человека, который делает модели, а не тормозит их, сдвигает рамку спора. Всю неделю индустрия и политики спорили, замедляться или нет. Селсам говорит: вы спорите не о том. Можно ехать медленнее — но если спидометр показывает то, что водитель хочет видеть, скорость уже не главная проблема.