Cloudflare Clef: открытый ответ Jev в 13 раз быстрее — по собственным замерам

Cloudflare выпустила Clef — семейство открытых decision-моделей и платформу RL-дообучения, целясь прямо в TypeSafe AI с её Jev, которая две недели назад устроила шум вокруг «системы один» для агентов. Clef 27B и Clef-flash 9B лежат на Hugging Face под Apache 2.0, работают на Workers AI и полностью совместимы с API Jev — замена в один рефакторинг конфига. Анонс вышел 1 октября в рамках Birthday Week, и это первый случай, когда открытые веса фронтирного уровня в своей нише выкладывает не ИИ-лаборатория, а инфраструктурная компания.

Что нового

Decision-модель не генерирует текст. Она получает «состояние» (вход любой структуры) плюс схему типизированных вопросов — да/нет, выбор из вариантов, оценка по шкале — и возвращает вероятность каждого допустимого ответа. Куда направить тикет, эскалировать ли инцидент, звать ли человека: структурированные, ограниченные схемой, детерминированные ответы, которые можно напрямую обрабатывать кодом, без парсинга свободного текста.

Clef построена поверх замороженного Qwen3.8-27B, Clef-flash — поверх Qwen3.5-9B. Вместо авторегрессии — одна prefill-операция бэкбона, после которой все допустимые варианты ответа оцениваются параллельно отдельной головой с «двухэтапной маршрутизацией внимания». Обучались маршрутизирующая голова и LoRA-адаптеры ранга 256; за честность вероятностей отвечает Brier loss и собственный метод RLCD — Reinforcement Learning for Calibrated Decisions. В отличие от текстовой Jev, Clef мультимодальна — принимает картинки и видео, а контекст у неё 64 тысячи токенов против фактических 32 тысяч у конкурента.

Цифры Cloudflare

По собственным замерам компании на 43 бенчмарках картина разгромная:

Модель	BFCL (точность)	Медианная задержка
Clef-flash 9B	98,76	38,8 мс
Clef 27B	98,47	209,3 мс
Jev	95,75	524,1 мс
Kev 9B	94,51	51,4 мс
Laya	38,13	5,8 мс

На бенчмарке «умный дом» Clef-flash набирает 97,73 против 52,27 у Jev. Даже на собственном эвал-наборе TypeSafe модели Cloudflare выигрывают три из четырёх рабочих сценариев, уступая только в наблюдаемости агентных трейсов. Внутренний кейс тоже готов: классификация доменов для Threat Intelligence за 2,2 секунды вместо 4,7 у gpt-oss-120b. Jev остаётся впереди на When2Call и BRIGHT — таблица, надо отдать должное, опубликована без купюр.

Вместе с моделями Cloudflare запускает сервис RL-дообучения под свои данные: пока через выделенных инженеров, позже — самообслуживание на связке AI Gateway, Workers AI, контейнеров-песочниц и нового продукта Trainer.

Что говорят первые независимые тесты

На Hacker News тред собрал 614 очков и 214 комментариев, в r/LocalLLaMA — 354 апвоута с верхним комментарием «это ровно то, чего не хватало локальному сообществу». Но главное в обсуждении — не восторги, а замеры. И они неудобные.

Заявленные 38,8 мс — это модельная задержка в собственных измерениях Cloudflare, на официальном лидерборде Decision Index они пока не воспроизведены. Пользователи, прогнавшие хостед-API на своих задачах, увидели обратную картину: в задаче эскалации записей агента в ревью человеку Clef показала p50 около 850 мс против 110 мс у Jev при сопоставимом качестве; другой разработчик намерил у Clef-flash медиану 661 мс против 230 мс у Jev. Автор пайплайна модерации чатов и вовсе отчитался, что Clef оказалась «в два-три раза медленнее и хуже — пропустила больше хейт-спича. В целом разочарование».

Есть вопросы и к экономике: $0,24 за миллион входных токенов у Clef — примерно в шесть раз дороже Jev, у которой выходные токены вообще бесплатны. Миллион решений обходится примерно в $72 против $12,60. Самостоятельный хостинг требует 41 ГБ VRAM для Clef-flash и 85 ГБ для старшей модели. А слово «open-source» в заголовке блога пришлось уточнять уже в день релиза: веса открыты, датасеты — нет.

Скептики припомнили и происхождение жанра. «Decision-модели — это низко висящий фрукт, который валялся годами; TypeSafe просто первыми довели это до рынка и раскрутили», — написал один из комментаторов, другой добавил, что «один выходной токен плюс чтение logprobs» системы делали всегда. В тред заглянул даже CEO Cloudflare Мэттью Принс — отшутился на комментарий о том, что decision-модели суть переименованные дискриминативные классификаторы: «Кажется, вы только что назвали меня старым».

Кому это нужно

Несмотря на спорные замеры, стратегический расклад изменился. Вокруг закрытой Jev только что отгремел бэклеш — и теперь у любого, кого смущает закрытая модель в роли «системы один» его агентов, есть открытая альтернатива под Apache 2.0, которую можно поставить на свои GPU и дообучить под свои данные. TypeSafe на релиз публично пока не ответила.

Для Cloudflare это часть большой ставки: компания прямо пишет, что видит себя «облаком для агентов», и decision-модели на edge-GPU — естественный кирпич этой конструкции. Вопрос, который оставили открытым первые сутки, прост: верить ли красивой таблице или замерам пользователей. Ответ появится, когда Clef прогонят через независимый лидерборд — веса открыты, так что ждать осталось недолго.