Умный if за $42 с миллиарда токенов: почему все обсуждают Jev

За неделю после релиза сообщество насчитало 287 open-source проектов на базе Jev, Vercel и Cloudflare встроили модель в свои платформы, а треды о ней одновременно висят в топе четырёх AI-сабреддитов. При этом Jev не умеет главного, за что мы привыкли ценить нейросети: она не генерирует ни текст, ни код. И именно поэтому о ней столько разговоров.

Модель, которая отвечает только цифрами

Jev — первый публичный продукт TypeSafe AI, лаборатории из Сан-Франциско, которая вышла из стелса 15 сентября с посевным раундом в $40 млн. Основал её Диогу Алмейда, бывший руководитель направления RLHF в OpenAI. Компания называет Jev «System One моделью» — по аналогии с быстрым интуитивным мышлением из книги Канемана: класс моделей, созданных не для разговора с человеком, а для мгновенных решений внутри софта.

Работает это так: код отправляет модели состояние (текст, данные формы, лог) и список типизированных вопросов, а обратно получает не прозу, а вероятности. Вопросы бывают трёх видов: Choice — выбор одного варианта из заданного списка, Score — позиция на определённой вами шкале, Noul — вероятность «да/нет». Модель физически не может изобрести четвёртую категорию, если вы задали три, — ответ всегда ограничен вашей схемой. Контекст — 32 тысячи токенов.

Проще всего думать о Jev как об умном операторе if. Обычный код ветвится по вычислимым условиям вроде order.total > 100 и ломается там, где условие — суждение: «это письмо — жалоба или спам?», «эта команда в терминале разрушительна или безобидна?». Раньше в таких местах ставили либо хрупкие регулярки, либо специально обученный классификатор, либо дорогой вызов LLM со структурированным выводом. Jev — четвёртый вариант, спроектированный ровно под эту роль.

Цифры, из-за которых шум

Экономика и есть главная новость. Вход стоит $0.042 за миллион токенов — то есть $42 за миллиард, в 5–240 раз дешевле входных цен LLM. Выходные токены бесплатны: их настолько мало, что TypeSafe, по собственному выражению, считает их «слишком дешёвыми, чтобы тарифицировать». Ответ приходит за 70–500 миллисекунд против секунд и минут у рассуждающих LLM на тех же задачах.

Скорость объясняется архитектурой. LLM генерирует ответ токен за токеном, авторегрессионно — даже короткий JSON приходится «выписывать» последовательно. Jev, по словам TypeSafe, оценивает все вопросы запроса параллельно против одного состояния и сразу выдаёт распределение вероятностей по заданным вариантам. Обучали модель методом RLCD (Reinforcement Learning for Calibrated Decisions) — вместо ответов, которые нравятся людям, оптимизировались откалиброванные вероятности: если модель говорит «0.9», это должно сбываться в девяти случаях из десяти.

К маркетинговым заголовкам «в 193,6 раза быстрее и в 444,6 раза дешевле» стоит относиться как к потолку — это собственные оценки компании на её же наборе workflow-задач, о чём TypeSafe честно предупреждает. Но и независимые отзывы впечатляют: Vercel заменила Jev'ом GPT Luna в роли safety-классификатора и, по словам Гильермо Рауха, получила «экстраординарные» результаты — в 5–18 раз быстрее при большей точности. Команда Cua показала computer-use агента, где решения о кликах принимает Jev: в пять раз быстрее Astra и на три порядка дешевле. В r/LocalLLaMA энтузиасты сообщают, что вынесли решения из локальной Mistral-13B в Jev и получили около $0.0004 за запрос.

Что это меняет для агентов

Самое горячее применение — агентные системы. Классический агент тратит полный вызов LLM на каждое микрорешение: каким инструментом воспользоваться, безопасна ли команда, готов ли результат. Эти вызовы — секунды латентности и основная статья расходов. Если решения отдать Jev, LLM остаётся только генерация — а цикл агента ускоряется на порядок.

Отсюда и интерес платформ: Jev уже доступна через Vercel AI Gateway, а интеграция с Cloudflare позволяет запускать решения с холодным стартом меньше 20 миллисекунд. Разработчики в r/LLMDevs обсуждают паттерн «Jev как подсознание агента»: быстрая модель непрерывно оценивает контекст и дёргает большую LLM только тогда, когда действительно нужно думать.

Есть и границы применимости. Jev бесполезна везде, где нужен собственно контент: написать ответ, сгенерировать код, суммаризировать документ. Она не ведёт агентный цикл и не пользуется инструментами — это строго компонент, а не работник. И у неё нет истории: каждый вызов независим.

Куда это ведёт

Человек открывает ChatGPT несколько раз в день. Обычное приложение принимает тысячи мелких решений в секунду — и до сих пор AI в этих местах был либо слишком дорог, либо слишком медленен. Если ниша «решающих» моделей окажется реальной, по числу вызовов она может обогнать генеративные API, оставаясь при этом невидимой для пользователя: никакого чата, просто софт, который стал понимать смысл.

Вопрос теперь в том, как быстро отреагируют крупные лаборатории. Прецеденты есть: структурированный вывод когда-то тоже был сторонним хаком, пока не стал стандартной функцией всех основных API. Если Jev действительно нащупала новый класс моделей, «декодер решений» от OpenAI или Google — вопрос кварталов.