Все новости
thinking-machinesinklingрелиз

Inkling 2 Mini: Thinking Machines выпустила модель, которая думает по кругу на ноутбуке

Thinking Machines Миры Мурати выпустила Inkling 2 Mini — MoE-модель на 26,4 млрд параметров с looped-архитектурой, лидирующую среди открытых моделей до 100B на DeepSWE.

Влад МакаровВлад Макаровпроверил и опубликовал
7 мин чтения
Inkling 2 Mini: Thinking Machines выпустила модель, которая думает по кругу на ноутбуке

Исследователи Thinking Machines взяли ноутбук в самолёт, включили авиарежим — и за несколько минут офлайн-модель на борту написала работающий авиасимулятор, в который можно было тут же сыграть. Этим демо лаборатория Миры Мурати, бывшего технического директора OpenAI, представила 20 ноября свою новую модель Inkling 2 Mini: открытую нейросеть на 26,4 млрд параметров, которая целиком помещается в оперативную память обычного MacBook.

Зачем модели думать по кругу

Главная техническая особенность Inkling 2 Mini — архитектура looped transformer, то есть «зацикленный трансформер». У обычной модели токен проходит через все слои сети один раз: от первого до последнего. Если задаче не хватает такого количества шагов рассуждения, модели приходится выписывать промежуточные мысли текстом — отсюда длинные цепочки размышлений (chain-of-thought), которые съедают токены и увеличивают время ответа.

Inkling 2 Mini устроена иначе. Всего в модели 24 слоя, разбитых на четыре блока по шесть слоёв. Первый блок (так называемая «прелюдия») и последний блок проходятся один раз каждый, а два средних блока — трижды, с одними и теми же весами. В сумме это даёт 48 применений слоёв на каждый токен при том, что физически хранится всего 24 слоя весов. Thinking Machines объясняет выбор именно средних слоёв экспериментально: в 27 из 28 оценок зацикливание середины сети давало больший прирост точности, чем зацикливание последних слоёв — компании удалось оценить это как эквивалент 1,51–1,91-кратного увеличения обучающих вычислений против 1,24–1,36-кратного для последних слоёв.

Чтобы информация не терялась между проходами, инженеры применили механизм attention residuals: вместо того, чтобы просто суммировать выход каждого слоя, каждый проход читает «послание» от предыдущих проходов через гейт, который в начале обучения почти полностью блокирует это послание, а затем постепенно открывается. Это позволило вводить зацикливание в обучение плавно, без потери стабильности. По собственным замерам лаборатории, незацикленная версия той же модели обучалась на 7,5% дешевле, но для попадания в тот же лосс на 512-тысячных агентных трассировках ей требовалось на 140% больше вычислений на инференсе — зацикливание того стоило.

20 гигабайт на весь чекпойнт

Из 26,4 млрд общих параметров на один стандартный проход активируется 3,4 млрд — это Mixture-of-Experts модель, где каждый токен маршрутизируется к 8 из 128 экспертов. С учётом трёх проходов через зацикленные слои эффективное число активных параметров на токен вырастает до 5,4 млрд (каждый дополнительный проход добавляет примерно 1 млрд).

Путь к этим 128 экспертам был не прямым: обучение начиналось с 384 экспертов, и в середине тренировки две трети из них «обрезали», оставив самых востребованных. После обрезки модель «залечивали» — дообучали на триллионе токенов, дистиллированных из более крупной внутренней версии Inkling, — и только потом переходили к обычному пайплайну: SFT и затем RL на 2,2 трлн токенов.

Отдельная особенность — точность вычислений. Большая часть весов обучена и работает в 4-битном формате NVFP4, последние четыре слоя — в 8-битном MXFP8, на том же железе NVIDIA GB300, где шло обучение. Поскольку модель развёрнута ровно в той точности, в которой обучалась, потерь от постобучающей квантизации не возникает. В сумме чекпойнт весит около 20 ГБ — это помещается в MacBook Pro или Mac mini с 32 ГБ оперативной памяти, а также в настольный компьютер NVIDIA DGX Spark. На старте модель официально поддерживается через Ollama и Exo Labs на Apple Silicon, а также через SGLang, vLLM, Unsloth и NVIDIA Dynamo — для более прожорливых по видеопамяти вариантов квантованные GGUF-версии через Unsloth и llama.cpp появились в течение нескольких часов после релиза и ужимают модель до 16 ГБ.

Что показывают бенчмарки

По собственным замерам Thinking Machines, Inkling 2 Mini — лучшая открытая модель среди всех, у кого меньше 100 млрд общих параметров, на агентных задачах программирования.

БенчмаркРезультатДля сравнения
DeepSWE v1.148,2%Qwen3.8-27B — 42,2% (второе место)
SWE-bench Pro v2 (Hard)77,9%Qwen3.8-27B — 73,8%
SWE-bench Verified79,2%Qwen3.8-27B — 77,8%
Vals Index v2.246,5%Nemotron 3.5 Super VL — 29,8%
AA Index v5.020,1делит первое место с Qwen3.8-27B
BrowseComp79,0%Qwen3.8-27B — 61,6%

При этом зацикливание не умеет «придумывать» знания из ничего: объём фактов, которые модель помнит, определяется в первую очередь количеством общих параметров, а не числом проходов. На бенчмарке фактологии AA-Omniscience Inkling 2 Mini набирает -8,6 балла при доле отсутствия галлюцинаций 63,4% — это хуже, чем у более плотного Qwen3.8-27B (71,4%). Модель также слабее конкурента в многоходовом чате (50% на MultiChallenge) и в соблюдении сложных составных инструкций. Thinking Machines компенсирует это тем, что модель активно использует поиск и инструменты: она лидирует на BrowseComp, DeepSearchQA и MCP Atlas среди моделей своего размера.

VentureBeat приводит ещё один показательный разрез: при равном счёте 20,1 на индексе Artificial Analysis Inkling 2 Mini якобы тратит на задачу почти в три раза меньше вычислений, отвечает примерно в четыре раза быстрее (9 минут против 38,2 у Qwen3.8-27B) и обходится в API в шесть раз дешевле. Партнёры по железу подтверждают скорость на практике: команда Exo Labs сообщила о 210 токенах в секунду на Mac Studio M5 Ultra с 96 ГБ памяти и о том, что модель собрала нативное приложение погоды в 1,8 раза быстрее и в 11 раз дешевле, чем это сделал Claude Sonnet 5.5 — впрочем, это отдельный неофициальный тест одного партнёра, а не часть официальной методологии Thinking Machines.

Можно ли читать мысли модели, которая думает молча

Зацикливание поднимает неприятный вопрос для безопасности: если модель совершает больше вычислений «про себя», не записывая их в текст, можно ли по-прежнему следить за её рассуждениями, читая цепочку мыслей? Это стандартный инструмент контроля ИИ-моделей, и чем больше модель может решить «в уме», тем меньше остаётся для чтения.

Thinking Machines подошла к вопросу серьёзно: вместе с Inkling 2 Mini компания выпустила исследовательскую модель TML-d24-varloop-research с переменным числом проходов — от одного до пяти. Выяснилось, что при увеличении проходов с одного до трёх «горизонт» задач, которые модель решает без единого слова размышлений, вырос с 16 до 37 секунд человеческого времени на выполнение, а дальше рост замедляется. Сама цепочка мыслей при этом сократилась больше чем вдвое, но осталась такой же разборчивой: длина предложений и доля словарных слов не изменились, модель просто стала реже сбиваться и возвращаться назад. Управляемость CoT — способность намеренно маскировать содержание рассуждений — у Inkling 2 Mini крайне низкая, около 0,1%, а в тесте на скрытое вредоносное поведение LinuxArena доля необнаруженных атак не росла с числом проходов. Для развития интерпретируемости лаборатория открыла доступ к модели National Deep Inference Fabric и исследовательской компании Goodfire.

Реакция сообщества и что это значит

Сам релиз Inkling 2 Mini стал ответом на жалобы, прозвучавшие после выхода её старшей сестры: две недели назад Thinking Machines выпустила Inkling 2 Small на 594 млрд параметров (17 млрд активных), и часть аудитории сочла её слишком тяжёлой для локального запуска. В официальном посте компании это прямо признали: «Некоторые из вас решили, что Inkling 2 Small слишком большая — 594 миллиарда параметров. Мы услышали: Inkling 2 Mini — зацикленный трансформер всего на 26 миллиардов параметров, который помещается на ваш ноутбук».

На Reddit в r/LocalLLaMA в первые же часы после релиза появилось несколько тредов — про сам чекпойнт, про поддержку в llama.cpp и про первые квантованные сборки от независимых авторов. Реакции разошлись: часть тестеров пишет, что модель «ощущается как гораздо более крупная», другие жалуются на баги в раннем llama.cpp-бэкенде и склонность модели зацикливаться на перепроверке собственного кода при дебаге — ограничение, которое признаёт и сама модель-карточка Thinking Machines. Скепсис звучит и в блогах: автор разбора на Medium иронично заметил, что его Mac mini с 16 ГБ памяти заполняется почти наполовину ещё до запуска модели, хотя формально минимальным порогом лаборатория называет 32 ГБ для полноценного чекпойнта (16 ГБ — только для урезанных GGUF-квантов).

Для рынка открытых моделей главный сигнал не в рекордах на бенчмарках, а в том, что архитектурный трюк, который раньше жил только в академических статьях про Universal Transformers, за несколько месяцев превратился в рабочий продукт с лицензией Apache 2.0, готовыми квантами и поддержкой во всех основных локальных раннтаймах. Если зацикливание действительно даёт моделям такого размера прирост качества без увеличения веса на диске, конкурентам — от Qwen до Gemma — придётся либо повторить этот трюк, либо объяснять, почему они этого не делают.

Похожие новости

Листайте вниз

для загрузки следующей статьи