763 миллиарда параметров в одном бите: квант-войны дошли до предела

Год назад идея ужать 763-миллиардную модель до одного бита на параметр звучала как шутка из комментариев. Вчера она стала релизом: исследователи ISTA выложили сборку DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder, где каждый вес закодирован в среднем одним битом, — и приложили бенчмарки, от которых тред в r/LocalLLaMA немедленно раскололся на два лагеря.

Цифры и подвох

Формально результаты впечатляют: 88,57 на LiveCodeBench v6 и 77,00 на SWE-bench Verified — у модели, которая после сжатия помещается на потребительскую рабочую станцию. В демо однобитный DeepSeek рисует анимированные SVG и собирает воксельные сцены на three.js.

Скептики тут же достали калькулятор. Полноразмерная Qwen3.8-27B — модель в 28 раз меньше — выбивает на LiveCodeBench 90,3, а Qwen3.8-Flash-Next — 91,9. Получается неудобный вопрос: зачем героически сжимать гиганта до качества, которое маленькая модель даёт без героизма? Ответ защитников: SWE-bench 77,00 у однобитной сборки — это выше, чем у Claude Opus 4.6 (81,42 у нынешнего поколения, но прошлогодние флагманы оставались ниже), и в агентных задачах большая разреженная модель даже после жёсткого сжатия держится иначе, чем маленькая плотная.

Параллельно идёт война квантователей

Однобитный релиз — лишь самый громкий эпизод недели. Вторым стало методичное сравнение двух конкурирующих схем квантования той же DeepSeek-V4.1-Flash: Unsloth Dynamic v3.1 против GSQ-RCO GGUF, на четырёх агентных бенчмарках с контекстом 512K.

Сборка	Средний балл
Полная точность (базовая модель)	70,6
Unsloth Dynamic v3.1, IQ1_S	66,3
GSQ-RCO при том же размере файла	заметно ниже

Вывод из таблицы прозаичнее заголовков: при равном размере файла Unsloth стабильно обходит GSQ-RCO, а потеря от полной точности до агрессивного кванта — четыре с лишним пункта. Для локальных практиков это сейчас едва ли не самое полезное знание: выбор схемы квантования решает, получите вы рабочую модель или красивый файл.

Третий сюжет — проверка боем. Автор другого поста прогнал локальные кванты против облачных Claude на девяти реальных приватных багах в C++/CUDA-коде. Судейская оценка Claude Opus 5.5 — 0,74, локальные сборки ниже, причём они тратили заметно больше токенов и времени на задачу. Но разрыв уже не пропасть: сильно квантованная Qwen3.8-27B, по оценке автора, «на уровне или лучше прошлогоднего Sonnet».

Ограничения, о которых пишут мелким шрифтом

Градус охлаждает релиз «запусти DeepSeek-V4.1 на 12 ГБ VRAM»: технически модель действительно стартует, но, как сформулировал самый залайканный комментарий, «запускается? нет. Ползает? спорно». Экстремальное квантование упирается в фундаментальный компромисс — память экономится, а скорость и качество платят по счетам.

И всё же динамика очевидна. Ещё летом однобитные сборки были академическим курьёзом, осенью — предметом воспроизводимых бенчмарков с конкуренцией методов, как когда-то было с GGUF-экосистемой llama.cpp. Фронтир локального ИИ сместился: вопрос «какая модель лучше» уступает место вопросу «какой квант этой модели не испортит её на моей задаче». Судя по темпам, к следующему поколению DeepSeek и Qwen4 ответы на него будут нужны ещё острее.