Все новости
qwenлокальные-моделиopen-source

Qwen4-27B обещают влезть в 16 ГБ памяти — ещё до релиза

Пост на r/LocalLLM про Qwen4-27B и 16 ГБ памяти собрал больше тысячи апвоутов — хотя самой модели пока нет. Разбираем, на чём держится эта уверенность.

Влад МакаровВлад Макаровпроверил и опубликовал
3 мин чтения
Qwen4-27B обещают влезть в 16 ГБ памяти — ещё до релиза

16 гигабайт — ровно столько памяти стоит в типичном домашнем ноутбуке, купленном за последние лет пять. Для модели на 27 миллиардов параметров этого по всем канонам мало, но пост на r/LocalLLM под названием «Qwen4-27B reported to run on 16 GB of RAM» всё равно собрал больше тысячи апвоутов и 245 комментариев за пару дней — результат, редкий для нишевого сабреддита про локальные языковые модели.

Загвоздка в том, что самой модели пока не существует. Alibaba анонсировала линейку Qwen4 — Max, Plus, Flash и открытую 27B — ещё 22 сентября на конференции Apsara, а 16 ноября вывела в GA только закрытый Qwen4-Max через API. Про младшие модели сказано лишь, что веса «скоро» станут доступны разработчикам. Искрой для треда послужил твит команды Unsloth, которая давно занимается квантизацией моделей Qwen под llama.cpp: они написали, что Qwen4-27B будет работать на связках с 16 ГБ памяти — и в комментариях тут же началась перепалка, RAM это или VRAM, и на каком кванте это вообще возможно.

Уверенность комьюнити не на пустом месте: нынешняя Qwen3.8-27B — плотная (не MoE) модель на 27,78 млрд параметров — уже реально работает на видеокартах с 16 ГБ. Сборка Qwen3.8-27B-UD-IQ4_XS.gguf от Unsloth занимает около 14,4 ГБ и спокойно грузится через llama.cpp. Самый залайканный комментарий в треде (109 апвоутов) логику прямо и формулирует: раз 3.8 влезает в IQ4_XS, то и Qwen4 с высокой вероятностью влезет в IQ3_XXS или IQ3_S — просто потому что архитектура, по данным из утечек кода, останется плотной, а не MoE.

Технические детали из обсуждения и утекших фрагментов кода:

  • Qwen3.8-27B-UD-IQ4_XS.gguf — ~14,4 ГБ, влезает в 16 ГБ VRAM
  • Qwen4-27B (по коду) — плотная модель, оптимизации под FP8 на двух картах и INT4 на одной-двух
  • заявленные новые блоки — QSA (query sparse attention) и hyper-connections, унаследованные от превью-архитектуры Flash-Next
  • экономия токенизатора: удаление части CJK-символов даёт около 600 МБ

Квантовщик pirahansiah уже зарезервировал на Hugging Face репозиторий Qwen4-27B-1bit-GGUF с готовым рецептом imatrix-квантизации до IQ1_S — план в тот же день, когда Alibaba опубликует веса, выпустить версию, которая поместится даже в 8 ГБ видеопамяти ноутбука. Пока там нет ни одного файла, только README с пометкой «pending-weights».

При этом тред далёк от безоговорочного восторга. На вопрос «а какой контекст будет?» самый залайканный ответ (183 апвоута) звучит так: «и насколько глубоко лоботомированной». Пользователи напоминают, что агрессивная квантизация — это всегда компромисс между размером файла, скоростью и длиной контекста, который реально можно использовать.

История показательна не как анонс, а как слепок привычек комьюнити локальных моделей: веса ещё не вышли, а квантовщики уже написали команды для llama.cpp, зарезервировали репозитории и готовы выпустить рабочую сборку в день релиза. Когда Alibaba наконец откроет веса Qwen4-27B, первая GGUF-версия для 16 ГБ скорее всего появится не через недели, а через считанные часы.

Похожие новости

Листайте вниз

для загрузки следующей статьи