Лоботомия Gemma 4: из модели вырезали 85% весов — она почти не заметила

Сколько весов нейросети можно выбросить, чтобы она этого не заметила? Автор поста «I removed 85% of gemma's weights (and it is mostly fine)» на r/LocalLLaMA даёт экспериментальный ответ: на узкой задаче — восемьдесят пять процентов. Тред собрал 494 апвоута и полторы сотни комментариев, а слово «лоботомия» в них звучит и как диагноз, и как комплимент.

Что именно сделали

Исходник — Gemma 4 26B-A4B, MoE-модель Google: 26 миллиардов параметров всего, около 4 миллиардов активных на токен. Автор проанализировал, какие эксперты реально задействуются на его классификационной задаче, зафиксировал нужное подмножество и выбросил остальное — по сути превратил разреженную MoE в компактную плотную модель под одну задачу.

Результат в цифрах:

• Размер: 3,81 млрд параметров — 15% от исходных 26B
• Файл: 2,75 ГБ в кванте Q4_K_M
• Согласие с полной 26B-моделью на целевой задаче: 91,7%
• Скорость: 79 токенов/с при пике памяти 3,8 ГБ

Самое любопытное сравнение — с Gemma 4 12B, «честной» моделью вдвое большего размера: у той согласие с 26B всего 90,0%, а памяти она ест вдвое больше. Обрезок 26-миллиардника оказался на конкретной задаче лучше полноценной средней модели.

Где подвох

Автор его и не скрывает: за пределами целевой задачи модель деградирует. Выброшенные эксперты хранили знания — и на вопросах «на эрудицию» обрезанная версия сыплется. Комментаторы справедливо заметили, что «91,7% на одной задаче» ничего не говорит о том, какие именно способности потеряны: это выяснится только на широкой линейке бенчмарков, которую автор не гонял.

Второй резонный вопрос из треда — а не стрельба ли это из пушки по воробьям? Для одной классификационной задачи можно было обучить маленький специализированный классификатор и не возиться с хирургией MoE. Контраргумент: обрезанная Gemma достаётся бесплатно, без датасета и обучения, и сохраняет общие языковые способности в окрестности задачи — для многих это «достаточно хорошо» при нулевых затратах.

Часть большого тренда: ужать фронтир до десктопа

Пост не случайно выстрелил именно сейчас. Неделю назад Сэм Альтман обронил реплику про «ужасную аллокацию DRAM» в индустрии — и комьюнити отвечает практикой. Параллельно в топе висел тред «SSD MoE finally viable» о том, как свопить неактивных экспертов MoE на быстрый NVMe и держать в RAM только рабочее подмножество. Та же неделя принесла эксперименты с правкой отдельных нейронов Gemma через Claude и чтение чужих весов локальным Qwen — сообщество массово полезло внутрь моделей с отвёрткой.

Общий знаменатель прост: большие MoE-модели избыточны по построению. Для конкретного пользователя с конкретными задачами активируется малая и довольно стабильная часть экспертов — а значит, остальное можно выгрузить, обрезать или свопнуть. Прунинг под задачу, как у автора треда, — самый радикальный вариант этой идеи: превратить универсальный 26B в персональный 4B.

Практический вывод для владельцев скромного железа обнадёживает. Если ваши задачи укладываются в узкий домен, вам, возможно, не нужна ни большая модель, ни видеокарта за три тысячи долларов — нужен способ вырезать из большой модели ваш личный кусок. Инструменты для этого на глазах превращаются из научной экзотики в хобби выходного дня.