Qwen3.6 35B-A3B Heretic: расцензурили без потери качества

В r/LocalLLaMA на этой неделе появился пост, который собрал тысячу плюсов за сутки: пользователь зарелизил декензурированную версию Qwen3.6-35B-A3B через инструмент Heretic от p-e-w и получил KLD-расхождение с оригинальной моделью всего 0.0015. Для контекста: это значит, что новая модель практически неотличима от исходной по выдаче, но при этом снимает все safety-фильтры. Раньше декензурирование такого размера давало KLD 0.01–0.05 — то есть в 7–30 раз больше деградации.

Что произошло

Heretic — это open-source-инструмент от разработчика под ником p-e-w, который автоматически снимает «safety alignment» с трансформерных моделей без дорогого пост-обучения. На GitHub репозиторий собрал 10 900+ звёзд за несколько месяцев. Новая версия v1.2.0 использует Magnitude-Preserving Orthogonal Ablation (MPOA) и Self-Organizing Map для поиска направлений в латентном пространстве, которые отвечают за отказы.

Конкретно Qwen3.6-35B-A3B Heretic в формате IQ4XS с Q8 KV-кэшем помещается в 24 ГБ VRAM с контекстом 262 тыс. токенов и не уходит в OOM на длинных диалогах. На бенчмарках общих знаний модель практически совпадает с базовой Qwen3.6 — KLD 0.0015 это означает буквально.

Технические параметры:

• База: Qwen3.6-35B-A3B (MoE, 35B общих / 3B активных)
• Метод: Arbitrary-Rank Ablation + MPOA
• KLD к базе: 0.0015
• VRAM: 24 ГБ при IQ4XS + Q8 KV
• Контекст: до 262 144 токенов
• Лицензия: следует базовой Qwen (Apache 2.0)

Почему это важно

До сих пор декензурирование было компромиссом: либо модель снимает фильтры, либо она остаётся качественной. После Heretic 1.2.0 этот компромисс почти исчез на классе моделей около 35B. На Hugging Face сейчас лежит больше тысячи декензурированных моделей разных авторов, и Qwen3.6-A3B Heretic уже стал среди них самым скачиваемым за апрель.

Это меняет картину для двух аудиторий. Индивидуальные пользователи — которые гоняют модели локально на 24 ГБ карте и хотят свободы в фантастических, медицинских или образовательных сценариях, — получают рабочий инструмент без потери качества. И исследователи alignment — для которых публично доступная модель с известным KLD к базе становится контрольной группой в экспериментах.

Что дальше

p-e-w в репозитории Heretic анонсировал, что следующая версия будет работать с MoE-моделями явно — текущая обходится универсальным методом, но не использует структуру MoE. Это может ещё снизить KLD до уровня 0.0005–0.001 на больших экспертных моделях. Параллельно появляются комьюнити-проекты, которые применяют Heretic к Llama 4, GPT-OSS и DeepSeek. Тренд понятен: открытые веса + автоматическое декензурирование = быстро эволюционирующая параллельная экосистема, которую корпоративные safety-команды контролируют примерно никак.