Claude Opus 4.6 уместили в 9-миллиардную модель без цензуры

На Hugging Face появилась модель с одним из самых длинных имён в истории open-source AI — Qwen3.5-9B-Claude-4.6-Opus-Uncensored-Distilled-GGUF. За громоздким названием стоит попытка сообщества LocalLLaMA «пересадить» мышление самой мощной модели Anthropic в компактную 9-миллиардную оболочку, которую можно запустить на обычном ноутбуке.

Что произошло

Автор модели под ником LuffyTheFox взял два ингредиента. Первый — датасеты с цепочками рассуждений (Chain-of-Thought), сгенерированными Claude 4.6 Opus: около 3 000 отфильтрованных примеров от nohurry и 250 высокоинтенсивных рассуждений от TeichAI, а также 700 дополнительных примеров от Jackrong. Второй — uncensored-тензоры от HauhauCS, извлечённые из агрессивно «расцензуренной» версии Qwen3.5-9B.

Результат — модель, которая пытается думать как Opus, но не отказывается отвечать на провокационные вопросы. В формате Q4_K_M она занимает 5,6 ГБ, в Q8_0 — 9,5 ГБ. Запускается в LM Studio, Ollama или llama.cpp.

Технически процесс выглядит так: базовую Qwen3.5-9B дообучили через SFT с LoRA, причём loss считали только по генерации блоков <think> и ответов. Модель научилась структурировать рассуждения в формате «Давайте проанализируем запрос: 1... 2... 3...» — характерном для Opus. Финальный loss снизился с 0,51 до 0,36.

Почему это интересно

Дистилляция коммерческих моделей в компактные open-source — один из самых горячих трендов в LocalLLaMA. Идея в том, что паттерны мышления Opus можно «запечатать» в маленькую модель, получив заметное улучшение качества рассуждений при минимальных вычислительных затратах.

Разумеется, 9-миллиардная модель не заменит настоящий Opus — разрыв в качестве остаётся огромным. Но для домашнего использования, когда важна приватность и отсутствие фильтров, такие дистилляты находят свою аудиторию. За первые дни модель набрала почти 2 700 скачиваний и 49 лайков на Hugging Face.

Отдельный вопрос — этика. «Uncensored» в названии означает, что модель отвечает на любые запросы без отказов. Anthropic и другие лаборатории намеренно ограничивают свои модели по соображениям безопасности. Сообщество же видит в uncensored-моделях инструмент для исследований и творчества, хотя потенциал для злоупотреблений очевиден.

Что дальше

Тренд на дистилляцию продолжает набирать обороты. На Hugging Face уже есть аналогичные версии на 27B (от Jackrong), а также «агрессивные» uncensored-варианты от HauhauCS. Каждая новая итерация закрывает разрыв между облачными гигантами и тем, что можно запустить дома на видеокарте за $300.