Все новости
llama-cppggmlлокальный-ииopen-source

Три с половиной года без единого релиза: у llama.cpp наконец есть версия 1.0

13 ноября проект Георгия Герганова, на котором держится Ollama, LM Studio и весь локальный ИИ, впервые получил номер версии и обещание стабильного API.

Влад МакаровВлад Макаровпроверил и опубликовал
7 мин чтения
Три с половиной года без единого релиза: у llama.cpp наконец есть версия 1.0

13 ноября сотрудница Hugging Face Мерве Нойшабель оставила в r/LocalLLaMA короткий пост с эмодзи ламы: «llama.cpp v1.0 is here». За несколько часов пост набрал почти две тысячи апвоутов и две с половиной сотни комментариев — редкая реакция для новости, суть которой на первый взгляд сводится к смене цифры в номере версии. Но для проекта, который три с половиной года жил без единого формального релиза, выпуская вместо этого тысячи ежедневных сборок с номерами вроде 12360, это действительно веха. И повод вспомнить, как инструмент одного человека превратился в то, без чего не работала бы половина локального ИИ.

От вечернего хобби до инфраструктуры индустрии

Историю обычно укорачивают до «Герганов написал llama.cpp на выходных», и в этом есть зерно правды, но предыстория длиннее. Ещё в конце 2022 года болгарский разработчик Георгий Герганов начал писать GGML — библиотеку тензорной алгебры на чистом C, вдохновлённую работой Фабриса Беллара над LibNC. Первым применением GGML стал whisper.cpp — реализация модели распознавания речи Whisper от OpenAI. А в марте 2023 года, вскоре после утечки весов LLaMA от Meta, Герганов взял тот же подход — компактный код без зависимостей, агрессивная квантизация, расчёт на обычный процессор — и за несколько дней выпустил первую версию llama.cpp.

Дальше для проекта начался обычный путь успешного опенсорса: GPU-бэкенды, формат GGUF для хранения квантизованных весов, сервер с HTTP API, веб-интерфейс. Но ключевое — вокруг библиотеки выросла целая экосистема инструментов, которые её просто встраивали: Ollama, LM Studio, text-generation-webui, десятки менее известных обёрток. Для подавляющего большинства людей, запускающих модели на своём железе, llama.cpp — это не программа, которую они видят, а слой, на котором держится программа, которую они видят. Именно это Hugging Face, купившая права на развитие проекта и платящая зарплату части команды, назвала в официальном анонсе «ответственностью перед разработчиками, которые зависят от наших интерфейсов библиотеки».

Что на самом деле обещает цифра 1.0

До этого года версионирование llama.cpp было формальностью: номера сборок росли на единицу с каждым слитым коммитом, без какого-либо обещания совместимости. Переход на семантическое версионирование начался этой весной — проект прошёл через v0.1.0, v0.6.0 в начале октября и v0.9.0 этой осенью, прежде чем 13 ноября одновременно получили тег v1.0.0 и сам llama.cpp, и библиотека ggml, на которой он построен.

Смысл в правилах, которые проект обязался соблюдать:

Тип измененияЧто происходит с версией
Ломающее изменение публичного C API в ./includeРост MAJOR-версии
Обратно совместимая функция, новый бэкенд, поддержка моделиРост MINOR-версии
Исправление бага без изменения APIРост PATCH-версии

Для релиза это обошлось не бесплатно: команда удалила из публичного API 35 устаревших функций и перенесла интерфейс спекулятивного декодирования NextN из вспомогательного заголовка llama-ext.h в основной llama.h — то есть явно включила его в зону гарантий. Отдельная техническая деталь, о которой maintainers договорились ещё в августовском обсуждении процесса релизов: официальный тег релиза llama.cpp теперь ставится только тогда, когда вложенная копия ggml идентична отдельно опубликованной версии ggml. Это нужно, чтобы сборки из системных пакетов — Debian, Homebrew, conda-forge — не расходились с тем, что получает пользователь из исходников.

Характерно, что объявление HF обходится почти без фанфар про новые возможности: «версионирование станет публичным контрактом» — вот и всё содержание анонса. Разбор от Unite.AI формулирует это точнее: версия теперь не маркетинговая цифра, а сигнал для мейнтейнеров пакетов и разработчиков о том, можно ли безопасно обновляться.

Что приехало в самом релизе

Пока версия — главная новость, релиз 1.0.0 заодно привёз обычный для llama.cpp объём изменений под капотом. Из рантайма: KV-кеш в формате FP8 (8-битная плавающая точка по стандарту OCP), кеш для MoE-моделей в оперативной памяти хоста с настраиваемой долей на CPU, загрузка внешних PLE/engram-данных из отдельных шардов GGUF. Из моделей — поддержка архитектур Kimi-K3.1-Pro, Ripple и xing4_0, модель синтеза речи drama-3, визуальные MageVL-Cowork и Kimi-K3.1. На сервере закрыли SSRF, CORS и DNS-rebinding уязвимости, ограничили HF_TOKEN только хостами huggingface.co, добавили OpenAI-совместимый эндпоинт /v1/audio/speech и научили сервер отменять вызовы MCP-инструментов при отключении клиента. Веб-интерфейс получил именованные группы чатов и live-превью Markdown, мобильная версия — учёт safe area экрана.

Отдельно стоит упомянуть масштаб бэкендов: сейчас у ggml больше 150 поддерживаемых архитектур моделей, и в этом релизе добавлены ядра для Intel Vulkan, device-side MoE-планировщик для SYCL, разложенный FlashAttention для Adreno на OpenCL, новые ядра WebGPU и расширенная поддержка Hexagon. Это не случайность — в CI проекта официально участвуют NVIDIA, AMD, Qualcomm, Arm, IBM и Intel, предоставляя self-hosted раннеры под своё железо. llama.cpp распространяется через собственные пререлизные сборки под Linux, macOS, Windows, Android и iOS, а также через Docker, Debian, Homebrew, conda-forge, MacPorts, Winget и XCFramework — то есть почти через любой канал, которым пользуется разработчик. Там же команда напомнила про desktop-приложения Llama для macOS и Windows — попытку опустить порог входа в локальный ИИ до пары кликов, без командной строки и флагов квантизации.

Сообщество: благодарность и список претензий

Реакция на Reddit хорошо показывает, что чувствует аудитория, которая годами зависела от проекта без формальных гарантий. Самые тёплые комментарии — личные: «я бы никогда не научился тому, чему научился, запуская модели локально, если бы не этот проект», «спасибо, что делаете эту область такой доступной». Пользователь wywywywy с ноткой нежности написал: «помню времена, когда это работало только на CPU» — ранние дни, когда о GPU-ускорении речи не шло вовсе.

Но самый залайканный комментарий в треде вовсе не про благодарность — это просьба: «добавьте больше мейнтейнеров в проект, там буквально тонна открытых issues и PR» — набрала 321 апвоут, больше, чем любая похвала. Рядом — похожий запрос про нехватку ревьюеров. Это обратная сторона успеха: чем больше llama.cpp становится инфраструктурой, тем заметнее, что ядро команды мейнтейнеров не выросло пропорционально нагрузке. Один из пользователей прямо указал на нишевые форки — adaptive KV streaming и оптимизации под AMD RDNA — которые опережают основную ветку по производительности на конкретном железе именно потому, что у upstream не хватает рук мержить такие PR.

Нашлась и техническая придирка по существу: пользователь OsmanthusBloom спросил, покрывает ли новая политика версий что-то кроме C API — ведь большинство обычных пользователей взаимодействуют с CLI-флагами, пресетами моделей и REST API сервера, а не с библиотекой напрямую. Ответа от команды в треде не появилось, и это справедливый зазор в обещании: гарантия стабильности формально касается libllama и libggml, а не той поверхности, с которой сталкивается типичный self-hoster.

Почему это важно для тех, кто гоняет модели дома

Для читателей, которые выбирают модель и железо для локального запуска, прямого использования C API llama.cpp почти никто не касается — она спрятана внутри Ollama, LM Studio и десятков других обёрток. Но именно поэтому стабильность на этом уровне важна косвенно: когда библиотека ломает совместимость непредсказуемо, ломаются надстройки, а вместе с ними — рабочие конфигурации у конечных пользователей. Формальная политика версий означает, что мейнтейнерам Debian, Homebrew и conda-forge, а вместе с ними разработчикам клиентских приложений, больше не нужно гадать, сломает ли очередное обновление их сборку — major-версия скажет об этом заранее.

Это ложится в более широкий сюжет ноября: локальный ИИ на глазах перестаёт быть нишей энтузиастов и обрастает атрибутами зрелой инфраструктуры — пакетными менеджерами, гарантиями совместимости, десктопными приложениями без единой команды в терминале. При этом сама llama.cpp не стоит на месте и в части производительности: ещё в сентябре в проект влился механизм prompt lookup drafting, разогнавший драфтинг в 42 раза и опустивший задержку 70B-моделей на потребительских GPU ниже 20 миллисекунд — это была отдельная история про скорость, не имеющая отношения к текущему релизу, но хорошо показывающая, что работа над движком не останавливается даже сейчас, когда основное внимание ушло на стабильность контрактов.

Главный риск того же порядка, что и у любого фундаментального опенсорс-проекта, обрастающего зависимостями: скорость развития ограничена числом людей, готовых ревьюить код, а не числом людей, готовых им пользоваться. Версия 1.0 — это обещание зрелости внешнему миру. Останется ли у команды ресурс, чтобы его выполнять при растущей нагрузке, — вопрос, который в комментариях к собственному анонсу задало куда больше людей, чем вопросов про саму цифру версии.

Похожие новости

Листайте вниз

для загрузки следующей статьи