День, когда инференс повзрослел: llm-d, DeepInfer и 24 ГБ

Такие дни в инфраструктуре случаются редко. 20 октября в ленте сошлись сразу три события из одного сюжета: IBM и Red Hat довели до версии 1.0 оркестратор llm-d, DeepSeek открыла собственный инференс-фреймворк DeepInfer, а в r/LocalLLaMA тем временем разошёлся пост с дерзким тезисом «24 ГБ хватит всем — если движки ходят по очереди». Три разных масштаба — кластер, лаборатория, домашний ПК — и одна общая мысль: вопрос «запустится ли модель» закрыт, началась эпоха вопроса «насколько дёшево она запустится».

llm-d 1.0: Kubernetes научили думать о KV-кеше

Проект llm-d, который IBM и Red Hat развивали больше года вместе с сообществом vLLM, добрался до стабильной версии. Если коротко, это слой распределённого инференса поверх Kubernetes: он понимает специфику LLM-нагрузок, которую классические балансировщики игнорируют. Роутинг с учётом того, на каком узле уже лежит нужный префикс KV-кеша, раздельное масштабирование prefill и decode, автоскейлинг по длине очередей, а не по загрузке CPU.

Статус 1.0 здесь — не просто номер. Это сигнал энтерпрайзу, что открытый стек дорос до продакшена: то, что раньше требовало проприетарных платформ или самописной обвязки, теперь ставится из коробки и поддерживается в Red Hat AI. Для компаний, которые держат инференс у себя из соображений комплаенса, это снимает последний серьёзный аргумент в пользу облачных API.

DeepInfer: NVIDIA или Ascend — одна переменная окружения

DeepSeek в тот же день выложила DeepInfer — фреймворк, на котором компания гоняет собственные модели в проде, плюс сопутствующий репозиторий deepseek-recipe с готовыми конфигурациями. Техническая деталь, которая попала во все цитаты: платформа ускорителей переключается одной переменной окружения — nvidia или ascend.

Деталь только выглядит мелкой. Де-факто это публичное заявление, что продакшн-инференс DeepSeek железонезависим: модели компании одинаково живут на картах NVIDIA и на китайских Huawei Ascend, и весь этот стек теперь может повторить кто угодно. «Nvidia in shambles», — резюмировал самый заплюсованный комментарий. Второй по популярности пошёл дальше и из опубликованных конфигураций прикинул экономику: выручка DeepSeek с одного GPU — порядка $38 в час, редкий случай, когда о юнит-экономике ИИ-лаборатории можно судить не по сливам, а по открытому коду.

На фоне свежего запрета DeepSeek в американских госведомствах релиз смотрится почти демонстративно: чем жёстче модели компании выдавливают из одной юрисдикции, тем ниже она опускает порог их развёртывания во всех остальных.

24 ГБ хватит, если не жадничать

Третий сюжет — низовой, и тем показательный. Автор поста в r/LocalLLaMA собрал планировщик, который держит на одной 24-гигабайтной карте несколько инференс-движков, выгружая и загружая их по требованию: модель для кода, модель для чата и визуальная модель живут по очереди, а не делят VRAM одновременно. 251 апвоут, 69 комментариев — и неожиданное открытие в обсуждении: похожих самоделок у сообщества оказались десятки, просто никто не выносил их в общий доступ.

Боль у всех одна — время перезагрузки модели, те самые десятки секунд, которые убивают интерактивные сценарии. В треде уже договариваются слить наработки с llama-swap, чтобы получился стандартный инструмент вместо зоопарка скриптов. Если это произойдёт, у локального инференса появится свой аналог docker-compose: описал набор моделей — планировщик сам решает, кто сейчас занимает память.

Общий знаменатель

Свежее исследование тридцати инференс-движков — от NInfer до нашумевшей осенью Strata — зафиксировало то же самое в цифрах: разброс производительности на одинаковом железе достигает разов, и выбор софта теперь значит больше, чем выбор очередной видеокарты. После года, когда индустрия заливала дефицит вычислений деньгами, центр тяжести сместился к выжиманию максимума из того железа, что уже стоит в стойках и под столами. Модели перестали быть узким местом — им стала сантехника. И 20 октября сантехники явно был день.