1B-модель в машине: офлайн-ассистент водителя на NVIDIA Orin

Вы едете по трассе, связи нет уже двадцать километров, и голос из приборной панели спокойно предупреждает: впереди туман, дистанция до фуры сокращается, перестроение сейчас — плохая идея. Никакого облака, никакого API, никакой передачи данных. Всё это произносит языковая модель на 1,1 миллиарда параметров, живущая прямо в бортовом компьютере и отвечающая за 150 миллисекунд. Видеодемо такого ассистента, собранного энтузиастом на автомобильном чипе NVIDIA Orin, взлетело в топ r/LocalLLM — 702 балла, 170 комментариев и один из самых содержательных споров недели: готовы ли мы пускать дистиллированные LLM в домен, где ошибка стоит не токенов, а жизни.

Что произошло

24 сентября пользователь r/LocalLLM выложил ролик с лаконичным заголовком «loaded 1b local ai for driving assistant integrated with ADAS» — «загрузил локальный 1B-ИИ как ассистента водителя, интегрированный с ADAS». За сухим названием скрывается редкий для сабреддита зверь: не очередной бенчмарк квантованной модели на домашней GPU, а работающая система в реальной машине, подключённая к штатным системам помощи водителю.

Автор дистиллировал модель из Qwen-7B до кастомного трансформера на 1,1 миллиарда параметров и дообучил её на профильных автомобильных датасетах — nuScenes и данных Waymo. Обучение шло по схеме Sim2Real: сначала модель гоняли по сценариям в симуляторе CARLA, а затем дотачивали прямо на устройстве под реальные дорожные условия. Итог работает полностью офлайн на NVIDIA Orin — том самом семействе автомобильных SoC, которое NVIDIA поставляет автопроизводителям в линейке DRIVE Orin и робототехникам в виде Jetson: старшие конфигурации выдают до 275 TOPS, автору хватило бюджета порядка 20 TOPS.

Ассистент не рулит машиной. Он слушает водителя, читает поток данных с сенсоров через интеграцию с ADAS и отвечает голосом: предупреждает о рисках, объясняет показания систем, подсказывает манёвры. Ключевая цифра — 150 миллисекунд задержки от запроса до начала ответа. Для сравнения: облачный ассистент в зоне неуверенного LTE легко уходит за секунду, а в тоннеле или на глухой трассе не отвечает вовсе.

Как это устроено

Самая интересная инженерная деталь проекта — механизм, который автор называет динамическим прунингом внимания. Модель на лету урезает вычисления примерно на 40%, перераспределяя ресурс в пользу критичных сенсоров: в рискованном манёвре приоритет получает лидар, а не датчик дождя. Похожий принцип — адаптивная разреженность — включается на краевых случаях вроде внезапного тумана: компьют перебрасывается на аварийные протоколы, а светская беседа с водителем подождёт.

Технические характеристики системы:

Параметр	Значение
Модель	1,1B, дистилляция из Qwen-7B
Железо	NVIDIA Orin (бюджет ~20 TOPS)
Задержка ответа	150 мс
Датасеты	nuScenes, Waymo, симуляции CARLA
Точность детекции объектов	94,3%
Аптайм (офлайн)	99,98% против ~92% у облачных систем
Энергопотребление	около 1/7 от сопоставимых больших моделей

Цифра 94,3% точности детекции объектов выглядит почти неприлично хорошо для модели такого размера — она сопоставима с системами на порядок тяжелее при семикратно меньшем энергопотреблении. Правда, с важной оговоркой, к которой мы ещё вернёмся: в сложной городской среде успешность падает до 76% против 89% у облачных конкурентов.

Edge-AI дозрел до серьёзных задач

Проект попал в нерв момента. Весь сентябрь r/LocalLLM и r/LocalLLaMA живут в режиме «локальное догнало облачное»: Qwen-3.8-27B массово заменяет людям платные API, а тернарные модели ужимаются до размеров, ещё год назад казавшихся фантастикой, — мы недавно разбирали Bonsai 2 на 27B, влезающую в 6 ГБ. Драйвер-ассистент — логичное продолжение тренда: если модель помещается в 6 ГБ и отвечает за доли секунды, следующий шаг — вынести её из домашней стойки туда, где облако физически недоступно.

Автомобиль — идеальный кандидат. Jetson-сообщество давно экспериментирует с малыми Qwen на этом железе: посты вроде Qwen 1.5B целиком на Jetson Orin Nano — при потреблении меньше 10 Вт — собирали аплодисменты ещё раньше. Но между «чат-ботом на одноплатнике» и «ассистентом, читающим CAN-шину в движении» — пропасть, и именно её автор поста перепрыгнул. Показательна и статистика доступности: 99,98% аптайма у офлайн-системы против примерно 92% у облачных решений, которые зависят от покрытия сети. Для функции безопасности разница между «почти всегда» и «всегда» — это, собственно, вся разница.

Сторонники проекта в комментариях напирают ещё на один аргумент — приватность. Бортовой ассистент, которому не нужен интернет, ничего не отправляет наружу: ни маршруты, ни разговоры в салоне, ни телеметрию стиля вождения. На фоне бесконечных скандалов с телематикой автопроизводителей это звучит как самостоятельная причина хотеть такую систему в машине.

Дистиллят за рулём: спор о безопасности

Теперь вторая половина треда — та, ради которой его стоит читать целиком. Дистилляция по определению сжатие с потерями: ученик на 1,1B наследует поведение учителя Qwen-7B, но не его запас прочности. Модель теряет знания неравномерно и непредсказуемо — и никто, включая автора, не может гарантировать, что потерялось что-то безобидное, а не редкий паттерн, который выстрелит на нестандартной дорожной сцене. Мы уже писали, что дистилляция — самая горячая и мутная зона локального ИИ: даже юридический статус дистиллятов вызывает войны, что уж говорить о сертификации в safety-critical домене.

Скептики в комментариях раскладывают проблему на части. Галлюцинация в чат-боте — это неловкость; галлюцинация в системе, которой водитель доверяет на скорости 110 км/ч, — это фактор аварии. Причём опасна не только выдумка, но и уверенный тон: LLM одинаково убедительно сообщает и правду, и ерунду, а человек за рулём не имеет ни времени, ни возможности провести факт-чекинг. Цифры самого проекта дают скептикам почву: 76% успешности в плотной городской среде — это результат, с которым ни один регулятор не выпустит систему за пределы категории «информационно-развлекательная».

Самый залайканный лагерь треда сходится на компромиссной формуле: ассистенту с LLM внутри нужна жёсткая граница между разговорным выводом и управлением автомобилем. Модель должна оставаться строго советующей — advisory-only, — получать только валидированные данные с сенсоров и не иметь ни единого пути к актуаторам: рулю, тормозам, газу. В такой архитектуре LLM — это интерфейс к ADAS, а не мозг автопилота: детерминированные системы продолжают принимать решения, а модель лишь переводит их на человеческий язык. Ошибётся — водитель услышит странную фразу, а не получит странный манёвр.

Есть и третья линия критики, самая холодная: всё это красиво, но между гаражным прототипом и серийной машиной лежат ISO 26262, ASIL-сертификация и годы валидации. Ни один из существующих фреймворков функциональной безопасности не умеет сертифицировать стохастическую модель на миллиард параметров, и появление таких методик — вопрос не месяцев, а лет.

Что это значит

Для локального ИИ-сообщества пост стал маленькой вехой: впервые тема сабреддита — не «сколько токенов в секунду на моей 4090», а «как я встроил модель в контур, где от неё зависит безопасность». Специализированные нано-модели, заточенные под один домен и одно устройство, выглядят всё более убедительной альтернативой универсальным гигантам — по крайней мере там, где важны задержка, автономность и приватность.

Для индустрии сигнал тоже читаемый. Автопроизводители годами продают «умных ассистентов», которые умирают вместе с сотовым покрытием. Энтузиаст в одиночку показал, что связка «дистилляция + автомобильный SoC + симулятор» уже даёт рабочий офлайн-прототип — а значит, у тир-1 поставщиков с их ресурсами оправданий не остаётся.

Главный же итог — сам спор. Комьюнити, которое ещё недавно мерилось перплексией, всерьёз и грамотно обсуждает границы применения LLM в safety-critical системах: advisory-only архитектуры, валидацию дистиллятов, деградацию на краевых случаях. Edge-AI технически дозрел до автомобиля — теперь методикам безопасности предстоит дозреть до edge-AI. И судя по 170 комментариям под постом, работа над этим уже началась — снизу, как всё лучшее в локальном ИИ.