Все новости
qwenлокальный-иичипжелезо

Стартап-одиночка показал чип-прототип, который гоняет Qwen 27B локально

Valley Semiconductor выложила на Reddit живую демку: FPGA-прототип их чипа VECTRA запускает Qwen 27B на 7,9 ток/с. Автор — экс-инженер аэрокосмической отрасли.

Влад МакаровВлад Макаровпроверил и опубликовал
4 мин чтения

На r/LocalLLM уже не первый раз всплывают самодельные платы и FPGA-поделки с языковыми моделями внутри, но этот пост набрал за пару дней больше 370 апвоутов и полторы сотни комментариев — редкая реакция для нишевого сабреддита про локальные LLM. Автор, скрывающийся под ником jackalka, показал живой чат, который отвечает текстом, сгенерированным не видеокартой, а прототипом будущего инференс-чипа.

За ником стоит Джек Аль-Кахвати (Jack Al-Kahwati), основатель стартапа Valley Semiconductor, до этого работавший над авионикой и бортовыми системами — в частности, на программах Boeing и вертолётов Sikorsky. Свой чип под названием VECTRA он начал разрабатывать внутри другой его компании, StarDrive Inc., а сейчас выделил в отдельный проект. По его словам, архитектуру, RTL-код, компилятор и рантайм он написал в одиночку.

Что именно работает

Физического чипа пока не существует — есть только его описание, прошитое в FPGA-плату на AWS (инстанс с памятью HBM типа F2). На этой плате крутится один и тот же битстрим сразу для трёх моделей: Qwen 27B, Llama 3.1 8B и OLMoE, причём, как утверждает автор, каждый выходной токен побитово совпадает с эталонной 4-битной версией модели — расхождений не нашли ни разу за 248 320 проверенных токенов.

Доступ к демке открыт прямо на сайте valleysemiconductor.com — можно либо запустить живую сессию (прогрев FPGA занимает около минуты), либо посмотреть записанный прогон.

Измеренные на текущем прототипе показатели:

  • Qwen 27B, 4-битные веса — 7,9 токена/с на коротких промптах, около 5,5 токена/с в живом чате (150–180 мс на сам инференс плюс ~33 мс на сеть и хост)
  • Llama 3.1 8B — 16 токенов/с, OLMoE — 41 токен/с на том же железе
  • пропускная способность памяти FPGA (HBM) — 432,7 ГБ/с, это 93,9% от пиковой
  • за восемь дней разработки скорость выросла в четыре раза — с 533 до 126 мс на токен
  • каждый токен Qwen 27B требует прочитать из памяти 13,5 ГБ весов — именно это, а не вычисления, и есть узкое место

Будущий чип, если его доведут до кремния, целится в 25 Вт на весь модуль (чип плюс LPDDR5X-память) и больше 50 токенов/с — это пока не измерено, а смоделировано: RTL-симуляция с моделью памяти показывает 15,6–22,2 токена/с при контексте 4К. Для сравнения со своими же цифрами компания берёт Jetson AGX Orin: на той же модели он выдаёт 5,9 токена/с при 32 Вт, то есть целевой чип должен быть примерно в восемь раз эффективнее по энергии на токен.

Схема чипа VECTRA с матричными движками и интерфейсами LPDDR5X на сайте Valley Semiconductor

Источник: Valley Semiconductor

Зачем это нужно и что говорят скептики

Идея Valley Semiconductor — не конкурировать с дата-центровыми GPU, а дать роботам, дронам и полевому оборудованию считать модель на борту без связи с интернетом и в рамках жёсткого энергобюджета. В плане компании — сначала оборонные беспилотные системы, затем коммерческая робототехника, и только потом защищённые дата-центры.

В комментариях на Reddit инженеров интересовало не это, а числа: пользователи указывали, что настоящая цена вопроса — память, а не логика чипа (LPDDR5X и так съедает большую часть себестоимости, тем более ради неё урезали точность до 4 бит), спрашивали про длину контекста и скорость обработки промпта — автор признал, что эта метрика пока вообще не измерялась, FPGA читает промпт по токену за раз. Другие проводили параллель со стартапом Taalas (купленным AMD), который прошивает веса модели прямо в кремний и получает около 17 тысяч токенов/с на Llama 8B — правда, ценой того, что модель становится неизменной. У VECTRA подход другой: веса остаются в памяти, а не в самой схеме, поэтому новая модель — это просто новая прошивка компилятора, а не новый чип.

Сам путь от FPGA-прототипа до реального кремния долгий: в планах Valley Semiconductor — нанять архитектора физического дизайна и верификатора, прогнать тестовое ядро на многопроектном шаттле и только потом браться за полноценный чип на 12–16 нм. Пока же единственное железо, которое существует — это чужая FPGA в облаке AWS, и именно на ней держится вся демонстрация.

Похожие новости

Листайте вниз

для загрузки следующей статьи