Шумоподавление, которое оставляет смех и дыхание: Inworld открыла код
Inworld AI выложила под Apache 2.0 модели Voice Isolator и SAVA — шумоподавление и детекцию конца реплики, которые работают на ноутбуке без GPU дата-центра.

Большинство алгоритмов шумоподавления решают задачу слишком буквально: убирают всё, что не голос, и заодно сглаживают сам голос до стерильного, слегка роботизированного сигнала — как будто говорящий сидит в студии с поролоном на стенах, а не на кухне с работающей вытяжкой. 18 ноября Inworld AI показала модель, обученную иначе: вдох перед фразой, смешок в ответ собеседнику, лёгкая хрипотца в голосе — всё это остаётся на месте, убирается только траффик за окном, вентилятор и музыка на фоне. Вместе с ней компания открыла вторую модель — для определения, договорил человек или просто сделал паузу. Код и веса обеих моделей выложены под лицензией Apache 2.0, без ограничений на коммерческое использование, и обе считаются на обычном ноутбуке.
Voice Isolator: шумоподавление, которое не трогает характер голоса
Команда объясняет логику так: большинство денойзеров воспринимают смех, вздох или «хм» как шум и вырезают их вместе с помехами. Но в живом разговоре эти звуки несут информацию — вдох перед репликой подсказывает голосовому агенту, что человек сейчас заговорит, а смех в ответ меняет тон диалога. В записанном интервью или голосовом сэмпле та же мелочь сохраняет характер исходного голоса, который плоский студийный клининг обычно стирает.
Voice Isolator работает с частотой дискретизации 48 кГц и поставляется двумя чекпоинтами: офлайн-модель для максимального качества на уже записанном звуке и потоковая версия с упреждением 20 мс для живых приложений. Для сравнения моделей Inworld собрала собственный бенчмарк VIBE (Voice Isolation Benchmark and Evals) — мультиязычный набор реальных реплик с добавленным шумом и без него, где оценивается именно сохранение исходного голоса при подавлении остального:
| Модель | VIBE, score (0–1) |
|---|---|
| Inworld Voice Isolator (офлайн) | 0,768 |
| Inworld Voice Isolator (realtime, streaming) | 0,718 |
| ClearerVoice MossFormer2_SE_48K | 0,695 |
| resemble-enhance (denoise) | 0,646 |
| FastEnhancer-L 48k (streaming) | 0,589 |
| DeepFilterNet3 (streaming) | 0,510 |
По собственным замерам компании обе версии Voice Isolator обошли протестированные открытые денойзеры. Бенчмарк VIBE пока закрыт для внешних сабмишенов, но в Inworld говорят, что готовы принимать заявки через issues в репозитории. Модель ставится через pip install inworld-voice-isolation, веса подтягиваются с Hugging Face при первом запуске, а считать её можно на CUDA, Apple Silicon и обычном CPU — расчёт именно на то, чтобы не требовать серверной видеокарты.
Любопытная деталь: разработчики намеренно ограничили Voice Isolator только денойзингом, без восстановления качества плохого микрофона или пропавших частот — чтобы не вносить смещение в downstream-задачи вроде обучения моделей распознавания речи, которые чувствительны к любым изменениям формы сигнала. Реставрацию звука в Inworld называют отдельной задачей, над которой уже думают, но пока не выпустили.
SAVA: одна модель вместо двух для детекции речи и конца реплики
Вторая модель решает смежную, но другую проблему — ту, из-за которой голосовые агенты либо перебивают собеседника, либо тупят с ответом. Классический подход — считать тишину признаком окончания реплики — ломается на простой фразе вроде «и после этого я…» с паузой посередине: пауза в незаконченной мысли звучит почти так же, как пауза после точки.
SAVA (Semantic-Acoustic Voice Activity) обрабатывает звук непрерывно и каждые 40 мс выдаёт две вероятности: есть ли в кадре речь и закончилась ли реплика говорящего. Модель использует уже сказанное, чтобы отличить незаконченную мысль от завершённой, и опирается на тот же контекст, чтобы не путать речь с кашлем, смехом, музыкой или стуком по клавиатуре. Технически это компактная сеть на 25,5 млн параметров, принимающая 16 кГц моно-аудио: на одном ядре CPU Apple M3 Max она обрабатывает 40-миллисекундный кадр меньше чем за 3 мс — то есть с большим запасом успевает за реальным временем даже без GPU.
Inworld сравнила SAVA с Silero VAD 6.2.1 по детекции речи и с pipecat smart-turn v3.2 по детекции конца реплики на корпусе записанных встреч AMI:
| Задержка после реального конца реплики | SAVA | smart-turn v3.2 |
|---|---|---|
| 200 мс | 85,5% | 30,8% |
| 400 мс | 91,2% | 41,8% |
| 600 мс | 92,7% | 50,5% |
| 1000 мс | 93,5% | 59,6% |
Медианная задержка детекции у SAVA — 71 мс, у smart-turn — 210 мс. По детекции самой речи SAVA обходит Silero VAD по AUC на семи из девяти публичных датасетов, уступая только на AISHELL-4 и AliMeeting — наборах с китайской речью. Результат ровный не везде: на бенчмарке Easy Turn SAVA набрала всего 0,51 против 0,83 у smart-turn, и в Inworld честно признают, что не до конца понимают причину — подозревают, что дело в синтезированной речи, из которой собран этот датасет. SAVA ставится через pip install inworld-sava, а в репозитории есть референсная политика, переводящая вероятности модели в конкретные решения «реплика закончена» — порог и логику всё равно настраивает разработчик приложения.
Почему это держат под одной лицензией и зачем так открыто
Обе модели — часть одного релиза и явно рассчитаны на совместное использование: в блоге Inworld прямо пишут, что SAVA особенно чувствительна к тихой и далёкой речи, из-за чего телевизор в соседней комнате может случайно сработать как голос, — и предлагают прогонять звук через Voice Isolator до SAVA, чтобы убрать такой шум заранее. Обе модели уже работают в собственных голосовых продуктах компании, что для опенсорсного релиза необычно: чаще компании выкладывают код исследовательских прототипов, а не то, что реально крутится в проде.
Публикация набрала заметный отклик на Reddit — пост в r/LocalLLaMA собрал 525 апвоутов и 61 комментарий, что для релиза голосовой инфраструктуры, а не большой языковой модели, довольно много. Причина очевидна: сообщество локального ИИ годами жалуется, что качественная обработка голоса либо закрыта API крупных провайдеров, либо требует датацентрового железа. Здесь же — полностью открытый код, веса на Hugging Face и явное обещание, что обе модели считаются на лэптопе. Для разработчиков голосовых агентов, подкаст-студий и локальных ассистентов это снимает сразу два частых затыка: шум на записи и неловкие паузы в диалоге — причём снимает их без необходимости слать звук на чужой сервер.


