Нейросетевое шумоподавление: RNNoise и DeepFilterNet для чистого звука

Шумоподавление аудио: где ломается запись и звонок

Шумоподавление аудио почти никогда не начинается с задачи «сделать красиво». Поводом становится разбор инцидента: запись звонка уходит в проверку качества, и в ней слышно вентиляцию, а не половину ответов оператора. Гул в записи звонка не мешает разговору в моменте — он всплывает позже, когда по этой записи нужно принять решение.

Второе узкое место обработки звука — переговорная. Эхо от динамиков, реверберация от стекла и мебели, микрофон, который ловит не того, кто говорит. Даже аккуратный фильтр здесь ошибается: он давит хвост эха вместе с тихими окончаниями слов, и смысл фразы меняется на противоположный.

Удалённые сотрудники добавляют свой класс отказов. Нестабильный канал, дешёвая гарнитура, шипение и щелчки на входе. Провалы речи приходятся ровно на служебные слова и цифры — номера, суммы, сроки — то есть на то, ради чего запись вообще хранят.

Отдельно стоят потери речи при очистке. Агрессивные фильтры режут согласные, придыхание и короткие паузы, а вместе с шумом уносят разборчивость. Автоматическая расшифровка начинает пропускать ключевые слова, разбор обращений превращается в прослушивание записи с третьего раза, а доля непригодных для проверки записей растёт.

Разбираем, как это закрывается: где в тракте ставить шумоподавление, почему нейросетевые модели вроде RNNoise и DeepFilterNet ведут себя по-разному на гуле и на щелчках, и как чистить звук, не теряя речь.

Измеримый эффект: разборчивость речи и развёртка

«Улучшилось на слух» — не критерий приёмки: уши адаптируются к обработке, спор о результате становится вкусовым, а исходные записи через месяц уже никто не помнит. Поэтому перечень показателей и способ замера фиксируем до старта: одни и те же дорожки прогоняем через тракт без очистки и с ней, для части записей заранее готовим эталонную расшифровку вручную. Протокол переводит разговор «стало ли лучше» в сравнение чисел — по нему и принимается работа.

• Доля распознанных слов: сколько слов из эталонной расшифровки совпало с машинной, до и после. Основной показатель — прямо отражает, сколько фрагментов придётся переспрашивать или править руками.
• Устранённый класс отказов: считаем по источникам помех в записях заказчика — гул серверной, щелчки клавиатуры, эхо переговорной, улица за окном. До работ — сколько дорожек поражено каждым классом, после — сколько осталось.
• Разборчивость речи: оценка оператором по шкале от «слово не разобрать» до «понимаю без повторов», на одних и тех же фрагментах и в одинаковых условиях прослушивания.
• Время на прослушивание записи: сколько минут уходит на разбор часового фрагмента вместе с расшифровкой. Обычно эффект виден уже на первом проходе.
• Потери речи: доля речевых фрагментов, подавленных вместе с шумом, — обрезанные начала слов, «проглоченные» окончания. Рост чистоты за счёт вырезанной речи считается браком.
• Устойчивость на разных источниках: гарнитуры, диктофоны, записи созвонов. Обработка вроде DeepFilterNet ведёт себя на них по-разному, и по одному устройству нельзя судить о парке.

Результат сводим в таблицу «до/после» по каждому показателю с указанием тестового набора. Если хотя бы один не сдвинулся — меняем параметры подавления и перезамеряем, а не отчитываемся о внедрении.

Шумоподавление аудио: режимы поток, файл и пакет

Режим обработки выбирают не по качеству модели, а по тому, где живёт звук: в живом канале, в отдельной записи или в архиве на тысячи часов. В потоке алгоритм работает на коротком окне и не может накапливать контекст, в файле он видит дорожку целиком и строит оценку шума по паузам — отсюда разные требования к буферизации и задержке.

Ядро — RNNoise и DeepFilterNet: первое держит режим реального времени, второе даёт заметно более чистый звук при разборе записи целиком. Профили не смешиваются молча: поток идёт по быстрому, архив — по качественному, и оба пишут отчёт о доле подавлённого шума и участках, помеченных как рискованные.

Этапы внедрения: от аудита записи до передачи

Маршрут начинается не с настройки моделей, а с аудита записи: от характера шума зависит и выбор алгоритма, и порядок обработки. Ниже — этапы с контрольными точками, после каждой виден результат.

1. Аудит записи — прослушиваем материал и смотрим спектр: гул вентиляции, уличный фон, реверберация помещения, наводки сети. Стационарные и импульсные помехи требуют разных настроек, в один профиль их не сводим.
2. Замер уровня шума — фиксируем соотношение сигнала и шума на тихой речи, громкой речи и паузах. Эти значения становятся базой приёмки: сравнение идёт не на слух, а по цифрам.
3. Схема тракта — задаём порядок обработки: шумоподавление, выравнивание тембра, нормализация громкости, ограничитель. Перестановка шагов слышна как артефакты, поэтому схему согласуем заранее.
4. Эталонные фрагменты — нарезаем 10–15 коротких отрезков со сложными случаями: шёпот, перекрикивание, речь поверх музыки. На них настраиваем профили и следим, чтобы не пропадали согласные.
5. Настройка профилей — подбираем модель и степень подавления под каждый тип записи: RNNoise для потоковой обработки, DeepFilterNet для сложного фона. Цель — убрать шум, сохранив естественность голоса.
6. Проверка и приёмка обработки — прогоняем весь массив, сверяем с эталонами, проверяем паузы и стыки. Итог оформляем отчётом по уровню шума и разборчивости на каждом типе фрагментов.
7. Передача — отдаём конфигурации профилей, скрипты пакетной обработки, схему тракта и инструкцию для команды.

Решение остаётся работоспособным без нас: обработку можно повторять на новом материале с теми же настройками.

Что остаётся у заказчика: схемы, профили, регламенты

Документация передаётся не «папкой в облаке», а рабочим комплектом, по которому команда эксплуатации сама подключит новое помещение и откатит неудачное изменение. Ниже состав, который мы фиксируем при сдаче: каждый пункт проверяется на реальных записях, а не на демонстрационном стенде.

• Схема тракта — порядок блоков от источника до выхода, точки разрыва и обхода: видно, где шумоподавление аудио встроено в запись, звонок или трансляцию.
• Профили обработки под помещения — наборы параметров для переговорной, опенспейса, шумного цеха и улицы: глубина подавления, порог срабатывания, запас, чтобы не пострадали музыка и объявления.
• Конфигурации моделей в читаемом виде с комментариями: что делает параметр, на что влияет, какой диапазон безопасен при ручной правке.
• Документация на очистку звука — описание сигналов, метрики качества и чек-лист приёмки: как убедиться, что шум ушёл, а речь не «зажевало».
• Регламент эксплуатации — кто и как меняет профили, как вернуться к предыдущему, что делать при замене микрофонов или переезде в другое помещение.
• Эталонные записи и прогоны сравнения — проверка до и после правки конфигурации, чтобы изменения не принимались на слух.
• Карта нагрузок — сколько каналов держит один узел и какой запас остаётся, чтобы расширение не упиралось в потолок.

Комплект обновляется при каждом изменении в тракте, иначе он превращается в архив. Передаём его вместе с коротким разбором для инженеров и сопровождаем первую самостоятельную правку профиля.

Кейс: колл-центр на удалёнке, метрики до и после

Операторы удалённого колл-центра говорили из квартир — в записи попадали ремонт за стеной, кондиционер, клавиатура и чужая речь. Система распознавания путала слова, а контроль качества переслушивал разговоры вручную: автоматической разметке не доверяли.

Микрофоны решили не менять — это самая долгая часть проекта. Вместо этого на рабочих местах поставили каскад: первый проход гасит стационарный фон, второй — DeepFilterNet — нестационарный: шаги, хлопки двери, голоса соседей. Обработка идёт до записи, поэтому очищенный сигнал попадает и в архив, и в распознавание сразу.

Настройки развели по группам оборудования: на гарнитурах с выносным микрофоном жёсткое подавление съедало согласные, на дешёвых — наоборот, не хватало запаса. Каждой группе зафиксировали профиль и прогнали его по эталонным записям с известным текстом, чтобы видеть, где модель режет речь.

Метрики до и после

Доля обращений, разобранных без ручного прослушивания, выросла с 62% до 89%. Время на повторное прослушивание фрагмента упало с 40 до 12 секунд, переспросы сократились вдвое, а средний разговор стал короче на 20 секунд.

Контроль качества теперь смотрит только спорные разговоры — остальное закрывают автоматические метки. За время внедрения ни один оператор не отказался от нового профиля: настройки не мешают говорить.

Чем нейросетевые методы отличаются от спектральных?

Спектральное вычитание сначала оценивает спектр шума по паузам между словами и вычитает эту оценку из входного сигнала. Метод детерминированный, обучения не требует и предсказуемо ведёт себя на стационарном шуме: гуле вентиляции, наводках, шипении микрофона. Нейросетевые методы очистки решают обратную задачу — модель обучена отображать зашумлённый спектр в чистый, поэтому держит и нестационарные помехи: клавиатуру, шорох, чужую речь на фоне.

Ломается спектральное вычитание предсказуемо: при ошибке в оценке шума в сигнале остаётся музыкальный шум — узкие свистящие пики на месте вычтенных гармоник. Против реверберации помещения оно бессильно: это не аддитивная помеха, а свёртка с откликом комнаты, вычитанием спектра её не убрать.

Нейросеть платит за это вычислениями и задержкой: модель обрабатывает кадр фиксированной длины, и требования к процессору выше. На незнакомом типе записи она либо недобирает подавление, либо пересушивает речь — пропадают согласные, появляется металлический призвук. Лёгкие модели вроде RNNoise укладываются в кадр и идут на одном потоке; более тяжёлые, как DeepFilterNet, снимают и умеренную реверберацию.

На практике выбор метода обработки диктует источник помехи, а не мода. Стационарный фон и жёсткие требования к задержке — спектральное вычитание; разнородный шум в поле — нейросеть. Реверберацию снимает отдельная модель: каскад даёт запас по качеству, но требует подстройки параметров под конкретный тракт записи.

Частые технические сомнения по обработке звука

Инженеры, которые уже слушали выход шумодава, задают одни и те же вопросы: не «съедает» ли фильтр согласные, что делать с архивом готовых записей, укладывается ли обработка в реальное время и можно ли обучить модель на своих данных. Ниже — ответы без маркетинга; все четыре сюжета закрываются на этапе настройки, а не после сдачи.

Что делать с записями, которые уже сделаны?

Пакетный проход по каталогу: рекурсивная обработка, исходники не перезаписываются, на выходе — лог по каждому файлу с параметрами. Архив в десятки часов проходит без ручного контроля, выборочно перечищаем только проблемные дорожки.

Успевает ли обработка в реальном времени?

Да: кадр обрабатывается быстрее, чем звучит, поэтому задержка остаётся комфортной для созвона и диктовки. Если модель тяжёлая, разносим контуры — поток идёт в лёгком режиме, финальная очистка делается офлайн.

Можно ли обучить модель на своих данных?

Да, и на своём материале результат выше универсального. Собираем набор из ваших записей: голоса дикторов, типовые шумы помещения, микрофоны. Дообучение идёт по этому профилю, качество меряем долей верно распознанных слов и разборчивостью на слух.

Обсудим задачу: с чего начинаем разбор

Чтобы вернуться с оценкой и планом внедрения, а не с общими словами, нам нужен разбор именно вашего звука. Обычно хватает короткого разговора и нескольких файлов-примеров — дальше картина становится предметной.

• Характер шума: постоянный гул оборудования или вентиляции, шум офиса и клавиатуры, улица за окном, наводки от сети, эхо в переговорной.
• Тип материала: звонки и конференции, интервью и подкасты, диктовка, запись с диктофона или с гарнитуры, смешанные дорожки.
• Параметры исходников: формат контейнера, число каналов, разрядность, где голос спикера разнесён с шумом, а где всё в одном канале.
• Объём архива: сколько часов записи лежит в хранилище, какая доля из них требует обработки, есть ли готовые расшифровки.
• Режим работы: обработка потока в реальном времени или пакетная по архиву, допустимая задержка, где шумоподавление встраивается в ваш процесс.
• Критерий приёмки: что считаем хорошим результатом — разборчивость речи, отсутствие «водяных» артефактов и металлического призвука, сохранение пауз и интонации.
• Ограничения: требования к хранению и обработке голосовых данных, правила доступа к записям, нужна ли локальная обработка без выгрузки наружу.

С этим набором мы собираем план внедрения: подбираем модель под ваш профиль шума, определяем режим и точки интеграции, фиксируем, как будем проверять результат на вашей же разметке. Первый шаг — пилот на фрагменте: прогоняем обработку на 20-30 минутах реальных записей, отдаём результат «до и после» и показываем, какие участки остаются проблемными.

Опишите задачу и приложите пару файлов — вернёмся с оценкой объёма записей и планом работ.