Вступ: чому шум вбиває розбірливість
Уявіть: ви проводите нараду в Zoom, а на фоні працює кондиціонер і стукотить клавіатура. Стандартний шумопригнічувач обрізає і голос, створюючи металевий відтінок. У результаті учасники скаржаться на втому, а автоматичне розшифрування (STT) видає 30% помилок. Ми стикалися з цим десятки разів: від VoIP-операторів з тисячами одночасних дзвінків до подкастерів, які хочуть заощадити на студії. AI-шумозаглушення — нейромережеві рішення, такі як RNNoise та DeepFilterNet, — вирішують проблему радикально: чистий звук без артефактів. Наш досвід — 5+ років в аудіообробці, понад 50 успішних інтеграцій для різних сценаріїв.
Чому спектральне віднімання створює «музичний шум»?
Традиційні методи, наприклад спектральне віднімання (noisereduce), засновані на відніманні оцінки шумової складової з сигналу. Але при низькому SNR (<10 дБ) вони починають «вирізати» мовні гармоніки, залишаючи тонкі частотні спотворення — той самий «музичний шум». В одному проєкті ми порівнювали noisereduce з нейромережею: PESQ у noisereduce склав 2.8, а у RNNoise — 3.2. Різниця відчутна на слух, а для STT WER знижується на 15-25%. RNNoise кращий за спектральне віднімання в 1.5 рази за PESQ. Згідно з дослідженнями, опублікованими в Mozilla Research, RNNoise досягає PESQ 3.2 при затримці менше 10 мс.
Як AI-моделі перевершують класику: RNNoise та DeepFilterNet
DeepFilterNet використовує глибокі фільтри та видає PESQ >3.8, але потребує GPU. Обидві моделі навчаються на парах «чиста мова + шум» та адаптуються до конкретного профілю шуму при fine-tuning. RNNoise — рекурентна мережа від Mozilla — аналізує спектр у реальному часі з затримкою менше 10 мс.
noisereduce
Бібліотека на основі спектрального віднімання з адаптивним профілем — проста у використанні, не потребує GPU.
import noisereduce as nr import soundfile as sf def denoise(input_path: str, output_path: str) -> None: audio, sr = sf.read(input_path) noise_sample = audio[:int(sr * 0.5)] reduced = nr.reduce_noise(y=audio, sr=sr, y_noise=noise_sample, prop_decrease=0.75, stationary=False) sf.write(output_path, reduced, sr) RNNoise
Легковагова рекурентна мережа, працює в реальному часі. Інтегрується через FFmpeg. RNNoise — open-source проєкт, який можна вбудувати в FreeSWITCH або Asterisk.
import subprocess def rnnoise_denoise(input_wav: str, output_wav: str) -> None: subprocess.run([ "ffmpeg", "-i", input_wav, "-af", "arnndn=m=/usr/share/rnnoise/models/bd.rnnn", output_wav ], check=True) DeepFilterNet
SOTA-модель для студійної якості. Потребує GPU, але дає PESQ >3.8. Підтримує ONNX-експорт для інференсу на Triton.
from df import enhance, init_df model, state, _ = init_df() def enhance(audio: np.ndarray, sr: int) -> np.ndarray: return enhance(model, state, audio) Які результати дають моделі?
DeepFilterNet перевершує noisereduce на 0.8 бала PESQ. Для реального кейсу з VoIP-оператором ми заміряли:
| Модель | PESQ | Затримка | GPU |
|---|---|---|---|
| noisereduce | 2.8 | offline | ні |
| RNNoise | 3.2 | <10 мс | ні |
| DeepFilterNet | 3.8 | ~20 мс | T4+ |
| Сценарій | Модель | Покращення PESQ |
|---|---|---|
| VoIP | RNNoise | +0.4 |
| Подкаст offline | DeepFilterNet | +0.8 |
| STT-pipeline | DeepFilterNet | +0.8, WER -30% |
При 1000 одночасних дзвінків RNNoise тримає p99 latency <15 мс, DeepFilterNet на GPU T4 — <30 мс. Економія на ручній верифікації в одному проєкті склала до кількох тисяч доларів на місяць.
Як інтегрувати RNNoise в WebRTC пайплайн?
RNNoise можна вбудувати в WebRTC на серверній стороні, наприклад, з використанням FreeSWITCH та mod_rnnoise. Ми розгортали таке рішення для оператора: 500 одночасних дзвінків, затримка 5 мс, зниження WER з 28% до 14%. Економія на ручній верифікації досягла тисяч доларів щомісяця. Порівняння з класичним AEC: RNNoise зменшує WER у 2 рази. Для високонавантажених систем економія на операційних витратах може бути значною.
Для RNNoise достатньо CPU (одне ядро на потік). DeepFilterNet потребує GPU (NVIDIA T4 або вище) та CUDA 11+. Рекомендуємо контейнеризацію через Docker для простоти розгортання.
Процес роботи
- Аналіз шумового профілю — запис 10 секунд аудіо, вимірювання SNR та спектру. Визначаємо тип шуму: стаціонарний (гул) або нестаціонарний (трафік).
- Вибір моделі — на основі вимог до latency та якості. Для real-time — RNNoise або DeepFilterNet (якщо є GPU).
- Інтеграція — через API, Docker-контейнер, FFmpeg-фільтр або модуль FreeSWITCH.
- Навантажувальне тестування — p99 latency, PESQ, STOI при 1000 потоках.
- Деплой — контейнеризація, моніторинг метрик (Grafana + Prometheus).
Терміни: від 3 до 10 робочих днів. Вартість розраховується індивідуально — залежить від складності пайплайну та кількості моделей.
Що входить у результат
- Оптимізований інференс моделі (ONNX, TensorRT) під вашу архітектуру
- Документація з інтеграції та експлуатації
- Навантажувальний звіт з метриками
- Навчання команди (2 години вебінару)
- 3 місяці технічної підтримки
Ми гарантуємо покращення PESQ мінімум на 0.5 бала та зниження WER на 15-40%. Оцініть ваш сценарій — зв'яжіться з нами для попереднього аналізу. Отримайте чистий звук без викривлень. Замовте пілотний проєкт на ваших даних. Отримайте консультацію для вашого проєкту.