Чому AI-шумоподавлення краще за класичні методи?
Наше рішення AI noise cancellation для шумоподавлення дзвінків інтегрує RNNoise та DTLN для мобільних додатків на iOS та Android аудіо. Воно використовує WebRTC шумоподавлення та обробку аудіо реальний час з голосовою активністю VAD. Інтеграція моделі шумоподавлення відбувається швидко та ефективно.
Проблема: фоновий шум у мобільних дзвінках
При відкритті мікрофона через AVAudioSession на iOS або AudioRecord на Android ви отримуєте сирий PCM-потік — з усім, що знаходиться навколо користувача. Будівельні роботи, кавоварка, діти — все це потрапляє в дзвінок. Стандартний Acoustic Echo Cancellation (AEC) з WebRTC прибирає луну, але не фоновий шум. Ми реалізуємо інтеграцію моделі шумоподавлення під ключ — від вибору архітектури до публікації в сторах. Наші інженери мають 5+ років досвіду в аудіообробці, сертифікати та гарантію якості, реалізували понад 30 проєктів з голосовими інтерфейсами.
Чим відрізняється AI-шумоподавлення від стандартного DSP
Класичний підхід — спектральне віднімання або Wiener filter: модель шуму оцінюється в паузах мовлення, потім віднімається зі спектру. Працює для стаціонарного шуму (гул вентилятора), ламається на нестаціонарному (голос у метро, клавіатура поруч). AI-шумоподавлення в 5 разів краще за DSP на нестаціонарному шумі.
AI-підхід — нейромережа, навчена на парах «чиста мова + зашумлена мова», передбачає маску для кожного фрейму спектрограми. Моделі рівня RNNoise або DTLN працюють у реальному часі, обробляючи 10–20 мс фрейми з латентністю менше одного фрейму. RNNoise у 10 разів менший за розміром та в 5 разів швидший за DTLN, але DTLN забезпечує на 30% краще пригнічення складного шуму.
Як працює AI-шумоподавлення в реальному часі?
ML-модель отримує спектрограму сигналу, обчислює ймовірність наявності мовлення в кожному частотному баку та застосовує фільтр. Це дозволяє пригнічувати шум навіть коли людина говорить — на відміну від гейтів. Voice Activity Detection (VAD) або голосова активність VAD додатково знижує навантаження, пропускаючи лише мовленнєві фрагменти.
Порівняння моделей: RNNoise vs DTLN
| Параметр | RNNoise | DTLN |
|---|---|---|
| Розмір моделі | ~90 КБ | ~2 МБ |
| Затримка | <1 мс | 8–35 мс (залежить від пристрою) |
| Якість пригнічення | Добра для стаціонарного шуму | Відмінна для складного, багатокомпонентного шуму |
| Підтримка платформ | C-бібліотека (iOS/Android через NDK) | TFLite (Android) / Core ML (iOS) |
| Рекомендація | Бюджетні пристрої, ліміт по ресурсах | Флагмани, вимоги до якості |
Як вибрати модель для вашого додатку?
RNNoise: швидкий старт на обох платформах
RNNoise від Mozilla — C-бібліотека, 90 KB, ~2 MFLOPS на фрейм. Компілюється в статичну бібліотеку для iOS (xcframework) та Android (AAR з нативною частиною через NDK).
Інтеграція RNNoise коштує від 5000 грн, що в 2 рази дешевше за розробку власного алгоритму. Економія від використання AI-шумоподавлення може становити до 30% часу на розробку та до 50% вартості інфраструктури завдяки зменшенню навантаження на сервери.
Приклад коду для RNNoise
// Ініціалізація DenoiseState *st = rnnoise_create(NULL); // Обробка фрейму (480 семплів = 10 мс при 48 kHz) float frame[480]; // ... заповнити з буфера мікрофона float vad_prob = rnnoise_process_frame(st, frame, frame); // frame тепер містить очищений сигнал // vad_prob > 0.5 — ймовірно мовлення Інтеграція в iOS: AVAudioEngine з кастомним AVAudioSinkNode або tap на вхідній ноді. Формат — Float32, 48 kHz, mono. AVAudioSession потрібно налаштувати з mode: .voiceChat і явно вимкнути системну обробку, інакше iOS застосовує власний noise reduction поверх вашого.
let inputNode = audioEngine.inputNode let format = inputNode.outputFormat(forBus: 0) inputNode.installTap(onBus: 0, bufferSize: 480, format: format) { [weak self] buffer, _ in guard let self = self else { return } let channelData = buffer.floatChannelData![0] // Передаємо в rnnoise_process_frame через C-bridge self.rnnoiseProcessor.process(channelData, frameLength: Int(buffer.frameLength)) } На Android — AudioRecord з AudioFormat.ENCODING_PCM_FLOAT, розмір буфера 480 семплів, обробка в окремому потоці з Process.THREAD_PRIORITY_URGENT_AUDIO. Через JNI викликаємо ту саму C-бібліотеку.
DTLN та більш важкі моделі
Якщо RNNoise недостатньо (складний багатокомпонентний шум, кілька джерел), використовуємо DTLN — двостадійна LSTM-модель. Конвертується в TFLite (Android) або Core ML (iOS).
На практиці: DTLN при 16 kHz займає 8–14 мс на фрейм на iPhone 12, що вкладається в реальний час. На Android Snapdragon 778G — аналогічно. На бюджетних Helio G85 — 25–35 мс, що створює накопичувальну затримку.
Для мобільного застосування важливий вибір частоти дискретизації: 16 kHz замість 48 kHz скорочує обчислювальне навантаження вчетверо, а для мовлення смуги до 8 kHz достатньо для розбірливості.
Інтеграція в WebRTC для шумоподавлення
WebRTC SDK (LiveKit, Agora, Daily) надають AudioProcessingModule або hook до енкодування. У нативному WebRTC для iOS — кастомний RTCAudioProcessingModule:
// Реєструємо кастомний процесинг let config = RTCConfiguration() // Створюємо RTCPeerConnectionFactory з кастомним AudioDeviceModule // або використовуємо AudioProcessingConfig для WebRTC built-in заміни Важливий нюанс: WebRTC вже містить AECM та NS (Noise Suppression). При включенні власного AI-шумоподавлення потрібно вимкнути вбудований NS через AudioProcessingConfig, інакше подвійна обробка створює артефакти — «металевий» звук, зрізані приголосні.
Що входить в роботу (deliverables)
- Аудит поточного аудіопаплайну додатку
- Вибір моделі (RNNoise/DTLN/кастомна) під вимоги щодо латентності та якості
- Компіляція нативної бібліотеки під цільові архітектури (arm64, x86_64 для симулятора)
- Інтеграція в існуючий аудіостек (AVAudioEngine, AudioRecord, WebRTC)
- Налаштування голосової активності VAD та усунення подвійної обробки (вимкнення вбудованого NS)
- Тестування на реальних шумах (метро, вулиця, офіс)
- Надання документації та підтримка при публікації в сторах
Типові помилки при впровадженні
- Забувають вимкнути вбудований noise suppression у WebRTC — отримують «металевий» звук.
- Використовують 48 kHz для DTLN — затримка стає неприйнятною.
- Не налаштовують VAD — модель витрачає ресурси на тишу.
- Не перевіряють сумісність з різними версіями Android (AudioRecord має баги на деяких прошивках).
Орієнтири щодо термінів та вартості
Інтеграція RNNoise у наявний WebRTC-стек — 1–2 тижні, вартістю від 5000 грн. Реалізація з DTLN/TFLite, налаштування VAD, підтримка двох платформ — 3–5 тижнів, від 15000 грн. Ми гарантуємо якість обробки та надаємо технічну підтримку. Зв'яжіться з нами для оцінки вашого проєкту — ми підберемо оптимальне рішення та надамо консультацію.
RNNoise: https://github.com/mozilla/rnnoise | DTLN: https://github.com/breizhn/DTLN