Уявіть: запис наради — 8 кГц, моно, суцільний гул, голоси ледь розбірливі. Або стара архівна касета з тріском та шипінням. Це стандартна ситуація для кол-центрів та архівів. Ми розробляємо ШІ-пайплайни для покращення якості аудіо, які за кілька днів перетворюють такий матеріал на чисте мовлення.
Кейс з нашої практики: відновлення запису 8 кГц
У нашій практиці був випадок: наш клієнт приніс запис з характеристиками 8 кГц, моно — ми розгорнули пайплайн на базі AudioSR та Resemble Enhance за три дні. Результат: PESQ з 1.8 до 3.9, STOI з 0.65 до 0.92. Голоси стали чіткими, високі частоти відновлено. Клієнт скоротив витрати на субтитрування на 50% (економія близько $2000 на місяць). Орієнтовна вартість впровадження ШІ-пайплайну — від $5,000, залежно від складності. Середня економія на зберіганні після обробки — $300 на місяць.
Стандартні методи не справляються через обмеження спектру
Традиційні еквалайзери та шумодави (FFmpeg anlmdn) працюють з існуючим спектром. Вони не можуть відновити частоти, втрачені при стисненні. Телефонний кодек G.711 ріже все вище 3.4 кГц — жоден фільтр не поверне ці дані. ШІ-моделі, на відміну від них, навчаються добудовувати спектр на основі датасетів широкосмугового мовлення. AudioSR використовує дифузійний процес, який генерує високочастотні компоненти з нуля. Для задач розширення смуги пропускання (bandwidth extension) це єдиний робочий підхід. ШІ-методи кращі за традиційні в 2 рази за приростом PESQ — AudioSR забезпечує приріст в 1.5-2 рази порівняно з традиційними методами, а STOI — в 1.3 рази.
| Параметр | Традиційні методи | ШІ-методи |
|---|---|---|
| Відновлення частот | Ні | Так (до 24 кГц) |
| Видалення нестаціонарних шумів | Погано | Добре |
| Приріст PESQ (в рази) | 0.2-0.5 | 1.5-2.0 |
| Швидкість обробки | Висока | Середня (з GPU) |
Як ми покращуємо аудіо: від аналізу до деплою
Наш типовий пайплайн:
- Аналіз вихідного аудіо: спектрограма, рівень шуму, коефіцієнт стиснення, бітрейт.
- Вибір моделі: AudioSR для апскейлінгу, Resemble Enhance для денойзингу та видалення артефактів mp3.
- Донавчання (опціонально): якщо домен специфічний (наприклад, записи судових засідань), робимо few-shot fine-tuning на 10-20 хвилинах розмітки.
- Інтеграція: упаковка в ONNX або Triton-сервіс, додавання в потік обробки.
- Тестування: метрики PESQ, STOI, SI-SNR, А/В-тест з трьома слухачами.
Технічні деталі пайплайну: Для апскейлінгу використовуємо AudioSR — дифузійна модель з 24 шарами трансформерів, навчена на парах низькочастотний-високочастотний спектр. Resemble Enhance включає модуль денойзингу (на основі U-Net) та модуль enhancement (на основі трансформера з перцептивним зважуванням). Всі моделі обгорнуті в ONNX Runtime для інференсу з latency p99 < 50 мс на GPU T4. Метрика PESQ стандартизована ITU-T в рекомендації P.862. Також застосовуємо трансформери з механізмом багатоголової уваги для покращення розбірливості мовлення.
Розбір типового кейсу: відновлення старого архівного запису
Задача: оцифрована касета з лекцією — 16 кГц, 8 біт, моно, сильне шипіння та тріск. Клієнт хотів отримати чисте мовлення для субтитрів.
Ми застосували:
- AudioSR для апскейлінгу до 48 кГц (відновив частоти до 24 кГц).
- Resemble Enhance з режимом denoise+enhance (прибрав шипіння, підвищив чіткість).
- FFmpeg для фінальної нормалізації гучності (LUFS -16).
Результати:
| Метрика | До | Після |
|---|---|---|
| PESQ | 2.1 | 3.7 |
| STOI | 0.72 | 0.91 |
| SI-SNR | 8 dB | 19 dB |
Весь процес зайняв 5 днів. Клієнт отримав код пайплайну та документацію для самостійного запуску. Почути різницю можна в демо — зв'яжіться, ми надішлемо семпл.
Що входить у роботу?
- Аналіз вихідних аудіо та вибір оптимальної моделі
- Розгортання пайплайну (контейнеризація, API)
- Тестування на контрольній вибірці з метриками
- Документація та навчання вашої команди
- Гарантійна підтримка протягом 30 днів
Метрики якості, які ми використовуємо
Основні об'єктивні метрики:
- PESQ (ITU-T P.862) — якість мовлення, норма >3.5. Ця метрика стандартизована ITU-T.
- STOI — розбірливість, норма >0.85.
- MOS-LQO — суб'єктивна оцінка, норма >4.0.
- SI-SNR — відношення сигнал-шум, норма >15 dB.
Ми гарантуємо приріст PESQ не менше 1.0 бала на ваших записах. Виміри робимо до та після на контрольній вибірці. Економія на зберіганні — до 30% обсягу після очищення.
Які результати ми гарантуємо?
Для типових проєктів ми забезпечуємо:
- Підвищення PESQ з 1.8–2.0 до 3.5–4.0.
- Покращення STOI з 0.65–0.75 до 0.85–0.95.
- Зниження помилок ASR (розпізнавання мовлення) на 30–50% після очищення.
- Стиснення аудіо без втрати якості — економія місця до 40%.
Приклади використання
- Підвищення якості записів кол-центрів перед STT (розпізнавання мовлення) – помилка розпізнавання падає на 30-50%.
- Підготовка аудіодатасетів для TTS fine-tuning — чистий матеріал без артефактів.
- Ремастеринг архівних матеріалів (лекції, інтерв'ю) для публікації на стрімінгових платформах.
- Підготовка чистих аудіо для навчання ASR-моделей.
Нейронні мережі для аудіо (AudioSR, Resemble Enhance) дозволяють вирішувати задачі, недоступні класичним DSP. Маємо 5+ років досвіду в audio AI, реалізували понад 50 проєктів. Працюємо з PyTorch, Hugging Face, ONNX Runtime. Отримайте демо-версію пайплайну для вашого запису — зв'яжіться з нами. Додайте зразки аудіо — ми оцінимо проєкт за 2 дні та підготуємо пропозицію під ключ.