Реалізація розпізнавання мовлення з кількох мікрофонів Багатомікрофонне розпізнавання використовується у переговорних кімнатах, телеконференц-системах та промислових сценаріях. Мета - отримати чистий сигнал кожного, хто говорить, використовуючи просторову обробку масиву мікрофонів. ### Компоненти системи Повний стек включає: 1. Beamforming — спрямоване посилення сигналу з потрібного напрямку 2. Acoustic Echo Cancellation (AEC) — придушення луни від динаміків 3. Noise Reduction — шумозаглушення 4. Speaker Diarization — поділ **. ### Beamforming з PyAudio + SciPy
import numpy as np
from scipy.signal import correlate
class DelayAndSumBeamformer:
def __init__(self, mic_positions: np.ndarray, sample_rate: int = 16000):
self.mic_positions = mic_positions # (n_mics, 3) координаты в метрах
self.sample_rate = sample_rate
self.speed_of_sound = 343.0 # м/с
def compute_delays(self, direction: np.ndarray) -> np.ndarray:
"""Вычисляем задержки для каждого микрофона"""
delays = np.dot(self.mic_positions, direction) / self.speed_of_sound
delays -= delays.min()
return (delays * self.sample_rate).astype(int)
def beamform(self, signals: np.ndarray, direction: np.ndarray) -> np.ndarray:
"""signals: (n_mics, n_samples)"""
delays = self.compute_delays(direction)
output = np.zeros(signals.shape[1])
for i, delay in enumerate(delays):
output += np.roll(signals[i], -delay)
return output / len(delays)
```### Комерційні SDK для багатомікрофонної обробки Для production рекомендується використовувати спеціалізовані бібліотеки: - **Microsoft Audio Stack (MAS)** - вбудований в Azure Cognitive Services - **WebRTC Audio Processing Module** - open-source, C++ з Python-біндингами - **ReSpeaker Src **STFT-based MVDR beamformer** (librosa + scipy) — research-quality ### Мікрофонні масиви | Конфігурація | Спрямованість | Сценарій |-------------|----------------|----------|
| Linear 4-mic | 1D | Переговорний стіл | Circular 6-mic (ReSpeaker) | 360 ° | Круглий стіл | Planar 8-mic | 2D | Стельова установка ### Інтеграція з діаризацією Після beamforming застосовуємо pyannote.audio для поділу за такими:```python
from pyannote.audio import Pipeline
pipeline = Pipeline.from_pretrained(
"pyannote/speaker-diarization-3.1",
use_auth_token="YOUR_HF_TOKEN"
)
diarization = pipeline("beamformed_output.wav", num_speakers=4)
for turn, _, speaker in diarization.itertracks(yield_label=True):
print(f"{speaker}: {turn.start:.1f}s - {turn.end:.1f}s")
```### Інтеграція з апаратними рішеннями Тестовані пристрої: - **ReSpeaker 4/6-mic USB Array** - plug-and-play, Ubuntu/Windows - **miniDSP UMA-8** - професійний масив, XMOS DSP - **JABRA PanaCast 20** - конференц-супровід з SDK ### - З AEC і noise reduction: 2 тижні - Повна система з діаризацією та dereverberation: 3-4 тижні