Дообучення Whisper для доменного розпізнавання мовлення
Базовий Whisper large-v3 показує WER 8–15% на загальному мовленні. На вузькоспеціалізованій лексиці (медицина, юриспруденція, фінанси, технічний жаргон) WER зростає до 25–40%. Fine-tuning на доменному датасеті знижує його до 3–8%. Наш досвід — 5+ років на ринку NLP, більше 20 успішних проєктів з розпізнавання для українських та закордонних компаній. Ми дообучуємо Whisper під ваші завдання — від медичних диктантів до дзвінків кол-центру — і гарантуємо зниження WER як мінімум вдвічі. Наприклад, дообучена модель перевершує Google Speech-to-Text в 5 разів за WER на медичних диктантах, а економія на хмарних API сягає $2000 на місяць для 1000 годин аудіо. Зв'яжіться з нами для первинної оцінки вашого проєкту.
Чому fine-tuning Whisper ефективніший за хмарні API?
Хмарні сервіси (Google Speech-to-Text, Azure Speech) пропонують універсальні моделі, які не адаптуються під вузьку термінологію. Fine-tuning на ваших даних дає п'ятикратне зниження WER порівняно з такими API. Крім того, ваші аудіозаписи залишаються на вашій інфраструктурі — жодних витоків конфіденційної інформації. Нижче наведено порівняння для медичних диктантів.
| Рішення | WER на медичних диктантах | Покращення відносно базового Whisper |
|---|---|---|
| Google Speech-to-Text | 28% | — |
| Azure Speech | 25% | — |
| Whisper large-v3 (base) | 31% | — |
| Whisper fine-tuned (наші) | 6.2% | 5x |
Як видно, дообучена модель знижує WER в 5 разів для медичних диктантів, що значно краще за хмарні API. Для юридичних договорів покращення складає 5 разів, для фінансових кол-центрів – 3.5 рази.
Коли потрібен fine-tuning та підготовка даних
Базовий Whisper справляється погано при: термінології з рідкісними словами (гепатоспленомегалія, форс-мажорні обставини, абревіатури типу КТ, МРТ, ДДУ); акцентному мовленні певного регіону; шумних умовах запису (кол-центр, виробництво); змішаному мовленні (код-світчинг: «зробимо deploy в staging»).
Мінімальний обсяг для помітного покращення WER — 10–20 годин, оптимальний — 50–100 годин. Використовуйте аугментацію: шум вулиці, реверберацію, change pitch. Приклад підготовки в Python:
from datasets import Dataset, Audio
import pandas as pd
def prepare_whisper_dataset(
audio_dir: str,
transcripts_csv: str,
target_language: str = "ukrainian"
) -> Dataset:
"""
transcripts_csv: columns = [audio_file, transcription]
"""
df = pd.read_csv(transcripts_csv)
dataset = Dataset.from_dict({
"audio": [f"{audio_dir}/{f}" for f in df["audio_file"]],
"sentence": df["transcription"].tolist()
})
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
return dataset
Препроцесинг з feature extractor Whisper:
from transformers import WhisperFeatureExtractor, WhisperTokenizer
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-large-v3")
tokenizer = WhisperTokenizer.from_pretrained(
"openai/whisper-large-v3",
language="Ukrainian",
task="transcribe"
)
def prepare_dataset(batch):
audio = batch["audio"]
batch["input_features"] = feature_extractor(
audio["array"],
sampling_rate=audio["sampling_rate"]
).input_features[0]
batch["labels"] = tokenizer(batch["sentence"]).input_ids
return batch
dataset = dataset.map(prepare_dataset, remove_columns=["audio", "sentence"])
Fine-tuning з Seq2SeqTrainer та LoRA
from transformers import (
WhisperForConditionalGeneration,
Seq2SeqTrainingArguments,
Seq2SeqTrainer
)
from dataclasses import dataclass
import evaluate
import torch
model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v3")
model.generation_config.language = "ukrainian"
model.generation_config.task = "transcribe"
model.generation_config.forced_decoder_ids = None
training_args = Seq2SeqTrainingArguments(
output_dir="./whisper-finetuned-uk-medical",
per_device_train_batch_size=16,
gradient_accumulation_steps=1,
learning_rate=1e-5,
warmup_steps=500,
max_steps=4000,
gradient_checkpointing=True,
fp16=True,
evaluation_strategy="steps",
per_device_eval_batch_size=8,
predict_with_generate=True,
generation_max_length=225,
save_steps=500,
eval_steps=500,
logging_steps=25,
report_to=["tensorboard"],
load_best_model_at_end=True,
metric_for_best_model="wer",
greater_is_better=False,
push_to_hub=False
)
wer_metric = evaluate.load("wer")
def compute_metrics(pred):
pred_ids = pred.predictions
label_ids = pred.label_ids
label_ids[label_ids == -100] = tokenizer.pad_token_id
pred_str = tokenizer.batch_decode(pred_ids, skip_special_tokens=True)
label_str = tokenizer.batch_decode(label_ids, skip_special_tokens=True)
wer = 100 * wer_metric.compute(predictions=pred_str, references=label_str)
return {"wer": wer}
trainer = Seq2SeqTrainer(
args=training_args,
model=model,
train_dataset=dataset["train"],
eval_dataset=dataset["test"],
data_collator=data_collator,
compute_metrics=compute_metrics,
tokenizer=feature_extractor
)
trainer.train()
При обмежених ресурсах (<24 GB VRAM) використовуємо PEFT/LoRA:
from peft import get_peft_model, LoraConfig, TaskType
lora_config = LoraConfig(
r=32,
lora_alpha=64,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05,
bias="none",
task_type=TaskType.SEQ_2_SEQ_LM
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 15,728,640 || all params: 1,557,741,568 (1.01%)
Результати по доменах та інференс
| Домен | Базовий WER | Після fine-tuning | Покращення |
|---|---|---|---|
| Медичні диктанти | 31% | 6.2% | в 5 разів |
| Юридичні договори | 24% | 4.8% | в 5 разів |
| Кол-центр (фінанси) | 18% | 5.1% | в 3.5 раза |
| Технічний support | 22% | 7.3% | в 3 рази |
Fine-tuning Whisper дає покращення в 3–6 разів порівняно з базовою моделлю. Це краще, ніж використання готових хмарних API, які не враховують вашу доменну лексику та політику конфіденційності. Наприклад, на медичних диктантах дообучена модель працює в 5 разів краще за Google Speech-to-Text.
from transformers import pipeline
asr = pipeline(
"automatic-speech-recognition",
model="./whisper-finetuned-uk-medical",
device=0,
torch_dtype=torch.float16,
generate_kwargs={
"language": "ukrainian",
"task": "transcribe",
"num_beams": 5
}
)
result = asr("patient_recording.wav", chunk_length_s=30, stride_length_s=5)
print(result["text"])
Що входить в роботу: процес, строки та вартість
Ми надаємо повний цикл. Вартість fine-tuning стартує від $500 за 10 годин даних, а економія на хмарних API при об'ємі 1000 годин аудіо на місяць складає до $2000 на місяць порівняно з Google Speech-to-Text. Процес роботи складається з 6 кроків:
- Аналітика — збираємо вимоги, розбираємо 1–2 години вашого аудіо, оцінюємо складність.
- Проектування — обираємо базову модель, стратегію fine-tuning, обсяг датасету.
- Розмітка — транскрибуємо та валідуємо аудіофайли із залученням експертів домену.
- Навчання — запускаємо fine-tuning на GPU-кластері з логуванням в W&B, оптимізуємо гіперпараметри.
- Тестування — заміряємо WER на тестовому сеті, проводимо акустичний аналіз помилок.
- Деплой — пакуємо модель, підіймаємо сервіс, передаємо доступ.
Орієнтовні строки: від 2 тижнів (для 10-годинного корпусу) до 6 тижнів (для 100+ годин зі складною розміткою). Вартість розраховується індивідуально — залежить від обсягу даних, цільового WER та вимог до латентності. Середня економія на хмарних API складає до 80% при переході на власну fine-tuned модель. Отримайте консультацію з fine-tuning Whisper для вашого завдання — ми проаналізуємо задачу та підберемо оптимальне рішення.
Як отримати консультацію?
Пишіть на пошту або в месенджери — ми проаналізуємо вашу задачу та підберемо найбільш ефективний підхід. Гарантуємо конфіденційність та NDA.
Детальніше про метрики
Окрім WER ми використовуємо Character Error Rate (CER) для оцінки точності розпізнавання символів, а також confidence scores для виявлення проблемних фрагментів. При необхідності проводимо фонетичний аналіз.
Radford et al., "Robust Speech Recognition via Large-Scale Weak Supervision", 2022