Дообучення Whisper для доменного розпізнавання мовлення

Базовий Whisper large-v3 показує WER 8–15% на загальному мовленні. На вузькоспеціалізованій лексиці (медицина, юриспруденція, фінанси, технічний жаргон) WER зростає до 25–40%. Fine-tuning на доменному датасеті знижує його до 3–8%. Наш досвід — 5+ років на ринку NLP, більше 20 успішних проєктів з розпізнавання для українських та закордонних компаній. Ми дообучуємо Whisper під ваші завдання — від медичних диктантів до дзвінків кол-центру — і гарантуємо зниження WER як мінімум вдвічі. Наприклад, дообучена модель перевершує Google Speech-to-Text в 5 разів за WER на медичних диктантах, а економія на хмарних API сягає $2000 на місяць для 1000 годин аудіо. Зв'яжіться з нами для первинної оцінки вашого проєкту.

Чому fine-tuning Whisper ефективніший за хмарні API?

Хмарні сервіси (Google Speech-to-Text, Azure Speech) пропонують універсальні моделі, які не адаптуються під вузьку термінологію. Fine-tuning на ваших даних дає п'ятикратне зниження WER порівняно з такими API. Крім того, ваші аудіозаписи залишаються на вашій інфраструктурі — жодних витоків конфіденційної інформації. Нижче наведено порівняння для медичних диктантів.

Як видно, дообучена модель знижує WER в 5 разів для медичних диктантів, що значно краще за хмарні API. Для юридичних договорів покращення складає 5 разів, для фінансових кол-центрів – 3.5 рази.

Коли потрібен fine-tuning та підготовка даних

Базовий Whisper справляється погано при: термінології з рідкісними словами (гепатоспленомегалія, форс-мажорні обставини, абревіатури типу КТ, МРТ, ДДУ); акцентному мовленні певного регіону; шумних умовах запису (кол-центр, виробництво); змішаному мовленні (код-світчинг: «зробимо deploy в staging»).

Мінімальний обсяг для помітного покращення WER — 10–20 годин, оптимальний — 50–100 годин. Використовуйте аугментацію: шум вулиці, реверберацію, change pitch. Приклад підготовки в Python:

from datasets import Dataset, Audio import pandas as pd def prepare_whisper_dataset( audio_dir: str, transcripts_csv: str, target_language: str = "ukrainian" ) -> Dataset: """ transcripts_csv: columns = [audio_file, transcription] """ df = pd.read_csv(transcripts_csv) dataset = Dataset.from_dict({ "audio": [f"{audio_dir}/{f}" for f in df["audio_file"]], "sentence": df["transcription"].tolist() }) dataset = dataset.cast_column("audio", Audio(sampling_rate=16000)) return dataset 

Препроцесинг з feature extractor Whisper:

from transformers import WhisperFeatureExtractor, WhisperTokenizer feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-large-v3") tokenizer = WhisperTokenizer.from_pretrained( "openai/whisper-large-v3", language="Ukrainian", task="transcribe" ) def prepare_dataset(batch): audio = batch["audio"] batch["input_features"] = feature_extractor( audio["array"], sampling_rate=audio["sampling_rate"] ).input_features[0] batch["labels"] = tokenizer(batch["sentence"]).input_ids return batch dataset = dataset.map(prepare_dataset, remove_columns=["audio", "sentence"]) 

Fine-tuning з Seq2SeqTrainer та LoRA

from transformers import ( WhisperForConditionalGeneration, Seq2SeqTrainingArguments, Seq2SeqTrainer ) from dataclasses import dataclass import evaluate import torch model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v3") model.generation_config.language = "ukrainian" model.generation_config.task = "transcribe" model.generation_config.forced_decoder_ids = None training_args = Seq2SeqTrainingArguments( output_dir="./whisper-finetuned-uk-medical", per_device_train_batch_size=16, gradient_accumulation_steps=1, learning_rate=1e-5, warmup_steps=500, max_steps=4000, gradient_checkpointing=True, fp16=True, evaluation_strategy="steps", per_device_eval_batch_size=8, predict_with_generate=True, generation_max_length=225, save_steps=500, eval_steps=500, logging_steps=25, report_to=["tensorboard"], load_best_model_at_end=True, metric_for_best_model="wer", greater_is_better=False, push_to_hub=False ) wer_metric = evaluate.load("wer") def compute_metrics(pred): pred_ids = pred.predictions label_ids = pred.label_ids label_ids[label_ids == -100] = tokenizer.pad_token_id pred_str = tokenizer.batch_decode(pred_ids, skip_special_tokens=True) label_str = tokenizer.batch_decode(label_ids, skip_special_tokens=True) wer = 100 * wer_metric.compute(predictions=pred_str, references=label_str) return {"wer": wer} trainer = Seq2SeqTrainer( args=training_args, model=model, train_dataset=dataset["train"], eval_dataset=dataset["test"], data_collator=data_collator, compute_metrics=compute_metrics, tokenizer=feature_extractor ) trainer.train() 

При обмежених ресурсах (<24 GB VRAM) використовуємо PEFT/LoRA:

from peft import get_peft_model, LoraConfig, TaskType lora_config = LoraConfig( r=32, lora_alpha=64, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", task_type=TaskType.SEQ_2_SEQ_LM ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # trainable params: 15,728,640 || all params: 1,557,741,568 (1.01%) 

Результати по доменах та інференс

Fine-tuning Whisper дає покращення в 3–6 разів порівняно з базовою моделлю. Це краще, ніж використання готових хмарних API, які не враховують вашу доменну лексику та політику конфіденційності. Наприклад, на медичних диктантах дообучена модель працює в 5 разів краще за Google Speech-to-Text.

from transformers import pipeline asr = pipeline( "automatic-speech-recognition", model="./whisper-finetuned-uk-medical", device=0, torch_dtype=torch.float16, generate_kwargs={ "language": "ukrainian", "task": "transcribe", "num_beams": 5 } ) result = asr("patient_recording.wav", chunk_length_s=30, stride_length_s=5) print(result["text"]) 

Що входить в роботу: процес, строки та вартість

Ми надаємо повний цикл. Вартість fine-tuning стартує від $500 за 10 годин даних, а економія на хмарних API при об'ємі 1000 годин аудіо на місяць складає до $2000 на місяць порівняно з Google Speech-to-Text. Процес роботи складається з 6 кроків:

1. Аналітика — збираємо вимоги, розбираємо 1–2 години вашого аудіо, оцінюємо складність.
2. Проектування — обираємо базову модель, стратегію fine-tuning, обсяг датасету.
3. Розмітка — транскрибуємо та валідуємо аудіофайли із залученням експертів домену.
4. Навчання — запускаємо fine-tuning на GPU-кластері з логуванням в W&B, оптимізуємо гіперпараметри.
5. Тестування — заміряємо WER на тестовому сеті, проводимо акустичний аналіз помилок.
6. Деплой — пакуємо модель, підіймаємо сервіс, передаємо доступ.

Орієнтовні строки: від 2 тижнів (для 10-годинного корпусу) до 6 тижнів (для 100+ годин зі складною розміткою). Вартість розраховується індивідуально — залежить від обсягу даних, цільового WER та вимог до латентності. Середня економія на хмарних API складає до 80% при переході на власну fine-tuned модель. Отримайте консультацію з fine-tuning Whisper для вашого завдання — ми проаналізуємо задачу та підберемо оптимальне рішення.

Як отримати консультацію?

Пишіть на пошту або в месенджери — ми проаналізуємо вашу задачу та підберемо найбільш ефективний підхід. Гарантуємо конфіденційність та NDA.

Radford et al., "Robust Speech Recognition via Large-Scale Weak Supervision", 2022