Проблема: BLEU не видит ошибок стиля и терминологии
Переводчик потратил два часа на пост-редактирование перевода, который система оценила как 0.95 BLEU. Клиент вернул проект из-за несоответствия style guide и неправильного использования терминов. BLEU сравнивает с эталоном, но эталон часто не учитывает контекст, тон и отраслевую лексику. Мы решаем эту задачу с помощью Quality Estimation (QE) — AI-системы, которая оценивает перевод без эталона, как человек-ревизор. Экономия бюджета на ревью может достигать 60%.
Как работает оценка качества без эталонного перевода (QE)
Quality Estimation анализирует исходный текст и перевод, вычисляя score 0–1 на уровне сегмента, слова и документа. Сегментный уровень показывает, какие предложения требуют проверки. Словный уровень (word-level QE) размечает каждое слово как OK или BAD — ревизор сразу видит ошибку. Документный уровень оценивает когерентность, последовательность терминологии и стилистическое единство.
Как QE экономит 40–60% времени ревизора?
Предположим, вы обрабатываете 10 000 сегментов в день. Без QE ревизор просматривает каждый. С QE — только сегменты с score < 0.7 (обычно 20–30%). При пороге 0.9 для автопубликации, 10–15% сегментов уходят без проверки. Мы внедрили такой pipeline в проекте локализации финтех-приложения: ревизор стал обрабатывать 3 000 сегментов вместо 10 000, ошибки стиля снизились на 80%.
Почему CometKiwi лучше BLEU для QE?
CometKiwi (Unbabel/wmt22-cometkiwi-da) — модель на основе трансформеров, обученная на тысячах оценок от людей. Она превосходит BLEU и традиционные метрики по корреляции с человеческой оценкой. Вот сравнение основных метрик:
| Метрика | Требует эталон? | Корреляция с человеком | Поддержка word-level | Время обработки (1K сегментов) |
|---|---|---|---|---|
| BLEU | Да | 0.3–0.4 | Нет | 1 сек |
| COMET | Да | 0.6–0.7 | Нет | 10 сек |
| CometKiwi (QE) | Нет | 0.6–0.7 | Да (через MQM) | 15 сек |
CometKiwi не требует эталона и даёт word-level ошибки через MQM-таксономию.
Какие типы ошибок классифицирует QE?
Мы используем MQM-таксономию, которая делит ошибки на четыре класса:
- Accuracy — неверный перевод, пропуски, добавления.
- Fluency — грамматика, орфография, пунктуация.
- Terminology — нарушение глоссария, непоследовательное использование терминов.
- Style — несоответствие tone of voice, стилистические расхождения.
При внедрении QE часто допускают типичные ошибки: используют модель без дообучения под пару языков (падает precision), неправильно выбирают порог score (пропускают ошибки или перегружают ревизора), игнорируют word-level QE (теряют контекст отдельных слов) и не интегрируют MQM (сложно улучшить процесс).
Как мы внедряем QE в ваш pipeline
- Аудит текущего процесса: замеряем volume, latency, текущие метрики.
- Выбор модели: CometKiwi, OpenKiwi или дообучение под вашу пару языков.
- Интеграция: REST API или gRPC — заворачиваем в микросервис.
- Настройка MQM-таксономии: подключаем классификатор типов ошибок через LLM (GPT-4o или LLaMA 3).
- Тестирование: замеряем precision/recall на вашем датасете.
- Деплой: Kubernetes + GPU (T4 или A10).
from transformers import AutoModelForSequenceClassification, AutoTokenizer class QualityEstimator: def __init__(self, model_name: str = "Unbabel/wmt22-cometkiwi-da"): self.model = load_comet_model(model_name) def estimate_segment(self, source: str, hypothesis: str) -> QEScore: score = self.model.predict( [{"src": source, "mt": hypothesis}], batch_size=8 ).scores[0] return QEScore( score=score, # 0-1, где 1 = отличное качество requires_review=score < 0.7, error_probability=1 - score ) def estimate_batch( self, segments: list[tuple[str, str]] ) -> list[QEScore]: data = [{"src": src, "mt": mt} for src, mt in segments] scores = self.model.predict(data, batch_size=32).scores return [QEScore(score=s, requires_review=s < 0.7) for s in scores] Сравнение моделей QE
| Модель | Пара языков | Размер | Скорость (1K сегментов) | Word-level |
|---|---|---|---|---|
| CometKiwi | Любая | 1.2B | 15 сек | Да (через MQM) |
| OpenKiwi | Ограниченная | 100M | 5 сек | Да |
| Fine-tuned | Ваша пара | По задаче | Зависит от размера | Опционально |
Что входит в работу
- Аудит текущего pipeline перевода с замером метрик.
- Выбор и настройка QE-модели (CometKiwi, OpenKiwi, дообучение).
- Интеграция через REST API или gRPC с документацией.
- Обучение градации ошибок под вашу MQM-таксономию.
- Развёртывание на инфраструктуре (Kubernetes, GPU).
- Обучение команды и сопровождение 1 месяц.
Сроки и стоимость
Сроки — от 2 до 6 недель в зависимости от сложности (объём, количество языков, необходимость дообучения). Стоимость рассчитывается индивидуально. Получите консультацию — пришлите описание текущего pipeline, и мы оценим проект за 2 дня.
Почему стоит работать с нами
- Более 5 лет опыта в NLP и машинном переводе.
- Реализовали 15+ проектов оценки качества для fintech, e-commerce и локализации ПО.
- Сертифицированные инженеры по PyTorch и MLOps.
- Гарантируем экономию времени ревизора от 40% или вернём деньги.
Подробнее о Quality Estimation на Wikipedia.
Свяжитесь с нами, чтобы получить консультацию по внедрению QE в ваш процесс перевода. Закажите оценку вашего проекта за 2 дня — отправьте описание текущего pipeline.