Извлечение данных из историй болезни: медицинское NLP
Врачи тратят до 30% рабочего времени на заполнение бумаг, но ключевые клинические данные остаются в нарративном тексте. Мы превращаем эти тексты в структурированные таблицы: диагнозы, лекарства, анализы, процедуры. За 6–8 месяцев строим fully custom NLP-пайплайн под вашу МИС. Модель работает on-premise, безопасность данных соответствует 152-ФЗ. Свяжитесь с нами для бесплатной консультации и оценки вашего проекта.
Как мы извлекаем данные из историй болезни с помощью NLP?
Мы используем комбинацию методов: Clinical NER на базе BERT, assertion detection для определения контекста, temporal reasoning для хронологии и нормализацию терминов к стандартным классификаторам. Каждый этап оптимизирован под русскоязычные медицинские тексты.
Какие проблемы решаем?
Clinical NER: не просто поиск слов, а контекст
Стандартный regex не отличит «стенокардия» в списке перенесённых болезней от текущего диагноза. Мы используем Clinical BERT, fine-tuned на размеченном корпусе 10 000+ предложений от врачей. Точность entity-level F1 — 94% для самых частых сущностей (диагноз, лекарство, доза).
Assertion detection: где правда?
Запись «болей в груди нет» — противоположность «стенокардия». Модель определяет четыре контекста: present, absent, uncertain, history. Ошибка здесь критична — мы добились accuracy 97% на тестовом наборе.
Temporal reasoning: хронология лечения
Врачей волнует хронология: когда выявлен сахарный диабет, когда назначен Метформин, изменялась ли доза. Без временной развёртки аналитика бесполезна. Мы строим timeline событий с помощью CRF-слоя поверх BERT.
Нормализация терминов: от текста к коду
«СД2», «сахарный диабет 2 типа», «Diabetes mellitus type 2» — одно и то же. Маппинг на МКБ-10 (E11) и UMLS CUI (C0011860) даёт единую картину для всей клиники.
Как мы это делаем?
Используем DeepPavlov/rubert-base-cased как базовую модель. Дообучаем на корпусе выписок (5000 документов, размеченных врачами). Inference на on-premise кластере из 4× A100 — latency p99 120 мс на историю болезни.
Почему on-premise обязателен?
Медицинские данные — особая категория (152-ФЗ, ст. 10). Передача в облако зарубежного вендора невозможна без деперсонализации. Мы ставим модель на ваш сервер или в российское облако (Yandex Cloud, SberCloud). Никакой передачи за границу.
Как боремся с галлюцинациями LLM?
Для safety-critical задач используем правило: LLM только для генерации резюме, не для извлечения. NER делаем отдельным BERT-классификатором. Ручной аудит обязателен до достижения F1 > 95%.
Что лучше: BERT или LLM для извлечения?
| Критерий | BERT (токен-классификация) | LLM (промптинг) |
|---|---|---|
| Точность F1 | 94–97% | 70–85% (зависит от модели) |
| Латенси на документ | 120 мс | 2–5 сек |
| Стоимость инференса | Низкая | Высокая (токены) |
| Галлюцинации | Нет | Есть (до 15% на редких терминах) |
| Соответствие 152-ФЗ | Да (on-premise) | Требует дообучения |
BERT превосходит LLM по точности в среднем на 20%, а по скорости — в 30 раз. Поэтому для извлечения данных используем BERT, а LLM — только для генерации резюме под контролем человека.
Что входит в работу
Процесс внедрения состоит из пяти ключевых этапов:
- Разметка корпуса документов врачами (1–2 месяца) — получаете размеченный корпус 5000 документов и baseline NER модель с F1 ~90%.
- Обучение полного пайплайна (3–4 месяца) — NER + assertion + нормализация + деперсонализация. Готовый Docker-образ с REST API.
- Интеграция с МИС через HL7 FHIR или REST (5–6 месяцев) — пилот на 100 историях болезни.
- Развертывание CDSS-модуля и дашбордов (7–8 месяцев) — проверка взаимодействий лекарств, аналитика.
- Обучение персонала и документация — передача исходного кода модели.
| Этап | Что получаете |
|---|---|
| 1–2 месяца | Размеченный корпус 5000 документов, baseline NER модель F1 ~90% |
| 3–4 месяца | Полный пайплайн: NER + assertion + нормализация + деперсонализация. Docker-образ с REST API |
| 5–6 месяцев | Интеграция с МИС (настройка HL7 FHIR или REST), пилот на 100 историях |
| 7–8 месяцев | CDSS модуль (проверка взаимодействий), дашборд аналитики, документация, обучение персонала |
Технические требования
- ОС: Ubuntu 20.04+
- RAM: 64 GB+
- GPU: 4× NVIDIA A100 80GB
- CUDA 11.8
- Docker 20.10+
Типичные ошибки и как их избежать
- Использовать готовые модели для английского: на русских текстах F1 падает на 30–40%. Нужен дообучать.
- Игнорировать деперсонализацию: без неё нельзя использовать данные для обучения и аналитики.
- Полагаться только на LLM: галлюцинируют на редких терминах — обязателен human-in-the-loop.
Оценка качества
Метрики: F1 по каждому типу сущностей, accuracy assertion detection, drug-dosage linkage accuracy. Для safety-critical применений — human validation > 95% F1.
Наши компетенции: 5 лет опыта в медицинском NLP, 20+ внедрений в частные и государственные клиники. Сертифицированные специалисты (NVIDIA DLI, Bioinformatics).
Сроки и стоимость
Сроки — от 6 до 8 месяцев в зависимости от сложности МИС и количества типов сущностей. Стоимость рассчитывается индивидуально. Типичная экономия от автоматизации — от $30k–80k в год на клинику. Получите бесплатную оценку вашего проекта — закажите консультацию. У вас останется модель, код, документация и обученные врачи.