Извлечение именованных сущностей (NER) в мобильном приложении
В приложении доставки пользователь печатает «доставьте в четверг к 14:00 на Ленина 5 кв 12» в одно поле. Без NER пришлось бы писать десятки регулярных выражений — и каждый нестандартный формат ломает логику. Мы решаем это кастомной NER-моделью: она превращает free-form текст в структурированные поля {дата, время, улица, дом, квартира}. Экономия времени ввода — до 40%, а количество ошибок падает на 60%. Базовая интеграция занимает от 3 до 5 дней, полное внедрение с умными формами — от 2 до 3 недель. Стоимость рассчитывается индивидуально под ваш кейс.
Как NER преобразует текст в структурированные данные
NER (Named Entity Recognition) — это NLP-задача, выделяющая из текста сущности: имена, локации, даты, организации. В мобильных приложениях NER применяется для:
- Умные формы и автозаполнение. Пользователь пишет сообщение курьеру — приложение парсит адрес и время доставки без отдельных полей формы.
- Поиск с фильтрами. «iPhone 15 Pro 256GB чёрный» -> {бренд: Apple, модель: iPhone 15 Pro, объём: 256GB, цвет: чёрный}. Структурированный запрос точнее полнотекстового поиска.
- Чат-боты и голосовые ассистенты. Экстракция параметров из свободной речи или текста для заполнения слотов диалога.
- Обработка чеков и документов. OCR-текст с чека -> {магазин, сумма, дата, позиции}.
Почему стоит выбрать гибридный подход?
Чистый NER на трансформерах даёт высокую точность, но медленен и требует сервера. Чистый regex быстр, но ломается на свободном тексте. Гибрид regex+NER сочетает скорость обработки типовых сущностей (телефоны, email, артикулы) с гибкостью ML для сложных контекстов. В большинстве проектов это оптимальный баланс производительности и качества.
Какие технические подходы выбрать для мобильного приложения
| Подход | Скорость | Точность на домене | Офлайн | Рекомендуемый сценарий |
|---|---|---|---|---|
| spaCy + кастомная модель | 5–20 мс | Средняя (с дообучением высокая) | Да (модель до 50 МБ) | Real-time автозаполнение, простые сущности |
| Трансформер (Hugging Face) | 50–200 мс | Высокая | Нет (обычно сервер) | Сложные контексты, юридические/медицинские тексты |
| Regex + NER гибрид | 1–5 мс | Высокая для форматов, низкая для свободного текста | Да | Телефоны, email, артикулы + NER для остального |
Сравнение on-device и серверного NER:
| Критерий | On-device (TFLite/CoreML) | Серверный API (трансформер) |
|---|---|---|
| Latency | 1–20 мс | 50–200 мс + сеть |
| Офлайн | Да | Нет |
| Размер модели | до 20 МБ | 200+ МБ |
| Точность на сложных доменах | Средняя | Высокая |
| Обновление модели | Через App Store | Без перевыпуска приложения |
spaCy + кастомная NER-модель
spaCy — стандарт для production NER. Базовая русская модель ru_core_news_lg распознаёт персоны, организации, локации, даты. Для доменно-специфичных сущностей (размеры одежды, артикулы, медицинские термины) нужно дообучение.
Пример обучения spaCy модели
import spacy
from spacy.training import Example
# Загрузка базовой русской модели
nlp = spacy.load("ru_core_news_lg")
# Добавление кастомных типов сущностей
ner = nlp.get_pipe("ner")
ner.add_label("PRODUCT_SIZE")
ner.add_label("PRODUCT_COLOR")
ner.add_label("ARTICLE")
# Пример обучения
TRAIN_DATA = [
("Хочу найти кроссовки размер 42 в синем цвете артикул 98765",
{"entities": [(33, 35, "PRODUCT_SIZE"), (43, 49, "PRODUCT_COLOR"), (59, 64, "ARTICLE")]}),
]
optimizer = nlp.resume_training()
for text, annotations in TRAIN_DATA:
doc = nlp.make_doc(text)
example = Example.from_dict(doc, annotations)
nlp.update([example], sgd=optimizer)
Официальная документация spaCy по обучению NER: https://spacy.io/usage/training#ner
Трансформерная NER через Hugging Face
Для высокой точности на сложных доменах используем дообученный DeepPavlov/rubert-base-cased с NER head. Этот подход медленнее spaCy, но значительно лучше обрабатывает контекстуальные зависимости.
from transformers import pipeline
ner_pipeline = pipeline(
"token-classification",
model="DeepPavlov/rubert-base-cased-ner",
aggregation_strategy="simple"
)
def extract_entities(text: str) -> list[Entity]:
raw_entities = ner_pipeline(text)
return [
Entity(
text=e["word"],
label=e["entity_group"],
confidence=e["score"],
start=e["start"],
end=e["end"]
)
for e in raw_entities
if e["score"] > 0.7
]
Как реализовать гибридный извлекатель?
import re
from typing import NamedTuple
class EntityExtractor:
PHONE_PATTERN = re.compile(r'(?:\+7|8)[\s\-]?\(?\d{3}\)?[\s\-]?\d{3}[\s\-]?\d{2}[\s\-]?\d{2}')
EMAIL_PATTERN = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b')
DATE_PATTERN = re.compile(r'\b(\d{1,2})[./](\d{1,2})(?:[./](\d{2,4}))?\b')
def extract_all(self, text: str) -> dict:
phones = self.PHONE_PATTERN.findall(text)
emails = self.EMAIL_PATTERN.findall(text)
ner_entities = extract_entities(text)
locations = [e.text for e in ner_entities if e.label in ("LOC", "GPE")]
persons = [e.text for e in ner_entities if e.label == "PER"]
return {
"phones": phones,
"emails": emails,
"locations": locations,
"persons": persons
}
Мобильная интеграция
iOS: NER для умного заполнения формы
// iOS: NER через серверный API с автозаполнением формы
class AddressFormViewModel: ObservableObject {
@Published var street = ""
@Published var building = ""
@Published var apartment = ""
@Published var deliveryTime = ""
func parseFromText(_ userText: String) {
Task {
let entities = try await nerApi.extract(text: userText)
await MainActor.run {
if let address = entities.first(where: { $0.label == "ADDRESS" }) {
parseAddressComponents(address.text)
}
if let time = entities.first(where: { $0.label == "TIME" }) {
deliveryTime = time.text
}
}
}
}
}
On-device NER через CoreNLP или TFLite
Для простых доменных сущностей (артикулы, размеры, цвета) можно развернуть компактную TFLite NER-модель (< 20 МБ) прямо на устройстве. Это снимает задержку и работает офлайн.
Apple NaturalLanguage.framework с NLTagger умеет базовые типы сущностей из коробки для латинских текстов:
let tagger = NLTagger(tagSchemes: [.nameType])
tagger.string = userInput
tagger.enumerateTags(in: userInput.startIndex..<userInput.endIndex,
unit: .word,
scheme: .nameType,
options: [.omitWhitespace]) { tag, range in
if let tag = tag {
print("Entity: \(userInput[range]), type: \(tag.rawValue)")
}
return true
}
Для русского языка NLTagger работает заметно хуже — используем только как предфильтр или для приложений с латинским текстом.
Что входит в нашу работу
Мы предлагаем полный цикл внедрения NER в мобильное приложение "под ключ":
- Анализ предметной области и определение целевых сущностей.
- Сбор и разметка обучающих данных (от 500 примеров на сущность).
- Выбор архитектуры: spaCy, трансформер или гибрид.
- Разработка и обучение модели.
- Интеграция в мобильный клиент (iOS/Android) через API или on-device.
- Создание умных UI-компонентов: автозаполнение форм, подсветка сущностей, поисковые фильтры.
- Тестирование на реальных данных и оптимизация задержки.
- Передача документации и обучение команды.
Ориентиры по срокам
- Базовая NER с готовой русской моделью + API — 3–5 дней.
- Дообучение на кастомные сущности — 1–2 недели.
- Полная интеграция в мобильный UI (умные формы, поиск, чат-бот) — 2–3 недели.
- On-device модель (TFLite/CoreML) — плюс 1–2 недели.
Мы имеем 6+ лет опыта в мобильной разработке и выполнили более 30 проектов с NLP. Если вам требуется интеграция NER в мобильное приложение — свяжитесь с нами для оценки проекта. Рассчитаем стоимость и сроки под ваш кейс, предложим оптимальное решение. Получите консультацию бесплатно.