NER в мобильном приложении: извлечение сущностей из текста

import spacy from spacy.training import Example # Загрузка базовой русской модели nlp = spacy.load("ru_core_news_lg") # Добавление кастомных типов сущностей ner = nlp.get_pipe("ner") ner.add_label("PRODUCT_SIZE") ner.add_label("PRODUCT_COLOR") ner.add_label("ARTICLE") # Пример обучения TRAIN_DATA = [ ("Хочу найти кроссовки размер 42 в синем цвете артикул 98765", {"entities": [(33, 35, "PRODUCT_SIZE"), (43, 49, "PRODUCT_COLOR"), (59, 64, "ARTICLE")]}), ] optimizer = nlp.resume_training() for text, annotations in TRAIN_DATA: doc = nlp.make_doc(text) example = Example.from_dict(doc, annotations) nlp.update([example], sgd=optimizer) 

Официальная документация spaCy по обучению NER: https://spacy.io/usage/training#ner

Трансформерная NER через Hugging Face

Для высокой точности на сложных доменах используем дообученный DeepPavlov/rubert-base-cased с NER head. Этот подход медленнее spaCy, но значительно лучше обрабатывает контекстуальные зависимости.

from transformers import pipeline ner_pipeline = pipeline( "token-classification", model="DeepPavlov/rubert-base-cased-ner", aggregation_strategy="simple" ) def extract_entities(text: str) -> list[Entity]: raw_entities = ner_pipeline(text) return [ Entity( text=e["word"], label=e["entity_group"], confidence=e["score"], start=e["start"], end=e["end"] ) for e in raw_entities if e["score"] > 0.7 ] 

Как реализовать гибридный извлекатель?

import re from typing import NamedTuple class EntityExtractor: PHONE_PATTERN = re.compile(r'(?:\+7|8)[\s\-]?\(?\d{3}\)?[\s\-]?\d{3}[\s\-]?\d{2}[\s\-]?\d{2}') EMAIL_PATTERN = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b') DATE_PATTERN = re.compile(r'\b(\d{1,2})[./](\d{1,2})(?:[./](\d{2,4}))?\b') def extract_all(self, text: str) -> dict: phones = self.PHONE_PATTERN.findall(text) emails = self.EMAIL_PATTERN.findall(text) ner_entities = extract_entities(text) locations = [e.text for e in ner_entities if e.label in ("LOC", "GPE")] persons = [e.text for e in ner_entities if e.label == "PER"] return { "phones": phones, "emails": emails, "locations": locations, "persons": persons } 

Мобильная интеграция

iOS: NER для умного заполнения формы

// iOS: NER через серверный API с автозаполнением формы class AddressFormViewModel: ObservableObject { @Published var street = "" @Published var building = "" @Published var apartment = "" @Published var deliveryTime = "" func parseFromText(_ userText: String) { Task { let entities = try await nerApi.extract(text: userText) await MainActor.run { if let address = entities.first(where: { $0.label == "ADDRESS" }) { parseAddressComponents(address.text) } if let time = entities.first(where: { $0.label == "TIME" }) { deliveryTime = time.text } } } } } 

On-device NER через CoreNLP или TFLite

Для простых доменных сущностей (артикулы, размеры, цвета) можно развернуть компактную TFLite NER-модель (< 20 МБ) прямо на устройстве. Это снимает задержку и работает офлайн.

Apple NaturalLanguage.framework с NLTagger умеет базовые типы сущностей из коробки для латинских текстов:

let tagger = NLTagger(tagSchemes: [.nameType]) tagger.string = userInput tagger.enumerateTags(in: userInput.startIndex..<userInput.endIndex, unit: .word, scheme: .nameType, options: [.omitWhitespace]) { tag, range in if let tag = tag { print("Entity: \(userInput[range]), type: \(tag.rawValue)") } return true } 

Для русского языка NLTagger работает заметно хуже — используем только как предфильтр или для приложений с латинским текстом.

Что входит в нашу работу

Мы предлагаем полный цикл внедрения NER в мобильное приложение "под ключ":

• Анализ предметной области и определение целевых сущностей.
• Сбор и разметка обучающих данных (от 500 примеров на сущность).
• Выбор архитектуры: spaCy, трансформер или гибрид.
• Разработка и обучение модели.
• Интеграция в мобильный клиент (iOS/Android) через API или on-device.
• Создание умных UI-компонентов: автозаполнение форм, подсветка сущностей, поисковые фильтры.
• Тестирование на реальных данных и оптимизация задержки.
• Передача документации и обучение команды.

Ориентиры по срокам

• Базовая NER с готовой русской моделью + API — 3–5 дней.
• Дообучение на кастомные сущности — 1–2 недели.
• Полная интеграция в мобильный UI (умные формы, поиск, чат-бот) — 2–3 недели.
• On-device модель (TFLite/CoreML) — плюс 1–2 недели.

Мы имеем 6+ лет опыта в мобильной разработке и выполнили более 30 проектов с NLP. Если вам требуется интеграция NER в мобильное приложение — свяжитесь с нами для оценки проекта. Рассчитаем стоимость и сроки под ваш кейс, предложим оптимальное решение. Получите консультацию бесплатно.