NER у мобільному додатку: вилучення сутностей з тексту

import spacy
from spacy.training import Example

# Завантаження базової російської моделі
nlp = spacy.load("ru_core_news_lg")

# Додавання кастомних типів сутностей
ner = nlp.get_pipe("ner")
ner.add_label("PRODUCT_SIZE")
ner.add_label("PRODUCT_COLOR")
ner.add_label("ARTICLE")

# Приклад навчання
TRAIN_DATA = [
    ("Хочу знайти кросівки розмір 42 у синьому кольорі артикул 98765", {"entities": [(33, 35, "PRODUCT_SIZE"), (43, 49, "PRODUCT_COLOR"), (59, 64, "ARTICLE")]}),
]

optimizer = nlp.resume_training()
for text, annotations in TRAIN_DATA:
    doc = nlp.make_doc(text)
    example = Example.from_dict(doc, annotations)
    nlp.update([example], sgd=optimizer)

Офіційна документація spaCy з навчання NER: https://spacy.io/usage/training#ner

Трансформерна NER через Hugging Face

Для високої точності на складних доменах використовуємо донавчений DeepPavlov/rubert-base-cased з NER head. Цей підхід повільніший за spaCy, але значно краще обробляє контекстуальні залежності: точність на 12% вища за spaCy на аналітичних текстах.

from transformers import pipeline

ner_pipeline = pipeline(
    "token-classification",
    model="DeepPavlov/rubert-base-cased-ner",
    aggregation_strategy="simple"
)

def extract_entities(text: str) -> list[Entity]:
    raw_entities = ner_pipeline(text)
    return [
        Entity(
            text=e["word"],
            label=e["entity_group"],
            confidence=e["score"],
            start=e["start"],
            end=e["end"]
        )
        for e in raw_entities
        if e["score"] > 0.7
    ]

Як реалізувати гібридний вилучач?

import re
from typing import NamedTuple

class EntityExtractor:
    PHONE_PATTERN = re.compile(r'(?:\+7|8)[\s\-]?\(?\d{3}\)?[\s\-]?\d{3}[\s\-]?\d{2}[\s\-]?\d{2}')
    EMAIL_PATTERN = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b')
    DATE_PATTERN = re.compile(r'\b(\d{1,2})[./](\d{1,2})(?:[./](\d{2,4}))?\b')

    def extract_all(self, text: str) -> dict:
        phones = self.PHONE_PATTERN.findall(text)
        emails = self.EMAIL_PATTERN.findall(text)
        ner_entities = extract_entities(text)
        locations = [e.text for e in ner_entities if e.label in ("LOC", "GPE")]
        persons = [e.text for e in ner_entities if e.label == "PER"]
        return {
            "phones": phones,
            "emails": emails,
            "locations": locations,
            "persons": persons
        }

Мобільна інтеграція

iOS: NER для розумного заповнення форми

// iOS: NER через серверний API з автозаповненням форми
class AddressFormViewModel: ObservableObject {
    @Published var street = ""
    @Published var building = ""
    @Published var apartment = ""
    @Published var deliveryTime = ""

    func parseFromText(_ userText: String) {
        Task {
            let entities = try await nerApi.extract(text: userText)
            await MainActor.run {
                if let address = entities.first(where: { $0.label == "ADDRESS" }) {
                    parseAddressComponents(address.text)
                }
                if let time = entities.first(where: { $0.label == "TIME" }) {
                    deliveryTime = time.text
                }
            }
        }
    }
}

On-device NER через CoreNLP або TFLite

Для простих доменних сутностей (артикули, розміри, кольори) можна розгорнути компактну TFLite NER-модель (< 20 МБ) прямо на пристрої. Це знімає затримку та працює офлайн.

Apple NaturalLanguage.framework з NLTagger вміє базові типи сутностей з коробки для латинських текстів:

let tagger = NLTagger(tagSchemes: [.nameType])
tagger.string = userInput
tagger.enumerateTags(in: userInput.startIndex..<userInput.endIndex, unit: .word, scheme: .nameType, options: [.omitWhitespace]) { tag, range in
    if let tag = tag {
        print("Entity: \(userInput[range]), type: \(tag.rawValue)")
    }
    return true
}

Для російської мови NLTagger працює помітно гірше — використовуємо тільки як префільтр або для додатків з латинським текстом.

Що входить у нашу роботу

Ми пропонуємо повний цикл впровадження NER у мобільний додаток «під ключ»:

• Аналіз предметної області та визначення цільових сутностей.
• Збір та розмітка навчальних даних (від 500 прикладів на сутність).
• Вибір архітектури: spaCy, трансформер або гібрид.
• Розробка та навчання моделі.
• Інтеграція в мобільний клієнт (iOS/Android) через API або on-device.
• Створення розумних UI-компонентів: автозаповнення форм, підсвічування сутностей, пошукові фільтри.
• Тестування на реальних даних та оптимізація затримки.
• Передача документації та навчання команди.

Орієнтири за термінами та вартістю

• Базовий NER з готовою російською моделлю + API — 3–5 днів, від $2000.
• Донавчання на кастомні сутності — 1–2 тижні, $5000–$10000.
• Повна інтеграція в мобільний UI (розумні форми, пошук, чат-бот) — 2–3 тижні, $8000–$15000.
• On-device модель (TFLite/CoreML) — плюс 1–2 тижні, додатково $3000–$5000.

Ми маємо 6+ років досвіду в мобільній розробці та виконали більше 30 проєктів з NLP. Наша команда сертифікована за стандартами ISO 9001, ми гарантуємо якість роботи. Якщо вам потрібна інтеграція NER у мобільний додаток — зв'яжіться з нами для оцінки проєкту. Розрахуємо вартість та терміни під ваш кейс, запропонуємо оптимальне рішення. Отримайте консультацію.