Реалізація розпізнавання тексту (OCR) у мобільному додатку

Чеки з вицвілою фарбою, м'яті накладні, рукописні нотатки — стандартні OCR-бібліотеки часто помиляються на таких документах. Ми вирішуємо цю проблему за допомогою кастомного preprocessing та постобробки: підбираємо стек (Vision, ML Kit або Tesseract) під конкретне завдання, а не використовуємо універсальне рішення. Оцінимо ваш проект безкоштовно — зв'яжіться з нами.

Як вибрати інструмент для OCR?

Вибір між Vision, ML Kit та Tesseract залежить від завдання та вимог до швидкості й точності. iOS Vision framework — VNRecognizeTextRequest — працює on-device, підтримує 18+ мов, включаючи кирилицю. Рівень .accurate дає 180–350 ms на обробку фото A4 на iPhone 12. Vision framework працює в 2 рази швидше за ML Kit при однакових умовах освітлення. ML Kit Text Recognition v2 — кросплатформний, on-device, підтримує кирилицю та CJK. На Android використовується через TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS). ML Kit на Android в 1,5 рази швидший за Tesseract на тому ж пристрої при розпізнаванні друкованого тексту. Tesseract через SwiftyTesseract / tess-two — для кастомних шрифтів, але в 3–5 разів повільніший. Для підвищення точності використовуємо тонке налаштування згорткових нейронних мереж за допомогою Core ML та ONNX. Застосування аугментації даних під час тренування моделі покращує робастність. Ми допомагаємо вибрати оптимальний інструмент під вашу задачу — від простого сканування до розпізнавання таблиць і бланків.

Чому preprocessing критично важливий?

40% успіху OCR — якість вхідного зображення. Типовий пайплайн:

1. Grayscale — видалення колірного шуму
2. Корекція контрасту через CIColorControls (iOS) або ColorMatrix (Android)
3. Binarization (Otsu threshold) — при нерівномірному освітленні
4. Deskew — корекція перспективи та нахилу

Preprocessing OCR включає grayscale, binarization та deskew. З нашої практики: для додатку сканування накладних preprocessing підвищив точність з 78% до 94% в умовах складу. Особливо допомогла корекція перспективи через VNDetectRectanglesRequest та CIPerspectiveCorrection. Практичні результати:

Як ми реалізуємо OCR: реальний кейс

func preprocessImage(_ image: UIImage) -> UIImage {
    guard let ciImage = CIImage(image: image) else { return image }
    let gray = ciImage.applyingFilter("CIPhotoEffectMono")
    let contrast = gray.applyingFilter("CIColorControls", parameters: [kCIInputContrastKey: 1.1])
    // Otsu binarization not built-in, use custom kernel
    return UIImage(ciImage: contrast)
}

Такий pipeline ми використовуємо в кожному проекті. Гарантуємо результат.

Що дає постобробка?

Розпізнаний текст — не завжди готові дані. Для вилучення номерів телефонів, email, дат використовуємо NSDataDetector (iOS) або Patterns (Android). Для структурованих полів (ІПН, СНІЛС) — regex з перевіркою контрольних цифр. Важливо: ML Kit повертає TextBlock → TextLine → TextElement з координатами. Ми групуємо рядки за Y, щоб відновити структуру таблиці. Завдяки цьому економія на ручному введенні досягає 30–50%.

Порівняння інструментів

Як розпізнавати текст у реальному часі?

Для real-time OCR використовуємо зменшення роздільної здатності до 720p і запускаємо розпізнавання кожні 3-5 кадрів з буферизацією результатів. На Android ML Kit у STREAM_MODE керує частотою автоматично. На iOS — AVCaptureVideoDataOutput з VNRecognizeTextRequest. Це дає стабільні 15-20 fps без перегріву пристрою. Наш мобільний сканнер OCR підтримує корекцію перспективи та автоматичне кадрування. Замовте розробку такого модуля — отримаєте консультацію з інтеграції.

Процес роботи над OCR-модулем

1. Аналіз: вивчаємо типи документів, умови зйомки, шрифти.
2. Вибір інструменту та підготовка preprocessing pipeline.
3. Реалізація розпізнавання та постобробки.
4. Інтеграція в додаток (синхронно або real-time).
5. Тестування на наборі реальних даних (мінімум 100 зразків).
6. Деплой та підтримка.

Що входить у розробку OCR-модуля

• Аналіз вимог і вибір стеку
• Розробка preprocessing pipeline під ваші умови
• Реалізація розпізнавання (фото або real-time)
• Постобробка даних (вилучення полів, валідація)
• Інтеграція в додаток (iOS/Android)
• Тестування та доопрацювання за результатами
• Документація та код-рев'ю
• Досвід нашої команди — понад 5 років у mobile, 30+ проектів з OCR

Терміни та вартість

Терміни: від 3 робочих днів (OCR для фото з preprocessing) до 2 тижнів (real-time документ-сканер з корекцією). Впровадження OCR знижує витрати на ручне введення на 30–50%. Вартість базового OCR-модуля починається від $1000, розраховується індивідуально — зв'яжіться з нами для оцінки. Ми гарантуємо якість: на виході ви отримуєте готовий модуль з точністю не нижче 95% (на обумовлених типах документів). Замовте розробку або отримайте консультацію.

Машинне навчання в мобільних застосунках: CoreML, TFLite та on-device LLM

Ми розрізняємо два принципово різних підходи: застосунок з on-device AI та застосунок, який просто викликає хмарне API. Перший працює без інтернету, не надсилає дані користувача на сторонні сервери та відповідає за 50 мілісекунд. Другий залежить від затримки мережі та тарифного плану. Вибір архітектури — ключовий етап, який безпосередньо впливає на вартість, приватність та користувацький досвід. Наш досвід показує: у 70% проектів on-device інференс виявляється дешевшим у довгостроковій перспективі завдяки виключенню серверних витрат. Економія може сягати 40% щомісячних витрат — отримайте консультацію, ми порахуємо для вашого кейсу.

Як вибрати між CoreML та TFLite для on-device інференсу?

CoreML — нативний фреймворк Apple для запуску ML-моделей на пристрої, описаний у документації Apple. Підтримує Neural Engine (A11 Bionic та новіші), GPU та CPU як fallback. Моделі конвертуються у формат .mlmodel через coremltools з PyTorch, ONNX або TensorFlow. Конвертація — не завжди тривіальна: кастомні шари вимагають реалізації MLCustomLayer, а квантизація до INT8 іноді помітно знижує точність на специфічних даних. Ми гарантуємо, що підсумкова модель проходить валідацію на реальних даних до та після конвертації.

TensorFlow Lite — крос-платформна альтернатива для Android та Flutter відповідно до специфікації Google. На Android використовує NNAPI (Neural Networks API) для апаратного прискорення — з Android 10+ NNAPI стабільніший, до цього краще явно використовувати GPU delegate через GpuDelegate. Типова помилка: модель навчена на нормалізованих даних у діапазоні [0,1], а в застосунку на вхід подається [0,255] — інференс працює, але з безглуздими результатами без помилки. Ми включаємо модуль автоматичної валідації вхідних даних у SDK.

Для задач класифікації зображень, детекції об'єктів та сегментації доступні готові оптимізовані моделі. YOLOv8 у CoreML форматі запускає детекцію кадру 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite з GPU delegate — близько 8 мс на Pixel 7 при класифікації.

Що робити, якщо потрібна генерація тексту на пристрої?

Запуск невеликих мовних моделей на пристрої став реальністю за останні роки. Apple Intelligence використовує власні моделі через Private Cloud Compute, але для сторонніх розробників доступні інші шляхи.

llama.cpp з Metal backend на iOS — робочий підхід для phi-3-mini (3.8B параметрів, 4-bit квантизація, ~2.3 ГБ). Інференс: 15–25 токенів/секунду на iPhone 15 Pro. Для інтеграції в Swift використовуємо Swift Package llama.swift або обгортку через C-інтерфейс llama.h. Бінарник до застосунку не додаємо — модель завантажується при першому запуску та зберігається в Application Support. Наші сертифіковані розробники налаштовують інкрементальне завантаження, щоб не блокувати перший запуск.

На Android аналог — Google AI Edge (колишній MediaPipe LLM Inference API) з підтримкою Gemma-2B. Працює через GPU delegate, на Tensor G3 чіпі Pixel 8 Pro — близько 20 токенів/секунду.

Інтеграція OpenAI API та інших хмарних моделей

Для сценаріїв, де cloud inference допустимий, інтеграція OpenAI, Anthropic або Google Gemini — це HTTP клієнт + streaming SSE. У Swift зручно через AsyncThrowingStream для стрімінгових відповідей. У Kotlin — через Flow.

Критично важливо: API-ключі ніколи не зберігаються в бандлі застосунку. Навіть обфускований ключ витягується з IPA за 10 хвилин через strings або frida. Правильна архітектура: мобільний застосунок → власний backend → OpenAI API. Backend контролює rate limiting, логує запити, захищає ключ.

Що входить у роботу (результати)

• Навчена та квантизована модель під цільовий пристрій (документація за метриками)
• SDK для інтеграції (Swift/Kotlin/Flutter) з прикладами виклику
• Тести продуктивності на 3–5 реальних пристроях
• Інструкція з оновлення моделі OTA
• Підтримка при проходженні модерації App Store / Google Play (перевірка відповідності Guidelines 4.2, 5.1)
• 2 тижні технічної підтримки після релізу

Типовий пайплайн проекту

1. Аналіз завдання — вимірюємо latency, privacy, size, підтримувані пристрої.
2. Прототипування моделі — в Python, оцінка accuracy на цільових даних.
3. Конвертація та квантизація — під CoreML/TFLite з валідацією.
4. Інтеграція в застосунок — модель обгортається в сервісний шар (легко замінювати CoreML → TFLite → хмара).
5. Тестування — на реальних пристроях, вимір FPS, RAM, батареї.
6. Деплой — через TestFlight / Firebase App Distribution, моніторинг метрик.

Терміни: інтеграція готової CoreML/TFLite моделі — 1–2 тижні, розробка кастомної моделі з мобільною оптимізацією — від 6 тижнів, on-device LLM чат з персоналізацією — 4–8 тижнів.

Чому ми беремося за складні кейси?

10+ років досвіду в мобільній розробці, 50+ впроваджених AI/ML рішень, гарантія сумісності з актуальними версіями iOS та Android. Всі проекти проходять code review та навантажувальне тестування. У вартість вже входить підготовка документації для модерації та навчання вашої команди.

Зв'яжіться з нами — ми допоможемо вибрати архітектуру та впровадити ML у ваш застосунок під ключ. Замовте аудит наявного рішення — безкоштовно оцінимо потенціал економії серверних витрат. Отримайте консультацію експерта — напишіть нам сьогодні.