OCR в мобильном приложении: распознавание текста через камеру

Пользователь наводит камеру на мутный чек в полумраке. Без предобработки снимка стандартные OCR-библиотеки выдают до 50% ошибок. Решение — на этапе захвата применить повышение контрастности (vImageContrastStretch на iOS, OpenCV на Android) и бинаризацию. Только после этого подавать кадр в VNRecognizeTextRequest или ML Kit Text Recognition. В нашей практике такая цепочка повышает точность с 70% до 98-99% на печатном тексте.

За 5 лет мы реализовали более 20 проектов OCR для ритейла (распознавание ценников и чеков), логистики (трекинг накладных) и финтеха (верификация паспортных данных). В каждом проекте — свой набор фильтров и постобработки. Типичная ошибка — считать, что OCR-библиотека выдаст идеальный результат «из коробки». Без предобработки изображения и постобработки результата точность падает до 50–70%. Поэтому первый этап любого проекта — сбор реальных образцов документов и тестирование на них.

Почему предобработка критична для точного OCR?

Предобработка — ключевой этап, определяющий итоговую точность. В плохом освещении или при размытии мы используем:

• Повышение контрастности через vImageContrastStretch (iOS) или OpenCV (Android).
• Перевод в grayscale с последующим AdaptiveThreshold.
• Sharpen CIFilter перед подачей в OCR.

Для рукописного текста стандартные фреймворки показывают точность 40–60%. В таких случаях помогают кастомные модели на базе TensorFlow Lite — это отдельная задача, требующая размеченных данных и обучения.

Как работают нативные OCR-фреймворки?

iOS: Vision + VNRecognizeTextRequest — ocr в мобильном

Начиная с iOS 13 Vision фреймворк умеет распознавать текст без интернета. VNRecognizeTextRequest поддерживает два режима: .fast (приблизительно, мгновенно) и .accurate (медленнее, но значительно точнее для сложных шрифтов). Для сложных шрифтов режим .accurate даёт прирост точности на 15%.

func recognizeText(in image: UIImage) { guard let cgImage = image.cgImage else { return } let request = VNRecognizeTextRequest { [weak self] request, error in guard let observations = request.results as? [VNRecognizedTextObservation] else { return } let text = observations.compactMap { $0.topCandidates(1).first?.string }.joined(separator: "\n") DispatchQueue.main.async { self?.handleRecognized(text: text) } } request.recognitionLevel = .accurate request.usesLanguageCorrection = true request.recognitionLanguages = ["ru-RU", "en-US"] // порядок = приоритет let handler = VNImageRequestHandler(cgImage: cgImage, options: [:]) try? handler.perform([request]) } 

usesLanguageCorrection помогает с опечатками, но иногда «исправляет» аббревиатуры и артикулы — для технических документов лучше отключить.

Android: ML Kit Text Recognition v2

com.google.mlkit:text-recognition поддерживает латиницу, кириллицу, китайский, японский, корейский через отдельные модули. Скачивается на устройство при первом использовании (~5 MB для латиницы).

val recognizer = TextRecognition.getClient( TextRecognizerOptions.DEFAULT_OPTIONS // или RussianTextRecognizerOptions ) val image = InputImage.fromBitmap(bitmap, 0) recognizer.process(image) .addOnSuccessListener { visionText -> val fullText = visionText.textBlocks .joinToString("\n") { block -> block.text } handleRecognized(fullText) } .addOnFailureListener { e -> handleError(e) } 

ML Kit также возвращает bounding boxes для каждого блока текста — полезно для подсветки распознанных областей в UI.

Live-режим: текст в реальном времени из видеопотока

Для live-overlay (текст подсвечивается прямо в видеопотоке) на iOS используем AVCaptureSession + CMSampleBuffer:

// Delegate метод AVCaptureVideoDataOutput func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) { guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return } // Не запускаем новый запрос, если предыдущий ещё не завершён guard !isProcessing else { return } isProcessing = true let request = VNRecognizeTextRequest { [weak self] request, _ in defer { self?.isProcessing = false } // обработка результатов... } request.recognitionLevel = .fast // для live важна скорость try? VNImageRequestHandler(cvPixelBuffer: pixelBuffer, options: [:]).perform([request]) } 

Флаг isProcessing обязателен — без него при 30 FPS накапливается очередь запросов и память растёт до краша.

На Android — CameraX + ImageAnalysis.Analyzer. ML Kit оптимизирован для работы с ImageProxy напрямую без конвертации в Bitmap.

Как улучшить качество распознавания в сложных условиях?

Повышение контрастности и бинаризация — стандартные приёмы. Для специфических документов (например, чеков с выцветшей печатью) мы подключаем кастомные фильтры. Экономия от автоматизации ввода данных с помощью OCR может достигать 200 000 рублей в год на один отдел.

Типичные ошибки при интеграции OCR:

• Забывают флаг isProcessing в live-режиме → утечка памяти.
• Оставляют usesLanguageCorrection включённым для технических текстов → портит аббревиатуры.
• Не проверяют bounding boxes на пересечение с UI → текст накладывается на интерфейс.

Постобработка: от «сырого» текста к структурированным данным

Голый OCR-результат — это поток строк. Для большинства задач нужна структуризация:

• Чеки: выделяем строки с ценами по regex, парсим итоговую сумму
• Визитки: NSDataDetector (iOS) или Patterns (Android) для телефонов, email, адресов
• Паспорта/документы: MRZ-зона читается по стандарту ICAO 9303, есть готовые парсеры
• Номерные знаки: отдельная задача — лучше специализированная модель (OpenALPR, PlateRecognizer API)

Для кириллического текста с плохим качеством иногда помогает предобработка изображения: увеличение контрастности через vImageContrastStretch, перевод в grayscale, Sharpen CIFilter перед передачей в OCR.

Сравнение нативных фреймворков

Что входит в разработку OCR-функции

При заказе данной услуги вы получаете:

• Интеграцию Vision или ML Kit в ваше приложение.
• Настройку параметров распознавания под ваш тип документов.
• Live-режим с выводом подсветки текста на камере (опционально).
• Постобработку данных: парсинг чеков, визиток, номеров.
• Документацию по интеграции и тестированию.
• Поддержку при прохождении ревью App Store / Google Play.

Процесс работы

1. Определение сценариев использования: тип документов, языки, нужен ли live-режим или только статичное фото.
2. Реализация захвата изображения (camera + галерея), предобработка.
3. Интеграция OCR: нативный Vision/ML Kit или облачный (Google Vision API, AWS Textract) если нужна более высокая точность для сложных документов.
4. Постобработка под конкретную задачу: структурирование данных, regex, NER.
5. Тестирование на реальных образцах в разных условиях освещения.

Ориентиры по срокам

Базовое распознавание статичного текста через нативный фреймворк — 2–3 дня. Live-режим с overlay + структурирование данных под конкретный тип документа — 1–2 недели. Сложные сценарии с кастомными моделями — от месяца. Стоимость базовой интеграции — от 50 000 до 150 000 рублей в зависимости от сложности. Свяжитесь с нами, чтобы получить точную оценку для вашего проекта.

Получите консультацию по вашему проекту — мы подберём оптимальное решение. Свяжитесь с нами, чтобы обсудить задачу и рассчитать стоимость разработки OCR для вашего приложения.