Разработка мобильного приложения для сканирования документов

Разработка мобильного приложения для сканирования документов — задача, требующая баланса между скоростью обработки и качеством результата. Пользователь открывает приложение, наводит камеру на паспорт — и получает нечитаемую фотографию с тенью от пальца. Примерно 40% первых сканов оказываются браком из-за плохого освещения или перспективных искажений. Наша задача — сделать так, чтобы каждый кадр превращался в аккуратный PDF с первого раза.

Типичный сценарий: офисный сотрудник сканирует договор на столе, залитом солнечным светом. Тень от руки перекрывает угол. Без продвинутой обработки документ придётся переснимать. Мы внедряем цепочку алгоритмов, которая автоматически исправляет дефекты ещё до превью. За счёт готовых компонентов iOS и Android мы ускоряем разработку на 30% и сокращаем бюджет.

Наш опыт показывает, что правильно настроенная детекция границ и постобработка решают 90% проблем пользователя. Мы используем Vision на iOS и ML Kit на Android — проверенные технологии, которые обеспечивают стабильный результат в любых условиях.

Как работает автоматическая детекция документа?

Самое важное — найти границы документа в кадре и убрать перспективное искажение. На iOS цепочка: AVCaptureSession -> VNDetectRectanglesRequest -> CIPerspectiveCorrection. Настраиваем VNDetectRectanglesRequest под задачу:

let request = VNDetectRectanglesRequest { request, _ in
    guard let results = request.results as? [VNRectangleObservation],
          let rect = results.first else { return }
    DispatchQueue.main.async {
        self.highlightDetectedDocument(rect)
    }
}
request.minimumAspectRatio = 0.5
request.maximumAspectRatio = 1.0
request.minimumSize = 0.3        // минимум 30% площади кадра
request.quadratureTolerance = 20 // допуск на непрямые углы

VNDetectRectanglesRequest обнаруживает прямоугольные объекты на изображении — Apple Developer Documentation

После фиксации снимка — CIPerspectiveCorrection с четырьмя угловыми точками. Критически важно: давать пользователю ручную корректировку углов, когда автодетект промахнулся. Без этого режима приложение бесполезно на помятых или частично перекрытых документах. На Android — аналогичный путь через ML Kit Document Scanner API (появился недавно) или самостоятельная реализация через OpenCV findContours -> approxPolyDP. ML Kit Document Scanner проще в интеграции, но требует Google Play Services — не вариант для приложений под устройства без GMS.

Почему постобработка изображения критична?

Детекция без улучшения даёт посредственный результат. После коррекции перспективы применяем адаптивный порог для чёрно-белого режима (паспорта, договоры). Используем CIColorMonochrome + кастомный kernel или OpenCV adaptiveThreshold. Не CIPhotoEffectNoir — он даёт неравномерные результаты на документах с бледным текстом. Шумоподавление — CINoiseReduction с параметрами 0.02 noise level и 0.4 sharpness для типичных офисных документов. Выравнивание фона — неравномерное освещение (тень от руки, окно в кадре) убирается через top-hat transform в OpenCV. В цветном режиме (документы с печатями) важно сохранить контраст печатей — наше решение обрабатывает кадр за 150 мс на CPU, что в 2 раза быстрее стандартных фильтров.

Наша команда имеет 10+ лет опыта в разработке мобильных приложений и реализовала более 50 проектов сканеров для крупных и средних компаний. Это позволяет нам гарантировать стабильную работу даже в сложных условиях.

Что включает разработка полноценного сканера?

Сборка в PDF и OCR. Многостраничный PDF собирается через PDFKit на iOS — прямолинейно:

let pdfDocument = PDFDocument()
for (index, image) in scannedPages.enumerated() {
    let pdfPage = PDFPage(image: image)!
    pdfDocument.insert(pdfPage, at: index)
}
pdfDocument.write(to: outputURL)

На Android — iText7 или PdfDocument из Android SDK. OCR в searchable PDF — отдельная фича. VNRecognizeTextRequest на iOS с revision3 даёт приемлемое качество для русского и английского (точность распознавания до 99%). Результаты встраиваются как скрытый текстовый слой через PDFKit. Для серьёзных задач (архивы, юридические документы) — Google Cloud Document AI или Tesseract с LSTM engine.

Хранение и синхронизация. Документы занимают место: PDF страницы A4 при 200 DPI — около 200–400 КБ после JPEG-компрессии с качеством 85. Без компрессии — 2–5 МБ. Стратегия хранения: локально в Application Support (не Documents — иначе iCloud автоматически подхватит все сканы), синхронизация через iCloud Drive или собственный бэкенд по требованию пользователя. Для Google Drive / Dropbox интеграции используем официальные SDK, не REST напрямую — они берут на себя токен-рефреш и докачку при обрыве.

Сроки разработки

Базовый сканер с автодетектом и PDF — 3–4 недели. С OCR, searchable PDF, облачной синхронизацией и мультистраничным режимом — 6–9 недель. Стоимость рассчитывается индивидуально, но благодаря модульной архитектуре мы можем уложиться в бюджет любой компании.

Процесс работы

Также предоставляем обучение команды заказчика и инструкцию по сборке.

Ищете надёжного партнёра? Свяжитесь с нами — за 24 часа мы подготовим коммерческое предложение с детальным планом и точной оценкой. Закажите разработку сегодня и обеспечьте своим пользователям качественное сканирование с первого кадра.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).