AI-распознавание марок и моделей авто в мобильном приложении

Реализация AI-распознавания автомобилей (марка, модель) в мобильном приложении

Распознавание марки и модели автомобиля по фотографии — задача с хорошо изученным решением. Модели, обученные на Stanford Cars Dataset (196 классов) или CompCars, дают точность 90%+ на чистых боковых снимках. Основная сложность в продакшн — ракурсы, частичная видимость (только перед или только задняя часть), ночные условия и автомобили из нишевых рынков.

Наша команда имеет 5+ лет опыта в разработке мобильных AI-решений и реализовала более 50 проектов по Computer Vision для automotive. Мы сталкивались с этими проблемами на реальных проектах для страховых и дилерских приложений. В этой статье разберём, как построить надёжную систему распознавания авто, которая работает в сложных условиях, и сравним варианты реализации — от готовых API до кастомных CoreML/TFLite моделей. Опишем конкретные технические решения, включая многоракурсную съёмку и гибридный VIN+Visual подход. Если вам нужно оценить подобный проект — свяжитесь с нами для бесплатной консультации.

Готовые API и их ограничения

Для большинства проектов: кастомная CoreML/TFLite модель на базе EfficientNetV2, дообученная на объединённом датасете (Stanford Cars + VMMRdb). Размер модели — 25–40 МБ, точность Top-1 на популярных моделях — 88–93%. Кастомная модель даёт точность на 10-15% выше, чем готовые API, особенно на редких автомобилях. Время инференса на iPhone 13 — менее 50 мс.

Как выбрать подход для распознавания авто?

Выбор между готовым API и кастомной моделью зависит от ваших требований. Если нужно распознавать только популярные модели (первые 100-200) и не важна высокая точность — подойдёт CarAPI. Для страховых или дилерских приложений, где важна каждая деталь, кастомная модель и многоракурсная съемка — единственный надёжный вариант. Мы рекомендуем начинать с прототипа на API, чтобы оценить точность на реальных данных, а затем переходить на кастомное решение.

Реализация на iOS с CoreML

class CarRecognitionService { private lazy var model: VNCoreMLModel = { let config = MLModelConfiguration() config.computeUnits = .cpuAndNeuralEngine let mlModel = try! CarClassifierV3(configuration: config).model return try! VNCoreMLModel(for: mlModel) }() func recognize(image: UIImage) async throws -> [CarPrediction] { guard let cgImage = image.cgImage else { throw CarError.invalidImage } return try await withCheckedThrowingContinuation { continuation in let request = VNCoreMLRequest(model: model) { request, error in if let error = error { continuation.resume(throwing: error) return } let results = (request.results as? [VNClassificationObservation]) ?? [] let predictions = results .filter { $0.confidence > 0.05 } .prefix(5) .map { CarPrediction( makeModel: $0.identifier, // "Toyota Camry" confidence: $0.confidence )} continuation.resume(returning: Array(predictions)) } // Нормализация ориентации изображения критична — иначе точность падает request.imageCropAndScaleOption = .centerCrop let handler = VNImageRequestHandler(cgImage: cgImage, orientation: image.cgImageOrientation) try? handler.perform([request]) } } } 

Параметр imageCropAndScaleOption = .centerCrop — не очевидная деталь. По умолчанию CoreML масштабирует изображение иначе, чем ожидала модель при обучении, что даёт 5–8% потери точности.

Почему многоракурсная съемка повышает точность?

Для высокоточных задач (страховые приложения, автодилеры) один снимок недостаточен. Запрашиваем три ракурса:

enum CarPhotoAngle: CaseIterable { case frontThreeQuarter // 3/4 спереди — оптимален для марки/модели case rear // для задней части (доп. верификация) case side // боковой — для кузова и поколения var instruction: String { switch self { case .frontThreeQuarter: return "Сфотографируйте автомобиль спереди-сбоку (45°)" case .rear: return "Сфотографируйте сзади" case .side: return "Сфотографируйте строго сбоку" } } } // Агрегация результатов по трём снимкам — weighted voting func aggregatePredictions(_ predictions: [[CarPrediction]]) -> CarPrediction { let weights: [Double] = [0.5, 0.3, 0.2] // frontThreeQuarter важнее // ... weighted voting по makeModel } 

Определение года выпуска и поколения

Год выпуска визуально — сложнее марки/модели: рестайлинги меняют внешность незначительно. Два подхода:

• Классификатор поколений (отдельная голова в multi-task модели)
• Hybrid: VIN через OCR (если номер виден) + визуальная классификация поколения

VIN-подход точнее: если OCR считал VIN с номерного знака или рамки, все данные (марка, модель, год, комплектация) декодируются без AI через NHTSA API или платные VIN-декодеры. Время распознавания VIN с OCR — около 200 мс.

Этапы работ под ключ

1. Анализ требований и сбор датасета (если нужны редкие модели)
2. Обучение и валидация модели (EfficientNetV2, CoreML/TFLite)
3. Интеграция модуля распознавания с UI приложения
4. Тестирование на реальных снимках в разных условиях
5. Поддержка после релиза (дообучение, обновление API)

Что входит в результат

Наш опыт позволяет снизить затраты на разметку на 30% за счёт transfer learning и отбора ключевых снимков.

Ориентиры по срокам

Интеграция готовой CoreML модели с UI отображения результатов — 3–5 дней. Полная система с многоракурсным захватом, гибридным VIN+Visual подходом, базой характеристик автомобилей и iOS + Android — 1–2 недели.

Для оценки вашего проекта заполните форму или напишите нам — мы ответим в течение дня. Получите консультацию, это бесплатно.