AI-розпізнавання марок і моделей авто в мобільному додатку

Реалізація AI-розпізнавання автомобілів (марка, модель) у мобільному додатку

Розпізнавання марки та моделі автомобіля за фотографією — задача з добре вивченим рішенням. Моделі, навчені на Stanford Cars Dataset (196 класів) або CompCars, дають точність 90%+ на чистих бічних знімках. Основна складність у продакшн — ракурси, часткова видимість (тільки перед або тільки задня частина), нічні умови та автомобілі з нішевих ринків.

Наша команда має 5+ років досвіду в розробці мобільних AI-рішень і реалізувала понад 50 проєктів з Computer Vision для automotive. Ми стикалися з цими проблемами на реальних проєктах для страхових і дилерських додатків. У цій статті розберемо, як побудувати надійну систему розпізнавання авто, яка працює в складних умовах, і порівняємо варіанти реалізації — від готових API до кастомних CoreML/TFLite моделей. Опишемо конкретні технічні рішення, включаючи багаторакурсну зйомку та гібридний VIN+Visual підхід. Якщо вам потрібно оцінити подібний проєкт — зв'яжіться з нами для безкоштовної консультації.

Готові API та їх обмеження

Для більшості проєктів: кастомна CoreML/TFLite модель на базі EfficientNetV2, донавчена на об'єднаному датасеті (Stanford Cars + VMMRdb). Розмір моделі — 25–40 МБ, точність Top-1 на популярних моделях — 88–93%. Кастомна модель дає точність на 10-15% вищу, ніж готові API, особливо на рідкісних автомобілях. Час інференсу на iPhone 13 — менше 50 мс.

Як вибрати підхід для розпізнавання авто?

Вибір між готовим API та кастомною моделлю залежить від ваших вимог. Якщо потрібно розпізнавати лише популярні моделі (перші 100-200) і не важлива висока точність — підійде CarAPI. Для страхових або дилерських додатків, де важлива кожна деталь, кастомна модель і багаторакурсна зйомка — єдиний надійний варіант. Ми рекомендуємо починати з прототипу на API, щоб оцінити точність на реальних даних, а потім переходити на кастомне рішення.

Реалізація на iOS з CoreML

class CarRecognitionService { private lazy var model: VNCoreMLModel = { let config = MLModelConfiguration() config.computeUnits = .cpuAndNeuralEngine let mlModel = try! CarClassifierV3(configuration: config).model return try! VNCoreMLModel(for: mlModel) }() func recognize(image: UIImage) async throws -> [CarPrediction] { guard let cgImage = image.cgImage else { throw CarError.invalidImage } return try await withCheckedThrowingContinuation { continuation in let request = VNCoreMLRequest(model: model) { request, error in if let error = error { continuation.resume(throwing: error) return } let results = (request.results as? [VNClassificationObservation]) ?? [] let predictions = results .filter { $0.confidence > 0.05 } .prefix(5) .map { CarPrediction( makeModel: $0.identifier, // "Toyota Camry" confidence: $0.confidence )} continuation.resume(returning: Array(predictions)) } // Нормалізація орієнтації зображення критична — інакше точність падає request.imageCropAndScaleOption = .centerCrop let handler = VNImageRequestHandler(cgImage: cgImage, orientation: image.cgImageOrientation) try? handler.perform([request]) } } } 

Параметр imageCropAndScaleOption = .centerCrop — не очевидна деталь. За замовчуванням CoreML масштабує зображення інакше, ніж очікувала модель при навчанні, що дає 5–8% втрати точності.

Чому багаторакурсна зйомка підвищує точність?

Для високоточних задач (страхові додатки, автодилери) одного знімка недостатньо. Запитуємо три ракурси:

enum CarPhotoAngle: CaseIterable { case frontThreeQuarter // 3/4 спереду — оптимальний для марки/моделі case rear // для задньої частини (дод. верифікація) case side // бічний — для кузова та покоління var instruction: String { switch self { case .frontThreeQuarter: return "Сфотографуйте автомобіль спереду-збоку (45°)" case .rear: return "Сфотографуйте ззаду" case .side: return "Сфотографуйте строго збоку" } } } // Агрегація результатів за трьома знімками — weighted voting func aggregatePredictions(_ predictions: [[CarPrediction]]) -> CarPrediction { let weights: [Double] = [0.5, 0.3, 0.2] // frontThreeQuarter важливіше // ... weighted voting по makeModel } 

Визначення року випуску та покоління

Рік випуску візуально — складніше марки/моделі: рестайлінги змінюють зовнішність незначно. Два підходи:

• Класифікатор поколінь (окрема голова в multi-task моделі)
• Hybrid: VIN через OCR (якщо номер видно) + візуальна класифікація покоління

VIN-підхід точніше: якщо OCR зчитав VIN з номерного знаку або рамки, всі дані (марка, модель, рік, комплектація) декодуються без AI через NHTSA API або платні VIN-декодери. Час розпізнавання VIN з OCR — близько 200 мс.

Етапи робіт під ключ

1. Аналіз вимог і збір датасету (якщо потрібні рідкісні моделі)
2. Навчання та валідація моделі (EfficientNetV2, CoreML/TFLite)
3. Інтеграція модуля розпізнавання з UI додатку
4. Тестування на реальних знімках в різних умовах
5. Підтримка після релізу (донавчання, оновлення API)

Що входить в результат

Наш досвід дозволяє знизити витрати на розмітку на 30% за рахунок transfer learning і відбору ключових знімків.

Орієнтири за термінами

Інтеграція готової CoreML моделі з UI відображення результатів — 3–5 днів. Повна система з багаторакурсним захопленням, гібридним VIN+Visual підходом, базою характеристик автомобілів та iOS + Android — 1–2 тижні.

Для оцінки вашого проєкту заповніть форму або напишіть нам — ми відповімо протягом дня. Отримайте консультацію, це безкоштовно.