Пошук аналогів за фото: AI-розпізнавання меблів у мобільному додатку

Пошук аналогів за фото: AI-розпізнавання меблів у мобільному додатку

Клієнт хоче, щоб користувач сфотографував диван та отримав схожі моделі з цінами. Але меблі — не одяг: однакові на вигляд крісла можуть відрізнятися за стилем і розмірами. Помилка на етапі класифікації зображень веде до хибних рекомендацій. Ми вирішуємо це завдання за допомогою комбінації Transfer Learning на згорткових мережах та векторного пошуку. Наш досвід показує, що правильно налаштована модель економить до 40% часу на ручній обробці каталогу, а вартість підтримки каталогу знижується на 25% за рахунок автоматизації.

Чому меблі складніші за одяг?

У меблів жорстка геометрія та впізнавані форми — це спрощує класифікацію. Але пошук «схожого за менші гроші» вимагає не лише візуального збігу, але й розуміння стилю (скандинавський мінімалізм, лофт, класика) та масштабу. Диван на фото без контексту не дозволяє зрозуміти, тримісний він чи двомісний. Ми вирішуємо це за допомогою додаткових класифікаторів стилю меблів та фільтрації за атрибутами.

Джерело: рекомендації з обробки зображень меблів з відкритих датасетів (наприклад, Furniture-180).

Проблеми, які ми вирішуємо

1. Категоризація: Більшість готових моделей (Google Cloud Vision, AWS Rekognition) навчені на ImageNet — там меблів достатньо. Але точність падає для рідкісних форм. Ми донавчаємо EfficientNet або MobileNetV3 на каталозі магазину: 50 000 зображень (по 200–300 на категорію) дають впевнену класифікацію основних категорій: диван, крісло, стіл, стілець, шафа, ліжко, тумба.
2. Визначення стилю: Категорія — лише перший крок. Для пошуку аналогів важливий стиль. Використовуємо CLIP, який розуміє текстові описи: "скандинавський мінімалізм", "лофт", "класика". CLIP порівнює ембеддінг зображення з ембеддінгами текстових стилів і повертає найбільш імовірний.
3. Пошук з фільтрами: Архітектура та ж, що й для одягу: ембеддінг → vector search. Але для меблів важлива фільтрація за матеріалом (дерево, метал, тканина), кольором, розмірною групою. Розмірний клас без AR визначається приблизно — за співвідношенням сторін і типовими пропорціями для категорії.

Порівняння підходів до класифікації

Transfer Learning — оптимальний вибір для більшості рітейлерів: точність 92% при мінімальних витратах часу. Він точніший за готовий API в середньому на 15% за нашими тестами. При цьому Transfer Learning потребує в 2-3 рази менше даних, ніж навчання з нуля, при порівнянній точності. Ми використовуємо MobileNetV3 або EfficientNet-Lite — вони працюють безпосередньо на пристрої.

Як визначити стиль меблів?

CLIP дозволяє швидко підлаштуватися під новий стиль без перенавчання — достатньо додати текстовий опис. Докладніше про CLIP можна дізнатися в офіційному репозиторії.

Як ми це робимо: стек та приклади

Для Android використовуємо TFLite з XNNPACK оптимізацією. Приклад класифікатора:

// Android: TFLite классификация мебели
class FurnitureClassifier(context: Context) {

    private val interpreter: Interpreter by lazy {
        val model = FileUtil.loadMappedFile(context, "furniture_classifier_v2.tflite")
        Interpreter(model, Interpreter.Options().apply {
            numThreads = 4
            useXNNPACK = true
        })
    }

    fun classify(bitmap: Bitmap): List<FurnitureClassification> {
        val resized = Bitmap.createScaledBitmap(bitmap, 224, 224, true)
        val input = TensorImage.fromBitmap(resized)
        val output = TensorBuffer.createFixedSize(intArrayOf(1, NUM_CLASSES), DataType.FLOAT32)

        interpreter.run(input.buffer, output.buffer)

        return output.floatArray
            .mapIndexed { index, score -> FurnitureClassification(LABELS[index], score) }
            .filter { it.score > 0.1f }
            .sortedByDescending { it.score }
    }
}

Для iOS — Core ML. CLIP дозволяє визначати стиль через текстові промпти:

// iOS: CLIP-based style detection через Core ML
// CLIP модель конвертирована в .mlpackage
func detectStyle(_ image: UIImage) async throws -> [StyleScore] {
    let styleDescriptions = [
        "scandinavian minimalist furniture",
        "industrial loft style furniture",
        "classic traditional furniture",
        "mid-century modern furniture",
        "boho eclectic furniture"
    ]

    // CLIP сравнивает image embedding с text embeddings стилей
    let imageEmbedding = try await clipEncoder.encodeImage(image)
    return styleDescriptions.enumerated().map { i, desc in
        let textEmbedding = clipEncoder.encodeText(desc)
        let similarity = cosineSimilarity(imageEmbedding, textEmbedding)
        return StyleScore(style: desc, score: similarity)
    }.sorted { $0.score > $1.score }
}

Як працює пошук аналогів по каталогу?

Ембеддінги товарів зберігаються у векторній БД (наприклад, FAISS або Pinecone). Пошук включає кілька етапів:

1. Вилучення ембеддінгу: зображення користувача проходить через ту ж модель, що й каталог.
2. Векторний пошук: косинусна відстань до всіх ембеддінгів каталогу.
3. Застосування фільтрів: відсів за категорією, стилем, матеріалом, кольором, розміром та ціною.
4. Постобробка: сортування за схожістю та виведення топ-10 результатів.

struct FurnitureSearchFilters {
    let category: FurnitureCategory
    let style: StyleTag?
    let colorFamily: ColorFamily?        // warm, cool, neutral
    let material: MaterialType?          // wood, metal, upholstered
    let maxDimensionClass: SizeClass?    // compact, standard, large
    let priceRange: ClosedRange<Int>?
    let inStockOnly: Bool
}

Процес інтеграції

Впровадження функції розпізнавання та пошуку аналогів проходить кілька етапів:

Мінімально життєздатний продукт (MVP) можна запустити за 1 тиждень, використовуючи готове API розпізнавання та хмарне векторне сховище. Повне рішення з власною моделлю, CLIP та AR-розмірами займає 1–2 місяці. Наприклад, для одного з клієнтів з каталогом 10 000 товарів ми донавчили MobileNetV3 на 500 зображеннях на категорію. Точність класифікації зросла з 72% до 94%.

Обсяг робіт

• MVP: інтеграція з готовим API (Google Cloud Vision + векторний пошук) — термін від 1 тижня.
• Повне рішення: донавчена TFLite/CoreML модель, CLIP-класифікатор стилю, векторне сховище з фільтрами, AR-розміри (LiDAR) — термін 1–2 місяці.
• Документація по моделі та API.
• Навчання команди замовника.
• Пост-релізна підтримка 2 тижні.

Наша команда має 7+ років досвіду в мобільній розробці та машинному навчанні. Ми виконали 30+ проектів з розпізнавання зображень. Гарантуємо якість: модель працюватиме офлайн, без затримок. Якщо ви хочете реалізувати аналогічну функцію, зв'яжіться з нами — ми підберемо оптимальне рішення. Отримайте консультацію з інтеграції — оцінимо ваш проект безкоштовно.

Машинне навчання в мобільних застосунках: CoreML, TFLite та on-device LLM

Ми розрізняємо два принципово різних підходи: застосунок з on-device AI та застосунок, який просто викликає хмарне API. Перший працює без інтернету, не надсилає дані користувача на сторонні сервери та відповідає за 50 мілісекунд. Другий залежить від затримки мережі та тарифного плану. Вибір архітектури — ключовий етап, який безпосередньо впливає на вартість, приватність та користувацький досвід. Наш досвід показує: у 70% проектів on-device інференс виявляється дешевшим у довгостроковій перспективі завдяки виключенню серверних витрат. Економія може сягати 40% щомісячних витрат — отримайте консультацію, ми порахуємо для вашого кейсу.

Як вибрати між CoreML та TFLite для on-device інференсу?

CoreML — нативний фреймворк Apple для запуску ML-моделей на пристрої, описаний у документації Apple. Підтримує Neural Engine (A11 Bionic та новіші), GPU та CPU як fallback. Моделі конвертуються у формат .mlmodel через coremltools з PyTorch, ONNX або TensorFlow. Конвертація — не завжди тривіальна: кастомні шари вимагають реалізації MLCustomLayer, а квантизація до INT8 іноді помітно знижує точність на специфічних даних. Ми гарантуємо, що підсумкова модель проходить валідацію на реальних даних до та після конвертації.

TensorFlow Lite — крос-платформна альтернатива для Android та Flutter відповідно до специфікації Google. На Android використовує NNAPI (Neural Networks API) для апаратного прискорення — з Android 10+ NNAPI стабільніший, до цього краще явно використовувати GPU delegate через GpuDelegate. Типова помилка: модель навчена на нормалізованих даних у діапазоні [0,1], а в застосунку на вхід подається [0,255] — інференс працює, але з безглуздими результатами без помилки. Ми включаємо модуль автоматичної валідації вхідних даних у SDK.

Для задач класифікації зображень, детекції об'єктів та сегментації доступні готові оптимізовані моделі. YOLOv8 у CoreML форматі запускає детекцію кадру 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite з GPU delegate — близько 8 мс на Pixel 7 при класифікації.

Що робити, якщо потрібна генерація тексту на пристрої?

Запуск невеликих мовних моделей на пристрої став реальністю за останні роки. Apple Intelligence використовує власні моделі через Private Cloud Compute, але для сторонніх розробників доступні інші шляхи.

llama.cpp з Metal backend на iOS — робочий підхід для phi-3-mini (3.8B параметрів, 4-bit квантизація, ~2.3 ГБ). Інференс: 15–25 токенів/секунду на iPhone 15 Pro. Для інтеграції в Swift використовуємо Swift Package llama.swift або обгортку через C-інтерфейс llama.h. Бінарник до застосунку не додаємо — модель завантажується при першому запуску та зберігається в Application Support. Наші сертифіковані розробники налаштовують інкрементальне завантаження, щоб не блокувати перший запуск.

На Android аналог — Google AI Edge (колишній MediaPipe LLM Inference API) з підтримкою Gemma-2B. Працює через GPU delegate, на Tensor G3 чіпі Pixel 8 Pro — близько 20 токенів/секунду.

Інтеграція OpenAI API та інших хмарних моделей

Для сценаріїв, де cloud inference допустимий, інтеграція OpenAI, Anthropic або Google Gemini — це HTTP клієнт + streaming SSE. У Swift зручно через AsyncThrowingStream для стрімінгових відповідей. У Kotlin — через Flow.

Критично важливо: API-ключі ніколи не зберігаються в бандлі застосунку. Навіть обфускований ключ витягується з IPA за 10 хвилин через strings або frida. Правильна архітектура: мобільний застосунок → власний backend → OpenAI API. Backend контролює rate limiting, логує запити, захищає ключ.

Що входить у роботу (результати)

• Навчена та квантизована модель під цільовий пристрій (документація за метриками)
• SDK для інтеграції (Swift/Kotlin/Flutter) з прикладами виклику
• Тести продуктивності на 3–5 реальних пристроях
• Інструкція з оновлення моделі OTA
• Підтримка при проходженні модерації App Store / Google Play (перевірка відповідності Guidelines 4.2, 5.1)
• 2 тижні технічної підтримки після релізу

Типовий пайплайн проекту

1. Аналіз завдання — вимірюємо latency, privacy, size, підтримувані пристрої.
2. Прототипування моделі — в Python, оцінка accuracy на цільових даних.
3. Конвертація та квантизація — під CoreML/TFLite з валідацією.
4. Інтеграція в застосунок — модель обгортається в сервісний шар (легко замінювати CoreML → TFLite → хмара).
5. Тестування — на реальних пристроях, вимір FPS, RAM, батареї.
6. Деплой — через TestFlight / Firebase App Distribution, моніторинг метрик.

Терміни: інтеграція готової CoreML/TFLite моделі — 1–2 тижні, розробка кастомної моделі з мобільною оптимізацією — від 6 тижнів, on-device LLM чат з персоналізацією — 4–8 тижнів.

Чому ми беремося за складні кейси?

10+ років досвіду в мобільній розробці, 50+ впроваджених AI/ML рішень, гарантія сумісності з актуальними версіями iOS та Android. Всі проекти проходять code review та навантажувальне тестування. У вартість вже входить підготовка документації для модерації та навчання вашої команди.

Зв'яжіться з нами — ми допоможемо вибрати архітектуру та впровадити ML у ваш застосунок під ключ. Замовте аудит наявного рішення — безкоштовно оцінимо потенціал економії серверних витрат. Отримайте консультацію експерта — напишіть нам сьогодні.