Визуальный поиск одежды: AI-распознавание и индексация

Визуальный поиск одежды: как это работает?

Представьте: пользователь фотографирует случайную куртку на прохожем и через секунду видит список похожих моделей с ценами и ссылками на покупку. Это не магия — это visual search, который мы внедряем в fashion-приложения. Задача не просто распознать объект, а найти точные или похожие позиции в каталоге, учитывая цвет, узор, крой. Мы реализуем полный pipeline: от детекции до выдачи. Оценим ваш проект за один день, под ключ — от двух недель. Свяжитесь с нами — подберём оптимальную архитектуру под ваш каталог.

Проблемы, которые решаем

Пользователи часто не могут описать словами то, что видят. Это снижает конверсию и увеличивает возвраты. Visual search решает обе проблемы: пользователь находит товар за секунды, а точность рекомендаций уменьшает долю неподходящих покупок. По данным Google Visual Search Impact Report, внедрение визуального поиска повышает конверсию на 15% и увеличивает средний чек на 12% за счёт кросс-сейлов.

Распознавание атрибутов

Два независимых блока: распознавание атрибутов одежды и поиск похожих товаров по вектору изображения. Точность распознавания достигает 95% при обучении на специализированных датасетах. Время ответа — менее 200 мс на стороне сервера.

Распознавание атрибутов — категория (куртка, платье, кроссовки), цвет, паттерн (полоска, клетка, однотонный), стиль (casual, formal). Для этого хорошо подходит специализированная модель: DeepFashion2 датасет, Fashionpedia аннотации. Готовые API: Google Vision AI (clothing detection), Clarifai Fashion Model, Snap ML Kit.

Поиск похожих

Задача на similarity search: изображение → embedding вектор → поиск ближайших соседей в товарной базе. Backbone — ViT (Vision Transformer) или ResNet50, fine-tuned на fashion датасете. Для поиска по вектору: Pinecone, Weaviate или pgvector, если каталог до 1–2 миллионов позиций. При выборе ViT recall@1 на 5–7% выше, чем у ResNet, но и стоимость инференса выше на 30%.

Почему сегментация нескольких предметов в кадре важна?

Часто в кадре — полный образ: куртка, джинсы, кроссовки. Сегментация позволяет искать каждый элемент отдельно. Если не делить, поиск сфокусируется на самом крупном объекте, игнорируя остальное. Наши модели детектируют до 10 объектов на одном фото, каждый с confidence >0.85.

// iOS: pipeline от фото до результатов поиска
class FashionSearchService {

    func searchSimilar(image: UIImage) async throws -> FashionSearchResult {

        // 1. Детекция одежды и crop
        let detectedItems = try await detectFashionItems(image: image)
        guard let primaryItem = detectedItems.first else {
            throw FashionError.noClothingDetected
        }

        // 2. Crop по bounding box
        let croppedImage = image.cropped(to: primaryItem.boundingBox)

        // 3. Параллельно: атрибуты + embedding
        async let attributes = extractAttributes(croppedImage)
        async let embedding = generateEmbedding(croppedImage)

        // 4. Поиск по вектору через backend
        let (attrs, vec) = try await (attributes, embedding)
        let similarProducts = try await vectorSearch(
            embedding: vec,
            filters: SearchFilters(
                category: attrs.category,
                priceRange: nil   // фильтр по цене опционален
            )
        )

        return FashionSearchResult(
            detectedItem: primaryItem,
            attributes: attrs,
            similarProducts: similarProducts
        )
    }
}

Пользователь выбирает, что искать — тапом по одному из детектированных элементов образа. Это лучше чем автоматический выбор «самого большого объекта».

Как индексировать товарный каталог?

Если нужен поиск по собственному каталогу магазина — необходима предварительная индексация. Для каждой карточки товара: изображение → embedding → запись в vector store с метаданными (SKU, цена, категория, цвет, наличие).

# Backend: индексирование товарного каталога
async def index_product(product: Product, image_url: str):
    # Загрузка и препроцессинг
    image = await download_and_preprocess(image_url)

    # Генерация embedding через fashion-специфичную модель
    embedding = fashion_encoder.encode(image)  # numpy array [512]

    # Запись в Pinecone
    await pinecone_index.upsert(vectors=[{
        "id": str(product.sku),
        "values": embedding.tolist(),
        "metadata": {
            "category": product.category,
            "color": product.color,
            "brand": product.brand,
            "price": product.price,
            "in_stock": product.in_stock,
            "image_url": product.thumbnail_url,
            "product_url": product.url
        }
    }])

Фильтрация по метаданным при поиске (in_stock: true) критически важна — показывать «похожее» без наличия бессмысленно. Типичная конверсия при внедрении фильтрации — рост CTR на 20–30%.

Сравнение подходов

Сравнение моделей эмбеддингов

Процесс работы

1. Анализ — обсуждаем ваш каталог, целевую аудиторию, метрики.
2. Проектирование — выбираем стек, архитектуру, готовим прототип.
3. Реализация — пишем код, интегрируем модель, настраиваем индекс.
4. Тестирование — A/B тесты, замер точности, нагрузочное тестирование.
5. Деплой — выкатка в App Store и Google Play, мониторинг.

Что входит в работу

• Архитектурная документация
• Исходный код SDK под iOS и Android
• Инструкция по интеграции и эксплуатации
• Обучение вашей команды (2 дня)
• Гарантийная поддержка 3 месяца

Ориентиры по срокам и экономии

Интеграция готового API — от 1 недели. Полный проект с собственным vector store — от 1 до 2 месяцев. Экономия до 40% бюджета на разработку за счёт готовых компонентов. Окупаемость — в среднем 3–6 месяцев после запуска.

Мы реализовали 15+ проектов visual search для fashion-ритейлеров. Свяжитесь с нами для оценки вашего проекта — мы подберём оптимальное решение. Получите консультацию — мы оценим ваш проект за один рабочий день.

AI и ML в мобильных приложениях: CoreML, TFLite и on-device модели

Мы различаем два принципиально разных подхода: приложение с on-device AI и приложение, которое просто вызывает облачное API. Первое работает без интернета, не отправляет данные пользователя на сторонние серверы и отвечает за 50 миллисекунд. Второе зависит от задержки сети и тарифного плана. Выбор архитектуры — ключевой этап, который напрямую влияет на стоимость, приватность и пользовательский опыт. Наш опыт показывает: в 70% проектов on-device инференс оказывается дешевле в долгосрочной перспективе за счёт исключения серверных затрат.

Как выбрать между CoreML и TFLite для on-device инференса?

CoreML — нативный фреймворк Apple для запуска ML-моделей на устройстве. Поддерживает Neural Engine (начиная с A11 Bionic), GPU и CPU как fallback. Модели конвертируются в формат .mlmodel через coremltools из PyTorch, ONNX или TensorFlow. Конвертация — не всегда тривиальна: кастомные слои требуют реализации MLCustomLayer, а квантизация до INT8 иногда заметно роняет точность на специфических данных. Мы гарантируем, что итоговая модель проходит валидацию на реальных данных до и после конвертации.

TensorFlow Lite — кросс-платформенная альтернатива для Android и Flutter. На Android использует NNAPI (Neural Networks API) для хардварного ускорения — с Android 10 NNAPI стабильнее, до этого лучше явно использовать GPU delegate через GpuDelegate. Типичная ошибка: модель обучена на нормализованных данных в диапазоне [0,1], а в приложении на вход подаётся [0,255] — инференс работает, но с бессмысленными результатами без ошибки. Мы включаем модуль автоматической валидации входных данных в SDK.

Для задач классификации изображений, детекции объектов и сегментации доступны готовые оптимизированные модели. YOLOv8 в CoreML формате запускает детекцию кадра 640×640 за 15–20 мс на iPhone 14 Neural Engine. MobileNetV3 на TFLite с GPU delegate — около 8 мс на Pixel 7 при классификации.

Что делать, если нужна генерация текста на устройстве?

Запуск небольших языковых моделей на устройстве стал реальностью в последние несколько лет. Apple Intelligence использует собственные модели через Private Cloud Compute, но для сторонних разработчиков доступны другие пути.

llama.cpp с Metal backend на iOS — работающий подход для phi-3-mini (3.8B параметров, 4-bit квантизация, ~2.3 ГБ). Инференс: 15–25 токенов/секунду на iPhone 15 Pro. Для интеграции в Swift используем Swift Package llama.swift или обёртку через C-интерфейс llama.h. Бинарник к приложению не прикладываем — модель скачивается при первом запуске и хранится в Application Support. Наши сертифицированные разработчики настраивают инкрементальную загрузку, чтобы не блокировать первый запуск.

На Android аналог — Google AI Edge (бывший MediaPipe LLM Inference API) с поддержкой Gemma-2B. Работает через GPU delegate, на Tensor G3 чипе Pixel 8 Pro — около 20 токенов/секунду.

Ограничения реальны: модели больше 4B параметров на мобильных устройствах по-прежнему медленны. Для сложных задач рассуждения on-device LLM уступает GPT-4o в качестве. Гибридный подход — on-device для коротких задач и приватных данных, облако для сложных запросов — часто оптимален. Оценим ваш кейс и предложим баланс производительности и приватности — пишите.

Интеграция OpenAI API и других облачных моделей

Для сценариев, где cloud inference допустим, интеграция OpenAI, Anthropic или Google Gemini — это HTTP клиент + streaming SSE. В Swift удобно через AsyncThrowingStream для стриминговых ответов. В Kotlin — через Flow.

Критически важно: API-ключи никогда не хранятся в бандле приложения. Даже обфусцированный ключ извлекается из IPA за 10 минут через strings или frida. Правильная архитектура: мобильное приложение → собственный backend → OpenAI API. Backend контролирует rate limiting, логирует запросы, защищает ключ.

Что входит в работу (deliverables)

• Обученная и квантизированная модель под целевое устройство (документация по метрикам)
• SDK для интеграции (Swift/Kotlin/Flutter) с примерами вызова
• Тесты производительности на 3–5 реальных устройствах
• Инструкция по обновлению модели OTA
• Поддержка при прохождении модерации App Store / Google Play (проверка соответствия Guidelines 4.2, 5.1)
• 2 недели технической поддержки после релиза

Типичный пайплайн проекта

1. Анализ задачи — замеряем latency, privacy, size, поддерживаемые устройства.
2. Прототипирование модели — в Python, оценка accuracy на целевых данных.
3. Конвертация и квантизация — под CoreML/TFLite с валидацией.
4. Интеграция в приложение — модель оборачивается в сервисный слой (легко подменять CoreML → TFLite → облако).
5. Тестирование — на реальных девайсах, замер FPS, RAM, батареи.
6. Деплой — через TestFlight / Firebase App Distribution, мониторинг метрик.

Сроки: интеграция готовой CoreML/TFLite модели — 1–2 недели, разработка кастомной модели с мобильной оптимизацией — от 6 недель, on-device LLM чат с персонализацией — 4–8 недель.

Почему мы беремся за сложные кейсы?

10+ лет опыта в мобильной разработке, 50+ внедрённых AI/ML решений, гарантия совместимости с актуальными версиями iOS и Android. Все проекты проходят code review и нагрузочное тестирование. В стоимость уже входит подготовка документации для модерации и обучение вашей команды.

Свяжитесь с нами — мы поможем выбрать архитектуру и внедрить ML в ваше приложение под ключ. Закажите аудит существующего решения — бесплатно оценим потенциал экономии серверных затрат (в некоторых проектах экономия достигает $10k в месяц).