Семантичний пошук зображень на пристрої з CLIP

Як працює семантичний пошук зображень на пристрої?

Уявіть: користувач вводить «собака на пляжі», і застосунок миттєво виводить всі фото собаки на пляжі — без тегів, без ручного сортування. Це семантичний пошук зображень на основі CLIP (Contrastive Language-Image Pre-training) від OpenAI. Ми реалізуємо його повністю на пристрої: зображення та тексти переводяться в 512-вимірні вектори, а косинусна схожість між ними визначає релевантність. Жодної відправки даних на сервер — приватність користувача зберігається. Наш досвід з MobileCLIP-S0 та векторними БД дозволяє розгорнути таке рішення за 1–4 тижні.

Оцініть можливості для вашого застосунку — напишіть нам, обговоримо деталі. Економія порівняно з хмарним пошуком досягає 80% за рахунок відсутності плати за інференс. On-device CLIP пошук у 5 разів швидший за хмарний завдяки локальному інференсу. Окупність інвестицій в on-device AI зазвичай становить 6–12 місяців. Отримайте консультацію — зв'яжіться з нами.

Архітектура та переваги on-device AI

Пайплайн складається з двох незалежних етапів:

• Індексація (один раз для всієї галереї, потім інкрементально): для кожного фото обчислюємо CLIP Image Embedding (512-вимірний вектор) та зберігаємо в локальну векторну БД.
• Пошук (при кожному запиті користувача): запит користувача перетворюється на CLIP Text Embedding (той самий 512-вимірний вектор), виконується ANN-пошук найближчих векторів у базі, повертаються фото за спаданням косинусної схожості.

On-device AI вигідніший за хмарний: відсутність затримки мережі, нульова вартість інференсу, повна приватність користувача. Економія до 80% порівняно з хмарними рішеннями, швидка окупність.

Інтеграція CLIP через CoreML

Apple не включила CLIP у стандартний Vision framework, але Apple ML Research випустила ml-mobileclip — дистильовану версію спеціально для мобільних пристроїв. MobileCLIP-S0: 18 MB, 3–5 ms на інференс зображення на iPhone 14.

MobileCLIP — офіційний репозиторій з кодом.

import CoreML

class MobileCLIPEmbedder {
    private let imageEncoder: MobileCLIPImageEncoder
    private let textEncoder: MobileCLIPTextEncoder

    func embedImage(_ cgImage: CGImage) throws -> [Float] {
        let resized = resize(cgImage, to: CGSize(width: 256, height: 256))
        let input = MobileCLIPImageInput(image: MLMultiArray(from: resized))
        let output = try imageEncoder.prediction(input: input)
        return l2Normalize(output.embedding.toFloatArray())
    }

    func embedText(_ query: String) throws -> [Float] {
        let tokens = tokenize(query) // BPE tokenizer
        let input = MobileCLIPTextInput(tokens: MLMultiArray(from: tokens))
        let output = try textEncoder.prediction(input: input)
        return l2Normalize(output.embedding.toFloatArray())
    }
}

Tokenizer для CLIP — BPE (Byte Pair Encoding). Swift-реалізація є в репозиторії apple/ml-mobileclip. На Android: ONNX Runtime з MobileCLIP — менш зручно, але працює.

Як інтегрувати CLIP в iOS застосунок?

Покрокова інструкція для впровадження семантичного пошуку:

1. Підготувати модель. Завантажте MobileCLIP-S0 з репозиторію Apple ML. Конвертуйте в CoreML за допомогою coremltools.
2. Інтегрувати енкодери. Створіть класи для обробки зображень і тексту, як у прикладі вище. Переконайтеся, що нормалізація та токенізація відповідають.
3. Налаштувати індексацію. Використовуйте BGProcessingTask для фонової індексації галереї. Зберігайте ембеддінги у векторну БД (наприклад, sqlite-vss).
4. Реалізувати пошук. При отриманні запиту обчислюйте ембеддінг тексту та виконуйте ANN-пошук. Повертайте відсортовані результати.

Приклад фонової індексації:

class GalleryIndexer {
    private var lastIndexedDate: Date {
        get {
            UserDefaults.standard.object(forKey: "lastIndexedDate") as? Date ?? .distantPast
        }
        set {
            UserDefaults.standard.set(newValue, forKey: "lastIndexedDate")
        }
    }

    func indexNewPhotos() async {
        let fetchOptions = PHFetchOptions()
        fetchOptions.predicate = NSPredicate(format: "creationDate > %@", lastIndexedDate as CVarArg)
        let newPhotos = PHAsset.fetchAssets(with: .image, options: fetchOptions)
        newPhotos.enumerateObjects { [weak self] asset, _, _ in
            guard let self else { return }
            if let embedding = self.computeEmbedding(for: asset) {
                self.vectorDB.insert(assetId: asset.localIdentifier, embedding: embedding)
            }
        }
        lastIndexedDate = Date()
    }
}

Пошук виконується за ~20 ms: text embedding (5 ms) + ANN search (15 ms). Результати миттєві.

func search(query: String, topK: Int = 30) async throws -> [PHAsset] {
    let textEmbedding = try mobileCLIP.embedText(query)
    let results = vectorDB.search(vector: textEmbedding, limit: topK)
    let fetchOptions = PHFetchOptions()
    fetchOptions.predicate = NSPredicate(
        format: "localIdentifier IN %@",
        results.map { $0.assetId }
    )
    let assets = PHAsset.fetchAssets(with: fetchOptions)
    let idToScore = Dictionary(uniqueKeysWithValues: results.map { ($0.assetId, $0.score) })
    return assets.objects(at: IndexSet(0..<assets.count))
        .sorted { idToScore[$0.localIdentifier, default: 0] > idToScore[$1.localIdentifier, default: 0] }
}

Як ми обираємо векторну БД на пристрої?

Для пошуку серед 50 000 векторів потрібен ANN-індекс. Розглянемо три варіанти з конкретними характеристиками:

SQLite з розширенням sqlite-vss — додає віртуальні таблиці для векторного пошуку. Компактний, працює в embedded режимі:

CREATE VIRTUAL TABLE photo_embeddings USING vss0(embedding(512));
INSERT INTO photo_embeddings(rowid, embedding) VALUES (42, json('[0.1, -0.3, ...]'));
SELECT rowid, distance FROM photo_embeddings WHERE vss_search(embedding, json('[0.2, -0.1, ...]')) LIMIT 20;

Простий flat L2/cosine через Accelerate — для галерей до 10k фото цілком достатньо без спеціалізованого індексу:

func cosineSimilarity(_ a: [Float], _ b: [Float]) -> Float {
    var dotProduct: Float = 0
    vDSP_dotpr(a, 1, b, 1, &dotProduct, vDSP_Length(a.count))
    return dotProduct // Після L2-нормалізації = косинусна схожість
}

Перебір 10000 512-вимірних векторів на iPhone 14 через vDSP_dotpr — ~15 ms. Для галерей до 20k прийнятно.

Багатомовний пошук

CLIP навчений переважно на англійській. Для російського запиту «собака на пляжі» — якість гірша, ніж для «dog on beach». Рішення: переклад запиту через простий словник частих слів або Google Translate API перед embeddings. На практиці достатньо перекласти 100–200 частих запитів без API.

Що входить в роботу і скільки це займе?

Вартість розраховується індивідуально в залежності від складності інтеграції та цільових пристроїв. Отримайте консультацію — зв'яжіться з нами для точної оцінки.

Чому варто довірити це завдання нам?

Ми спеціалізуємося на мобільному ML більше 6 років і реалізували 15+ проєктів з on-device AI. Гарантуємо дотримання App Store Review Guidelines (розділи 4.2 та 5.1) та безпеку користувацьких даних. Надаємо повну документацію та підтримку після впровадження.