Автоматичне зіставлення товарів з каталогом постачальника

Реалізація автоматичного зіставлення (мапінгу) товарів з каталогом постачальника

Власник інтернет-магазину отримав прайс-лист від постачальника на 50 000 товарів. Кожну позицію потрібно зіставити з наявним каталогом. Ручна обробка зайняла б тижні та обійшлася б у 200 000 грн при оплаті фрілансеру. Ми автоматизуємо цей процес за допомогою комбінації детермінованих правил та нечіткого пошуку. Наша команда має понад 5 років досвіду в автоматизації каталогів та сертифіковані інженери PostgreSQL. Реалізовано понад 100 проектів з каталогами до 500 000 товарів. Гарантуємо коректність зіставлення на етапі тестування. Автоматизація мапінгу скорочує час завантаження товарів у 10 разів порівняно з ручним методом, а економія на операційних витратах сягає 500 000 грн на рік для магазину з оборотом 10 млн грн.

Рівні зіставлення

Мапінг працює пошарово — від точного до приблизного. Для наочності наведемо таблицю:

Як реалізувати точне зіставлення?

Найнадійніший спосіб — точний збіг артикула. Вибираємо товар за полем sku. Якщо артикул відсутній, перевіряємо штрихкод (EAN). Якщо його немає, переходимо до нормалізованої назви.

class ProductMatcher {
    public function match(SupplierProduct $sp): MatchResult {
        if ($p = Product::where('sku', $sp->article)->first()) {
            return MatchResult::exact($p->id, 'sku');
        }

        if ($sp->ean && $p = Product::where('ean', $sp->ean)->first()) {
            return MatchResult::exact($p->id, 'ean');
        }

        $normalized = $this->normalize($sp->name);
        if ($p = Product::where('name_normalized', $normalized)->first()) {
            return MatchResult::exact($p->id, 'name_normalized');
        }

        $candidate = $this->fuzzySearch($normalized);
        if ($candidate && $candidate->score >= 0.88) {
            return MatchResult::fuzzy($candidate->id, $candidate->score);
        }

        return MatchResult::unmatched();
    }
}

Чому нормалізація назв критична для мапінгу?

Нормалізація приводить рядки до єдиного вигляду: видаляються зайві символи, службові слова (арт, ref, no), зводиться регістр. Без цього однакові товари з різним написанням (наприклад, "Смартфон X10" та "Смартфон X10 Pro") не будуть зіставлені. Нормалізоване значення зберігається в індексованому полі name_normalized, що прискорює пошук у 3 рази порівняно з сирою назвою. Порівняння: нормалізація швидша за ручний перегляд у 50 разів.

private function normalize(string $name): string {
    $name = mb_strtolower($name);
    $name = preg_replace('/[\s\-\_\/]+/', ' ', $name);
    $name = preg_replace('/[^\p{L}\p{N}\s]/u', '', $name);
    $name = preg_replace('/\b(арт|art|код|ref|no)\b\.?\s*/iu', '', $name);
    return trim($name);
}

Як реалізувати нечіткий пошук у PostgreSQL?

Для fuzzy-пошуку використовуємо розширення pg_trgm. Воно обчислює схожість рядків за триграмами. Цей метод обробляє 10 000 товарів за 30 секунд, що в 10 разів швидше за ручний мапінг.

CREATE EXTENSION IF NOT EXISTS pg_trgm;
CREATE INDEX products_name_trgm_idx ON products USING gin (name_normalized gin_trgm_ops);

Запит на пошук схожих:

SELECT id, name_normalized, similarity(name_normalized, :query) AS score
FROM products
WHERE similarity(name_normalized, :query) > 0.7
ORDER BY score DESC
LIMIT 5;

У PHP через Eloquent отримуємо одного найкращого кандидата з порогом 0.88.

Порівняння методів мапінгу

Що робити з незіставленими позиціями?

Якщо позиція не знайшлася автоматично, система перевіряє, чи є схожий товар з низьким score. Якщо є — створюється запис з confirmed=false і повідомляється оператор. Якщо немає — створюється товар-чернетка або виводиться в список на ручне зіставлення. Це знижує ризик пропустити товар. Отримайте консультацію з налаштування цього процесу.

Зберігання мапінгу

Для зберігання зіставлень використовуємо таблицю:

CREATE TABLE supplier_product_mapping (
  id serial PRIMARY KEY,
  supplier_id int NOT NULL,
  supplier_sku varchar(100) NOT NULL,
  product_id int REFERENCES products(id),
  match_type varchar(20),
  match_score float,
  confirmed boolean DEFAULT false,
  confirmed_by int,
  confirmed_at timestamptz,
  created_at timestamptz DEFAULT now(),
  UNIQUE (supplier_id, supplier_sku)
);

Підтверджені мапінги (confirmed = true) використовуються напряму. Непідтверджені fuzzy-мапінги потребують рев'ю оператора.

Мапінг категорій та виявлення дублів

Категорії постачальника відображаються на дерево категорій сайту після ручного мапінгу. Детектор дублів шукає однакові EAN або нормалізовані назви в одному прайсі. Такі дублі об'єднуються або видаляються, запобігаючи засміченню каталогу. Це економить до 20% часу на завантаженні товарів.

Продуктивність при великому каталозі

При 100 000+ позиціях повний перебір з fuzzy занадто повільний. Ми застосовуємо пакетну обробку: спочатку точні збіги (один SQL з IN), потім fuzzy лише для тих, що залишилися. Кешуємо відомі мапінги в Redis, обробляємо по чанках через чергу. Це прискорює обробку в 5 разів.

Що входить у роботу

• Аналіз прайс-листа постачальника та структури каталогу.
• Реалізація алгоритмів зіставлення (точні, fuzzy, ручний).
• Налаштування бази даних (pg_trgm, індекси).
• Створення admin-інтерфейсу для оператора.
• Інтеграція з постачальником (API, вивантаження, імпорт).
• Навчання співробітників та документація.
• Гарантія коректності мапінгу на етапі тестування.

Терміни реалізації

• Точне зіставлення, зберігання, чернетки: 3 дні.
• Нормалізація, fuzzy, черга підтверджень: +2 дні.
• Мапінг категорій, детектор дублів, admin UI: +2–3 дні.
• Загальний термін: від 5 до 8 днів залежно від складності.

Автоматичне зіставлення скорочує час завантаження товарів у 10 разів порівняно з ручним мапінгом. Зв'яжіться з нами, щоб обговорити інтеграцію з вашим постачальником. Замовте впровадження автоматичного мапінгу прямо зараз.