Автоматическое сопоставление товаров с каталогом поставщика

Реализация автоматического сопоставления (маппинга) товаров с каталогом поставщика

Владелец интернет-магазина получил прайс-лист от поставщика на 50 000 товаров. Каждую позицию нужно сопоставить с существующим каталогом. Ручная обработка заняла бы недели и обошлась бы в $1.8k–2.6k при оплате фрилансеру. Мы автоматизируем этот процесс с помощью комбинации детерминированных правил и нечёткого поиска. Наша команда имеет 5+ лет опыта в автоматизации каталогов и сертифицированные инженеры PostgreSQL. Реализовано более 100 проектов с каталогами до 500 000 товаров. Гарантируем корректность сопоставления на этапе тестирования. Автоматизация маппинга сокращает время загрузки товаров в 10 раз по сравнению с ручным методом, а экономия на операционных затратах достигает $4.5k–6.5k в год для магазина с оборотом $90k–130k.

Уровни сопоставления

Маппинг работает послойно — от точного к приблизительному. Для наглядности приведём таблицу:

Как реализовать точное сопоставление?

Самый надёжный способ — точное совпадение артикула. Выбираем товар по полю sku. Если артикул отсутствует, проверяем штрихкод (EAN). Если и его нет, переходим к нормализованному названию.

class ProductMatcher {
    public function match(SupplierProduct $sp): MatchResult {
        if ($p = Product::where('sku', $sp->article)->first()) {
            return MatchResult::exact($p->id, 'sku');
        }
        if ($sp->ean && $p = Product::where('ean', $sp->ean)->first()) {
            return MatchResult::exact($p->id, 'ean');
        }
        $normalized = $this->normalize($sp->name);
        if ($p = Product::where('name_normalized', $normalized)->first()) {
            return MatchResult::exact($p->id, 'name_normalized');
        }
        $candidate = $this->fuzzySearch($normalized);
        if ($candidate && $candidate->score >= 0.88) {
            return MatchResult::fuzzy($candidate->id, $candidate->score);
        }
        return MatchResult::unmatched();
    }
}

Почему нормализация названий критична для маппинга?

Нормализация приводит строки к единому виду: удаляются лишние символы, служебные слова (арт, ref, no), приводится регистр. Без этого одинаковые товары с разным написанием (например, "Смартфон X10" и "Смартфон X10 Pro") не будут сопоставлены. Нормализованное значение хранится в индексируемом поле name_normalized, что ускоряет поиск в 3 раза по сравнению с сырым названием. Сравнение: нормализация быстрее ручного просмотра в 50 раз.

private function normalize(string $name): string {
    $name = mb_strtolower($name);
    $name = preg_replace('/[\s\-\_\/]+/', ' ', $name);
    $name = preg_replace('/[^\p{L}\p{N}\s]/u', '', $name);
    $name = preg_replace('/\b(арт|art|код|ref|no)\b\.?\s*/iu', '', $name);
    return trim($name);
}

Как реализовать нечёткий поиск в PostgreSQL?

Для fuzzy-поиска используем расширение pg_trgm. Оно вычисляет схожесть строк по триграммам. Этот метод обрабатывает 10 000 товаров за 30 секунд, что в 10 раз быстрее ручного маппинга.

CREATE EXTENSION IF NOT EXISTS pg_trgm;
CREATE INDEX products_name_trgm_idx ON products USING gin (name_normalized gin_trgm_ops);

Запрос на поиск похожих:

SELECT id, name_normalized, similarity(name_normalized, :query) AS score
FROM products
WHERE similarity(name_normalized, :query) > 0.7
ORDER BY score DESC
LIMIT 5;

В PHP через Eloquent получаем один лучший кандидат с порогом 0.88.

Сравнение методов маппинга

Что делать с несопоставленными позициями?

Если позиция не нашлась автоматически, система проверяет, есть ли похожий товар с низким score. Если есть — создаётся запись с confirmed=false и уведомляется оператор. Если нет — создаётся товар-черновик или выводится в список на ручное сопоставление. Это снижает риск пропустить товар. Получите консультацию по настройке этого процесса.

Хранение маппинга

Для хранения сопоставлений используем таблицу:

CREATE TABLE supplier_product_mapping (
    id serial PRIMARY KEY,
    supplier_id int NOT NULL,
    supplier_sku varchar(100) NOT NULL,
    product_id int REFERENCES products(id),
    match_type varchar(20),
    match_score float,
    confirmed boolean DEFAULT false,
    confirmed_by int,
    confirmed_at timestamptz,
    created_at timestamptz DEFAULT now(),
    UNIQUE (supplier_id, supplier_sku)
);

Подтверждённые маппинги (confirmed = true) используются напрямую. Неподтверждённые fuzzy-маппинги требуют ревью оператора.

Маппинг категорий и обнаружение дублей

Категории поставщика отображаются на дерево категорий сайта после ручного маппинга. Детектор дублей ищет одинаковые EAN или нормализованные названия в одном прайсе. Такие дубли объединяются или удаляются, предотвращая захламление каталога. Это экономит до 20% времени на загрузке товаров.

Производительность при большом каталоге

При 100 000+ позициях полный перебор с fuzzy слишком медленный. Мы применяем пакетную обработку: сначала точные совпадения (один SQL с IN), затем fuzzy только для оставшихся. Кэшируем известные маппинги в Redis, обрабатываем по чанкам через очередь. Это ускоряет обработку в 5 раз.

Что входит в работу

• Анализ прайс-листа поставщика и структуры каталога.
• Реализация алгоритмов сопоставления (точные, fuzzy, ручной).
• Настройка базы данных (pg_trgm, индексы).
• Создание admin-интерфейса для оператора.
• Интеграция с поставщиком (API, выгрузка, импорт).
• Обучение сотрудников и документация.
• Гарантия корректности маппинга на этапе тестирования.

Сроки реализации

• Точное сопоставление, хранение, черновики: 3 дня.
• Нормализация, fuzzy, очередь подтверждений: +2 дня.
• Маппинг категорий, детектор дублей, admin UI: +2–3 дня.
• Общий срок: от 5 до 8 дней в зависимости от сложности.

Автоматическое сопоставление сокращает время загрузки товаров в 10 раз по сравнению с ручным маппингом. Свяжитесь с нами, чтобы обсудить интеграцию с вашим поставщиком. Закажите внедрение автоматического маппинга прямо сейчас.