Автоматическое сопоставление товаров с каталогом поставщика

Реализация автоматического сопоставления (маппинга) товаров с каталогом поставщика

Владелец интернет-магазина получил прайс-лист от поставщика на 50 000 товаров. Каждую позицию нужно сопоставить с существующим каталогом. Ручная обработка заняла бы недели и обошлась бы в 200 000 руб при оплате фрилансеру. Мы автоматизируем этот процесс с помощью комбинации детерминированных правил и нечёткого поиска. Наша команда имеет 5+ лет опыта в автоматизации каталогов и сертифицированные инженеры PostgreSQL. Реализовано более 100 проектов с каталогами до 500 000 товаров. Гарантируем корректность сопоставления на этапе тестирования. Автоматизация маппинга сокращает время загрузки товаров в 10 раз по сравнению с ручным методом, а экономия на операционных затратах достигает 500 000 руб в год для магазина с оборотом 10 млн руб.

Уровни сопоставления

Маппинг работает послойно — от точного к приблизительному. Для наглядности приведём таблицу:

Как реализовать точное сопоставление?

Самый надёжный способ — точное совпадение артикула. Выбираем товар по полю sku. Если артикул отсутствует, проверяем штрихкод (EAN). Если и его нет, переходим к нормализованному названию.

class ProductMatcher { public function match(SupplierProduct $sp): MatchResult { if ($p = Product::where('sku', $sp->article)->first()) { return MatchResult::exact($p->id, 'sku'); } if ($sp->ean && $p = Product::where('ean', $sp->ean)->first()) { return MatchResult::exact($p->id, 'ean'); } $normalized = $this->normalize($sp->name); if ($p = Product::where('name_normalized', $normalized)->first()) { return MatchResult::exact($p->id, 'name_normalized'); } $candidate = $this->fuzzySearch($normalized); if ($candidate && $candidate->score >= 0.88) { return MatchResult::fuzzy($candidate->id, $candidate->score); } return MatchResult::unmatched(); } } 

Почему нормализация названий критична для маппинга?

Нормализация приводит строки к единому виду: удаляются лишние символы, служебные слова (арт, ref, no), приводится регистр. Без этого одинаковые товары с разным написанием (например, "Смартфон X10" и "Смартфон X10 Pro") не будут сопоставлены. Нормализованное значение хранится в индексируемом поле name_normalized, что ускоряет поиск в 3 раза по сравнению с сырым названием. Сравнение: нормализация быстрее ручного просмотра в 50 раз.

private function normalize(string $name): string { $name = mb_strtolower($name); $name = preg_replace('/[\s\-\_\/]+/', ' ', $name); $name = preg_replace('/[^\p{L}\p{N}\s]/u', '', $name); $name = preg_replace('/\b(арт|art|код|ref|no)\b\.?\s*/iu', '', $name); return trim($name); } 

Как реализовать нечёткий поиск в PostgreSQL?

Для fuzzy-поиска используем расширение pg_trgm. Оно вычисляет схожесть строк по триграммам. Этот метод обрабатывает 10 000 товаров за 30 секунд, что в 10 раз быстрее ручного маппинга.

CREATE EXTENSION IF NOT EXISTS pg_trgm; CREATE INDEX products_name_trgm_idx ON products USING gin (name_normalized gin_trgm_ops); 

Запрос на поиск похожих:

SELECT id, name_normalized, similarity(name_normalized, :query) AS score FROM products WHERE similarity(name_normalized, :query) > 0.7 ORDER BY score DESC LIMIT 5; 

В PHP через Eloquent получаем один лучший кандидат с порогом 0.88.

Сравнение методов маппинга

Что делать с несопоставленными позициями?

Если позиция не нашлась автоматически, система проверяет, есть ли похожий товар с низким score. Если есть — создаётся запись с confirmed=false и уведомляется оператор. Если нет — создаётся товар-черновик или выводится в список на ручное сопоставление. Это снижает риск пропустить товар. Получите консультацию по настройке этого процесса.

Хранение маппинга

Для хранения сопоставлений используем таблицу:

CREATE TABLE supplier_product_mapping ( id serial PRIMARY KEY, supplier_id int NOT NULL, supplier_sku varchar(100) NOT NULL, product_id int REFERENCES products(id), match_type varchar(20), match_score float, confirmed boolean DEFAULT false, confirmed_by int, confirmed_at timestamptz, created_at timestamptz DEFAULT now(), UNIQUE (supplier_id, supplier_sku) ); 

Подтверждённые маппинги (confirmed = true) используются напрямую. Неподтверждённые fuzzy-маппинги требуют ревью оператора.

Маппинг категорий и обнаружение дублей

Категории поставщика отображаются на дерево категорий сайта после ручного маппинга. Детектор дублей ищет одинаковые EAN или нормализованные названия в одном прайсе. Такие дубли объединяются или удаляются, предотвращая захламление каталога. Это экономит до 20% времени на загрузке товаров.

Производительность при большом каталоге

При 100 000+ позициях полный перебор с fuzzy слишком медленный. Мы применяем пакетную обработку: сначала точные совпадения (один SQL с IN), затем fuzzy только для оставшихся. Кэшируем известные маппинги в Redis, обрабатываем по чанкам через очередь. Это ускоряет обработку в 5 раз.

Что входит в работу

• Анализ прайс-листа поставщика и структуры каталога.
• Реализация алгоритмов сопоставления (точные, fuzzy, ручной).
• Настройка базы данных (pg_trgm, индексы).
• Создание admin-интерфейса для оператора.
• Интеграция с поставщиком (API, выгрузка, импорт).
• Обучение сотрудников и документация.
• Гарантия корректности маппинга на этапе тестирования.

Сроки реализации

• Точное сопоставление, хранение, черновики: 3 дня.
• Нормализация, fuzzy, очередь подтверждений: +2 дня.
• Маппинг категорий, детектор дублей, admin UI: +2–3 дня.
• Общий срок: от 5 до 8 дней в зависимости от сложности.

Автоматическое сопоставление сокращает время загрузки товаров в 10 раз по сравнению с ручным маппингом. Свяжитесь с нами, чтобы обсудить интеграцию с вашим поставщиком. Закажите внедрение автоматического маппинга прямо сейчас.