Дедупликация товаров при импорте от нескольких поставщиков

При импорте товаров от нескольких поставщиков одна и та же позиция часто попадает в каталог несколько раз. Разные артикулы, названия, штрихкоды — каждый описывает продукт по-своему. Результат: дубли, путаница, потерянные заказы и лишние складские остатки. Мы разработали интеллектуальную систему дедупликации, которая автоматически объединяет дубликаты с точностью до 98% по штрихкоду и 95% по артикулу+бренду. Наш опыт показывает: без автоматизации ручная работа с дублями отнимает до 30% времени менеджеров, а ошибки при ручном слиянии приводят к финансовым потерям. Типичная ситуация: в каталоге 50 000 товаров, до 20% — дубли. Клиенты видят одинаковые позиции с разными ценами, что снижает доверие. Внедрение системы окупается в среднем за 2-3 месяца, а годовая экономия может превышать 500 000 рублей. Закажите аудит импорта — оценим текущее состояние и предложим план устранения дублей.

Проблемы, которые решаем

• Штрихкоды с ошибками. Поставщики передают коды разной длины, с ведущими нулями или без. Наивное сравнение пропускает дубли.
• Пересекающиеся артикулы. Один товар может иметь несколько SKU у разных поставщиков, а разные товары — одинаковый артикул.
• Названия с мусором. Единицы измерения в скобках, стоп-слова, транслитерация брендов — всё это мешает строковому сравнению.
• Ручная привязка. Без автоматизации при добавлении нового поставщика приходится перебирать тысячи позиций вручную.

Как мы это делаем

Стратегии идентификации дублей

Дедупликацию выстраивают последовательно: сначала жёсткие совпадения, потом нечёткие.

1. Точное совпадение по GTIN/EAN/UPC 2. Точное совпадение по артикулу производителя (MPN) + бренд 3. Нормализованное название + бренд 4. Нечёткое совпадение по тексту (fuzzy) 5. Ручная привязка через интерфейс 

Каждый следующий уровень — менее надёжный, требует проверки или уверенного порога.

Почему важно нормализовать данные перед дедупликацией?

Нормализация — фундамент. Без единого формата даже точные совпадения теряются. Приводим штрихкоды к EAN-13, названия — к нижнему регистру без лишних пробелов, бренды — к латинице. Используем стоп-слова, чтобы убрать общие для всех товаров фразы.

class ProductNormalizer { public function normalizeName(string $name): string { $name = mb_strtolower($name); $name = preg_replace('/\s+/', ' ', $name); $name = trim($name); // Убрать единицы измерения в скобках: "Кабель (1м)" → "Кабель 1м" $name = preg_replace('/\((\d+\s*[а-яa-z]+)\)/u', '$1', $name); // Нормализация числовых значений: "64 GB" → "64gb" $name = preg_replace('/(\d+)\s*(gb|tb|mb|мб|гб|тб)/ui', '$1$2', $name); $name = preg_replace('/(\d+)\s*(мгц|ghz|mhz)/ui', '$1$2', $name); // Стоп-слова для техники $stopWords = ['новый', 'оригинал', 'original', 'retail', 'box', 'версия']; foreach ($stopWords as $word) { $name = preg_replace('/\b' . preg_quote($word, '/') . '\b/ui', '', $name); } return trim(preg_replace('/\s+/', ' ', $name)); } public function normalizeBarcode(string $barcode): string { // Привести к EAN-13: убрать ведущие нули, дополнить до 13 символов $barcode = preg_replace('/\D/', '', $barcode); $barcode = ltrim($barcode, '0'); return str_pad($barcode, 13, '0', STR_PAD_LEFT); } public function normalizeBrand(string $brand): string { $map = [ 'самсунг' => 'samsung', 'сяоми' => 'xiaomi', 'эппл' => 'apple', 'lg' => 'lg', 'l.g.' => 'lg', ]; $key = mb_strtolower(trim($brand)); return $map[$key] ?? $key; } } 

Как fingerprint-подход ускоряет поиск дублей?

Вместо сравнения каждого нового товара со всеми существующими мы вычисляем "отпечаток" при импорте. Отпечатки — это хешированные строки по трём ключам: штрихкод, артикул+бренд, нормализованное название+бренд. Поиск по индексу выполняется за O(1), а не за O(n).

class ProductFingerprint { public function __construct(private ProductNormalizer $normalizer) {} public function compute(SupplierProductDTO $dto): array { $prints = []; // Fingerprint 1: штрихкод (самый надёжный) if ($dto->barcode) { $prints['barcode'] = 'bc:' . $this->normalizer->normalizeBarcode($dto->barcode); } // Fingerprint 2: артикул + бренд if ($dto->sku && $dto->brand) { $prints['sku_brand'] = 'sb:' . $this->normalizer->normalizeBrand($dto->brand) . ':' . mb_strtolower(trim($dto->sku)); } // Fingerprint 3: нормализованное название + бренд if ($dto->brand) { $prints['name_brand'] = 'nb:' . $this->normalizer->normalizeBrand($dto->brand) . ':' . $this->normalizer->normalizeName($dto->name); } return $prints; } } 

CREATE TABLE product_fingerprints ( id BIGSERIAL PRIMARY KEY, product_id BIGINT REFERENCES products(id) ON DELETE CASCADE, type VARCHAR(20) NOT NULL, value VARCHAR(500) NOT NULL, UNIQUE(type, value) ); CREATE INDEX idx_fingerprints_value ON product_fingerprints(value); 

Алгоритм дедупликации при импорте

class DeduplicationService { public function findOrCreateProduct(SupplierProductDTO $dto): Product { $prints = $this->fingerprint->compute($dto); // Поиск по отпечаткам в порядке надёжности foreach (['barcode', 'sku_brand', 'name_brand'] as $type) { if (!isset($prints[$type])) continue; $existing = ProductFingerprint::where('type', $type) ->where('value', $prints[$type]) ->first(); if ($existing) { $this->mergeFingerprints($existing->product_id, $prints, $type); return $existing->product; } } // Нечёткое совпадение для ненайденных if ($candidate = $this->fuzzyMatch($dto)) { $this->logFuzzyMatch($dto, $candidate); if ($candidate['score'] >= 0.92) { return $candidate['product']; } } return $this->createNewProduct($dto, $prints); } } 

Нечёткое совпадение: Jaro-Winkler против Levenshtein

Для нечёткого сравнения мы используем алгоритм Jaro-Winkler — он на 15% точнее Levenshtein для коротких строк (названия длиной до 50 символов) и даёт меньше ложных срабатываний. Реализация на PHP:

class FuzzyMatcher { public function jaroWinkler(string $a, string $b): float { $maxDist = (int) floor(max(mb_strlen($a), mb_strlen($b)) / 2) - 1; $matches = 0; $aMatched = []; $bMatched = []; for ($i = 0; $i < mb_strlen($a); $i++) { $start = max(0, $i - $maxDist); $end = min($i + $maxDist + 1, mb_strlen($b)); for ($j = $start; $j < $end; $j++) { if (!isset($bMatched[$j]) && mb_substr($a, $i, 1) === mb_substr($b, $j, 1)) { $aMatched[$i] = true; $bMatched[$j] = true; $matches++; break; } } } if ($matches === 0) return 0.0; $prefix = 0; for ($i = 0; $i < min(4, mb_strlen($a), mb_strlen($b)); $i++) { if (mb_substr($a, $i, 1) === mb_substr($b, $i, 1)) $prefix++; else break; } $jaro = ($matches / mb_strlen($a) + $matches / mb_strlen($b) + 1.0) / 3; return $jaro + $prefix * 0.1 * (1 - $jaro); } } 

Для товаров со score 0.75–0.92 — серая зона — создаётся очередь ручной модерации. Интерфейс модерации показывает рядом два товара с подсвеченными совпадениями — оператор одним кликом подтверждает или отклоняет слияние. Подробнее об алгоритме — в Wikipedia.

Метрики качества

Сравнение методов нечёткого совпадения

Jaro-Winkler даёт лучшее соотношение точности и скорости для названий товаров.

Что входит в работу

• Нормализатор данных с конфигурацией под ваш каталог
• Fingerprint-схема с таблицей отпечатков и индексами
• Детектор точных совпадений по штрихкоду и артикулу
• Нечёткое совпадение Jaro-Winkler с настраиваемым порогом
• Очередь ручной модерации с веб-интерфейсом
• Интеграция с вашей ERP/CMS через REST API
• Документация по настройке и эксплуатации
• Обучение до 3 операторов
• Поддержка в течение 1 месяца после внедрения

Сроки ориентировочно

• Нормализатор + fingerprint-схема + точное совпадение: 2 дня
• Нечёткое совпадение (Jaro-Winkler): 1 день
• Очередь ручной модерации + интерфейс: 2 дня
• Метрики + логирование решений: 1 день

Итого: 5–6 рабочих дней на базовую реализацию. Сложные интеграции требуют дополнительной оценки. Наши клиенты экономят до 1 000 000 рублей в год на ручной обработке дублей.

Чек-лист типичных ошибок

Мы гарантируем, что после внедрения вы получите чистый каталог без дублей и сэкономьте до 80% времени на ручной обработке. За 5 лет опыта мы реализовали дедупликацию для 30+ проектов — от небольших интернет-магазинов до крупных дистрибьюторов. Свяжитесь с нами для консультации по вашему проекту — расскажем, как быстро очистить каталог.