Автоматический маппинг характеристик товаров в фильтры сайта

Поставщики называют одни и те же характеристики по-разному: «цвет», «Цвет изделия», «color», «Colour», «RAL». На сайте — один фильтр «Цвет». Ручное приведение характеристик от десятков поставщиков к фильтрам сайта — это сотни часов работы, которые нужно автоматизировать. Мы разрабатываем систему маппинга под ключ: вы загружаете прайсы, а мы настраиваем словари, алгоритмы нормализации и интеграцию с фасетным поиском. Экономия бюджета на каждом поставщике — от 30 000 рублей в год. Время обработки одного поставщика сокращается с 40 часов до 2–3 часов, что в 10–20 раз быстрее. При 20 поставщиках вы экономите более 700 часов в год, которые можно направить на развитие каталога. Используем PostgreSQL с расширением pg_trgm для нечёткого поиска и очереди для нераспознанных значений. Свяжитесь с нами — мы продемонстрируем систему на ваших данных.

Архитектура системы маппинга

Три уровня абстракции:

Характеристика поставщика  →  Атрибут сайта  →  Значение фильтра
"Цвет изделия: Красный"   →  color           →  "Красный"
"color: Red"               →  color           →  "Красный"  (с нормализацией значения)
"RAL 3020"                 →  color           →  "Красный"  (через справочник RAL)

Таблицы маппинга — attribute_name_mapping (имя атрибута) и attribute_value_mapping (значение). Обе поддерживают приоритет: сначала маппинг для конкретного поставщика, потом универсальный. Это позволяет настраивать исключения для отдельных поставщиков. Таблица product_filter_values хранит денормализованные данные с индексами, обеспечивая быструю фасетную фильтрацию. При изменении маппинга данные пересчитываются через artisan-команду.

Алгоритм маппинга

Основной класс AttributeMapper выполняет два шага:

1. Определяет внутренний ключ атрибута (color, spec_weight_kg) по имени от поставщика.
2. Подбирает нормализованное значение — либо из словаря, либо через автонормализатор.

class AttributeMapper
{
    public function mapAttribute(
        string $supplierName,
        string $supplierValue,
        ?int   $supplierId = null
    ): ?MappedAttribute {
        // Шаг 1: найти маппинг имени атрибута
        $siteAttribute = $this->resolveAttributeName($supplierName, $supplierId);
        if (!$siteAttribute) {
            $this->logUnknownAttribute($supplierName, $supplierId);
            return null;
        }
        // Шаг 2: найти маппинг значения
        $siteValue = $this->resolveAttributeValue($siteAttribute, $supplierValue, $supplierId);
        if (!$siteValue) {
            // Пробуем нормализовать без маппинга
            $siteValue = $this->autoNormalizeValue($siteAttribute, $supplierValue);
        }
        return new MappedAttribute($siteAttribute, $siteValue);
    }

    private function resolveAttributeName(string $name, ?int $supplierId): ?string
    {
        $normalized = mb_strtolower(trim($name));
        // Сначала специфичный маппинг для поставщика
        if ($supplierId) {
            $mapping = AttributeNameMapping::where([
                'supplier_id'   => $supplierId,
                'supplier_name' => $normalized,
            ])->value('site_attribute');
            if ($mapping) return $mapping;
        }
        // Затем универсальный
        return AttributeNameMapping::whereNull('supplier_id')
            ->where('supplier_name', $normalized)
            ->value('site_attribute');
    }
}

Как автоматически нормализуются значения?

Числовые характеристики (вес, габариты, напряжение) нормализуются без словарей: «2,5 кг» → 2.5, «1000 г» → 1.0. Строковые значения обычно приводятся к нижнему регистру или к первому заглавному (если это не название бренда). Для цветов используется справочник RAL — его мы интегрируем на этапе настройки.

private function autoNormalizeValue(string $attribute, string $raw): string
{
    return match ($attribute) {
        'spec_weight_kg' => $this->parseWeight($raw),
        'spec_dimensions' => $this->parseDimensions($raw),
        'spec_voltage'  => $this->parseVoltage($raw),
        default         => $this->capitalizeFirst($raw),
    };
}

private function parseWeight(string $raw): string
{
    // "2,5 кг" | "2500 г" | "2.5kg" → "2.5"
    if (preg_match('/(\d+[.,]\d+|\d+)\s*г(?:рамм)?/iu', $raw, $m)) {
        return (string) (((float) str_replace(',', '.', $m[1])) / 1000);
    }
    if (preg_match('/(\d+[.,]\d+|\d+)\s*кг/iu', $raw, $m)) {
        return str_replace(',', '.', $m[1]);
    }
    return $raw;
}

Почему fuzzy-поиск важен для новых значений?

Отметим: когда в прайсе появляется «Красн.», а в словаре только «Красный», система предлагает оператору создать маппинг на основе схожести строк. Используем функцию similarity из модуля pg_trgm. При пороге >0.6 показываем варианты. Оператор одним кликом подтверждает — и на следующий импорт значение уже маппится автоматически. Это избавляет от ручного поиска по каталогу.

Что входит в работу?

1. Проектирование структуры таблиц маппинга и нормализации.
2. Разработка алгоритмов (словарный маппинг, автонормализация, fuzzy-поиск).
3. Интеграция с фасетным поиском: запись значений в product_filter_values и настройка индексов.
4. Административный интерфейс для управления маппингом и очередью нераспознанных атрибутов.
5. Документация по расширению словарей и нормализаторов.
6. Обучение операторов работе с системой.

Сроки реализации

Итоговый срок — от 3 до 9 дней в зависимости от количества поставщиков и сложности справочников. Стоимость базового внедрения — от 15 000 рублей, полный проект — от 50 000 рублей. Получите консультацию: мы оценим ваш проект за один день. Закажите демонстрацию на ваших данных — оцените экономию.

Типичные ошибки при маппинге

• Игнорирование контекста поставщика. Если один поставщик называет «длина» габарит, а другой — характеристику, то универсальный маппинг сломает фильтрацию. Всегда используем supplier_id.
• Отсутствие нормализации единиц. Смешивание кг и граммов в одном фильтре делает его бесполезным. Мы настраиваем автонормализацию под ваш ассортимент.
• Забывают про новые значения. Без очереди нераспознанных атрибутов вы будете терять товары из фильтрации. Наша система накапливает статистику и подсвечивает частые пропуски.
• Отсутствие пересчёта фильтров при изменении маппинга. Если не обновлять product_filter_values, поиск будет выдавать некорректные результаты. Мы автоматизируем пересчёт при каждом изменении.

Свяжитесь с нами — покажем, как система работает на ваших данных, и вы убедитесь в её эффективности. Гарантируем результат.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.