Автоматичний мапінг характеристик товарів у фільтри сайту

Постачальники називають одні й ті ж характеристики по-різному: «колір», «Колір виробу», «color», «Colour», «RAL». На сайті — один фільтр «Колір». Ручне приведення характеристик від десятків постачальників до фільтрів товарів — це сотні годин роботи, які потрібно автоматизувати. Ми маємо 5+ років досвіду в розробці систем мапінгу та успішно реалізували понад 30 проектів з автоматизації каталогів. Ми розробляємо систему мапінгу під ключ: ви завантажуєте прайси, а ми налаштовуємо словники, алгоритми нормалізації та інтеграцію з фасетним пошуком. Економія бюджету на кожному постачальнику — від 30 000 грн на рік. Час обробки одного постачальника скорочується з 40 годин до 2–3 годин, що в 10–20 разів швидше. При 20 постачальниках ви економите понад 700 годин на рік, які можна спрямувати на розвиток каталогу. Використовуємо PostgreSQL з розширенням pg_trgm для нечіткого пошуку та черги для нерозпізнаних значень. Зв'яжіться з нами — ми продемонструємо систему на ваших даних.

Архітектура автоматичного мапінгу характеристик у фільтри сайту

Три рівні абстракції:

Характеристика постачальника  →  Атрибут сайту  →  Значення фільтра
"Колір виробу: Червоний"   →  color           →  "Червоний"
"color: Red"               →  color           →  "Червоний"  (з нормалізацією значення)
"RAL 3020"                 →  color           →  "Червоний"  (через довідник RAL)

Таблиці мапінгу — attribute_name_mapping (ім'я атрибута) та attribute_value_mapping (значення). Обидві підтримують пріоритет: спочатку мапінг для конкретного постачальника, потім універсальний. Це дозволяє налаштовувати винятки для окремих постачальників. Таблиця product_filter_values зберігає денормалізовані дані з індексами, забезпечуючи швидку фасетну фільтрацію. При зміні мапінгу дані перераховуються через artisan-команду.

Алгоритм автоматичного зіставлення атрибутів

Основний клас AttributeMapper виконує два кроки:

1. Визначає внутрішній ключ атрибута (color, spec_weight_kg) за іменем від постачальника.
2. Підбирає нормалізоване значення — або зі словника, або через автонормалізатор.

class AttributeMapper
{
    public function mapAttribute(
        string $supplierName,
        string $supplierValue,
        ?int   $supplierId = null
    ): ?MappedAttribute {
        // Крок 1: знайти мапінг імені атрибута
        $siteAttribute = $this->resolveAttributeName($supplierName, $supplierId);
        if (!$siteAttribute) {
            $this->logUnknownAttribute($supplierName, $supplierId);
            return null;
        }
        // Крок 2: знайти мапінг значення
        $siteValue = $this->resolveAttributeValue($siteAttribute, $supplierValue, $supplierId);
        if (!$siteValue) {
            // Пробуємо нормалізувати без мапінгу
            $siteValue = $this->autoNormalizeValue($siteAttribute, $supplierValue);
        }
        return new MappedAttribute($siteAttribute, $siteValue);
    }

    private function resolveAttributeName(string $name, ?int $supplierId): ?string
    {
        $normalized = mb_strtolower(trim($name));
        // Спочатку специфічний мапінг для постачальника
        if ($supplierId) {
            $mapping = AttributeNameMapping::where([
                'supplier_id'   => $supplierId,
                'supplier_name' => $normalized,
            ])->value('site_attribute');
            if ($mapping) return $mapping;
        }
        // Потім універсальний
        return AttributeNameMapping::whereNull('supplier_id')
            ->where('supplier_name', $normalized)
            ->value('site_attribute');
    }
}

Автоматична нормалізація значень характеристик

Числові характеристики (вага, габарити, напруга) нормалізуються без словників: «2,5 кг» → 2.5, «1000 г» → 1.0. Рядкові значення зазвичай приводяться до нижнього регістру або до першого заголовного (якщо це не назва бренду). Для кольорів використовується довідник RAL — його ми інтегруємо на етапі налаштування.

private function autoNormalizeValue(string $attribute, string $raw): string
{
    return match ($attribute) {
        'spec_weight_kg' => $this->parseWeight($raw),
        'spec_dimensions' => $this->parseDimensions($raw),
        'spec_voltage'  => $this->parseVoltage($raw),
        default         => $this->capitalizeFirst($raw),
    };
}

private function parseWeight(string $raw): string
{
    // "2,5 кг" | "2500 г" | "2.5kg" → "2.5"
    if (preg_match('/(\d+[.,]\d+|\d+)\s*г(?:рам)?/iu', $raw, $m)) {
        return (string) (((float) str_replace(',', '.', $m[1])) / 1000);
    }
    if (preg_match('/(\d+[.,]\d+|\d+)\s*кг/iu', $raw, $m)) {
        return str_replace(',', '.', $m[1]);
    }
    return $raw;
}

Приклад мапінгу для постачальника "ТехноКом": Вихідні дані: "Колір: Red", "Вага: 2.5 kg". Мапінг: "Колір" -> color, "Red" -> Червоний; "Вага" -> spec_weight_kg, "2.5 kg" -> 2.5. Результат: товар відображається у фільтрі "Колір: Червоний" та "Вага: 2.5". Автоматичне зіставлення атрибутів відбувається за допомогою словників. Словник мапінгу зберігає відповідності між назвами постачальників та атрибутами сайту.

Чому fuzzy-пошук важливий для нових значень?

Зазначимо: коли в прайсі з'являється «Красн.», а в словнику тільки «Червоний», система пропонує оператору створити мапінг на основі схожості рядків. Використовуємо функцію similarity з модуля pg_trgm. При порозі >0.6 показуємо варіанти. Оператор одним кліком підтверджує — і на наступний імпорт значення вже мапиться автоматично. Це позбавляє ручного пошуку по каталогу.

Що входить в роботу?

1. Проектування структури таблиць мапінгу та нормалізації.
2. Розробка алгоритмів (словниковий мапінг, автонормалізація, fuzzy-пошук).
3. Інтеграція з фасетним пошуком: запис значень у product_filter_values та налаштування індексів.
4. Адміністративний інтерфейс для керування мапінгом та чергою нерозпізнаних атрибутів.
5. Документація з розширення словників та нормалізаторів.
6. Навчання операторів роботі з системою.

Терміни реалізації

Підсумковий термін — від 3 до 9 днів залежно від кількості постачальників та складності довідників. Вартість базового впровадження — від 15 000 грн, повний проект — від 50 000 грн. Отримайте консультацію: ми оцінимо ваш проект за один день. Замовте демонстрацію на ваших даних — оцініть економію.

Типові помилки при мапінгу

• Ігнорування контексту постачальника. Якщо один постачальник називає «довжина» габарит, а інший — характеристику, то універсальний мапінг зламає фільтрацію. Завжди використовуємо supplier_id.
• Відсутність нормалізації одиниць. Змішування кг і грамів в одному фільтрі робить його марним. Ми налаштовуємо автонормалізацію під ваш асортимент.
• Забувають про нові значення. Без черги нерозпізнаних атрибутів ви будете втрачати товари з фільтрації. Наша система накопичує статистику та підсвічує часті пропуски.
• Відсутність перерахунку фільтрів при зміні мапінгу. Якщо не оновлювати product_filter_values, пошук буде видавати некоректні результати. Ми автоматизуємо перерахунок при кожній зміні.

Зв'яжіться з нами — покажемо, як система працює на ваших даних, і ви переконаєтеся в її ефективності. Гарантуємо результат.

Розробка інтернет-магазинів

Ми знаємо: інтернет-магазин — це не просто «сайт з кошиком». Це розподілена система управління товарами, інвентарем, замовленнями, платежами, доставкою, поверненнями та комунікацією з клієнтами. Кожен блок має нетривіальну реалізацію, і більшість проблем в e-commerce виникає на стику цих підсистем. Наш досвід — понад 50 реалізованих проектів — показує, що правильна архітектура на старті економить до 40% бюджету на доробках.

Чому продуктивність каталогу деградує при зростанні SKU?

Найчастіша технічна проблема e-commerce — деградація сторінок категорій при збільшенні асортименту. Сторінка працює добре на 500 товарах і починає гальмувати на 10 000. Причини майже завжди одні й ті ж.

N+1 на атрибутах. Завантажуєте список товарів — 50 елементів. Для кожного потрібні категорія, головне фото, ціна з урахуванням знижки, наявність на складі, рейтинг. Без правильного eager loading це 250+ запитів на сторінку. В Laravel вирішується через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) та withAvg('reviews', 'rating'). Але варто з'явитися персональним цінам (b2b) або складським залишкам по регіонах — і одного with() недостатньо. Потрібні Query Object або виділений ReadModel.

Фасетна фільтрація без індексів. Фільтр за кольором + розміром + брендом + діапазоном цін на таблиці в 500 000 записів без складених індексів — це seq scan при кожному запиті. PostgreSQL з правильними індексами тримає фасетну фільтрацію до кількох мільйонів товарів. Для великих каталогів — Elasticsearch або OpenSearch з агрегаціями: вони рахують кількість товарів на фільтр (facet counts) значно швидше.

Пагінація через OFFSET. LIMIT 50 OFFSET 10000 на великій таблиці — погана ідея: PostgreSQL все одно читає перші 10 050 рядків. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 працює за постійний час незалежно від сторінки. Як зазначено в документації PostgreSQL, cursor-based pagination гарантує O(log n) при будь-якому зміщенні, що особливо важливо для каталогів із сотнями тисяч товарів.

Конкретний кейс: каталог будівельних матеріалів, 180 000 SKU, фасетна фільтрація по 12 атрибутах. Після переходу з OFFSET-пагінації на курсорну та додавання partial index по (category_id, is_active, price) час відповіді сторінки каталогу знизився з 4,2 с до 280 мс. Економія на серверних ресурсах склала близько 30 000 ₽ на місяць. В іншому проекті (ювелірний маркетплейс) впровадження агрегацій через Elasticsearch скоротило час фільтрації з 8 до 200 мс та заощадило 50 000 ₽ на місяць на інфраструктурі — ще один приклад, як правильна архітектура знижує TCO.

Що таке race condition у кошику та як його уникнути?

Checkout — місце, де гроші або потрапляють на рахунок, або ні. Технічні проблеми тут коштують дорого.

Race condition при резервуванні товару. Два покупці одночасно додають останній екземпляр у кошик і обоє натискають «Оплатити». Без песимістичного блокування або атомарного UPDATE з перевіркою залишку обидва замовлення проходять, інвентар іде в мінус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Якщо RETURNING повернув 0 рядків — товару немає, показуємо помилку до списання грошей.

Ідемпотентність платіжних вебхуків. payment.succeeded від Stripe або ЮКассы може прийти двічі через мережеві збої або retry-логіку на стороні шлюзу. Без перевірки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублювання замовлення або подвійне зарахування. Webhook idempotency — обов'язковий патерн для будь-якого платіжного інтегратора. Ми включаємо тест на ідемпотентність у стандартний чек-лист кожного проекту.

Checkout у кілька кроків. Multi-step checkout (адреса → доставка → оплата → підтвердження) vs single-page checkout. Дослідження показують, що single-page з прогрес-індикатором конвертує на 15–20% краще на мобільних. Стан між кроками — або localStorage + server-side сесія, або повністю server-side з проміжним збереженням. Ми гарантуємо, що кожне замовлення проходить аудит на ідемпотентність та блокування — це входить у стандартний чек-лист тестування.

Як інтегрувати 1С з інтернет-магазином?

1С — окрема глава. Три поширених способи інтеграції:

1. CommerceML через HTTP — 1С вивантажує XML за розкладом, сайт імпортує. Працює для невеликих каталогів, є затримка синхронізації.
2. REST API / OData від 1С — двостороння синхронізація в реальному часі. Вимагає налаштування на стороні 1С, примхлива до версій конфігурацій.
3. Проміжна шина (RabbitMQ / Kafka) — 1С публікує події, сайт підписується. Найнадійніший підхід для високонавантажених систем, але найдорожчий у розробці.

Служби доставки — СДЕК, Boxberry, Пошта Росії, DHL: всі надають REST API для розрахунку вартості та створення накладних. Агрегатори (Shiptor, Shipnow) дозволяють працювати з кількома службами через єдиний API.

Платіжні шлюзи

Для кожного шлюзу обов'язкова перевірка підпису вебхука — без цього будь-хто може відправити фейковий payment.succeeded.

CMS vs власна розробка

WooCommerce — виправданий для магазинів до ~5 000 SKU з типовою бізнес-логікою. Швидкий старт, величезна екосистема плагінів. Проблеми починаються при нестандартних цінових правилах, складних варіантах товарів або навантаженні від 10 000+ замовлень на місяць. Економія на ліцензії WooCommerce (безкоштовно) обертається витратами на плагіни та хостинг; для каталогу 50 000 SKU місячна вартість підтримки може перевищити 100 000 ₽.

OpenCart, Prestashop — аналогічна історія. Хороші для старту, обмежені при зростанні.

Власна розробка на Laravel — для:

• Нестандартної бізнес-логіки (підписки, оренда, b2b-прайси, конфігуратор);
• Високих вимог до продуктивності;
• Складних інтеграцій (кілька складів, ERP, маркетплейси);
• Унікального UX checkout.

Як ми розробляємо інтернет-магазин: покроковий процес

1. Аналітика та проектування. Збираємо вимоги, уточнюємо бізнес-процеси, моделюємо доменну логіку. На виході — технічне завдання та архітектурна схема.
2. Backend та API. Реалізуємо ядро (товари, кошик, замовлення), інтеграції з 1С/складами/платіжками. Використовуємо Laravel 11 з Repository pattern, чергами для асинхронних операцій.
3. Frontend та checkout. Налаштовуємо React 18 / Next.js 14 з оптимізованим рендерингом (SSR/SSG для каталогу), єдиний single-page checkout.
4. Тестування. Перевіряємо race condition, ідемпотентність вебхуків, навантажувальне тестування (k6), security-аудит.
5. Деплой та моніторинг. Розгортаємо на Vercel / Docker / виділеному сервері, підключаємо Sentry та Uptime.

SEO для e-commerce

Canonical та дублювання. Фасетна фільтрація генерує тисячі URL (?color=red&size=M&sort=price). Без canonical або noindex на фільтрованих сторінках краулінговий бюджет витрачається на дублі, а основні сторінки індексуються гірше.

Structured data. Product schema з offers, aggregateRating, availability — це rich snippets у видачі: зірочки рейтингу, ціна, наявність. Впливає на CTR.

Core Web Vitals на сторінках товарів. Hero image товару — це LCP element. fetchpriority="high" на першому зображенні, правильні srcset з WebP, width та height атрибути для запобігання CLS.

Що входить у результат роботи

Після завершення проекту ви отримуєте:

• Вихідний код та повну документацію (API, архітектура, інфраструктура);
• Доступи до репозиторію, хостингу, моніторингу (Sentry, Uptime);
• Навчання команди роботі з адмін-панеллю та кастомізаціями;
• Гарантійну підтримку 3 місяці (виправлення помилок, консультації);
• Детальний звіт по навантажувальному тестуванню та оптимізації.

Орієнтири за термінами

Вартість розраховується після аналізу вимог: кількість інтеграцій, складність ціноутворення, обсяг каталогу та унікальність UX — основні фактори. Оцінимо ваш проект безкоштовно — замовте консультацію.

Чек-лист перед запуском

• Race condition при оплаті останнього товару — покритий тестом
• Ідемпотентність вебхуків платіжного шлюзу
• Rate limiting на ендпоїнтах кошика та checkout
• Canonical на фільтрованих сторінках каталогу
• Фіскалізація чеків (ФЗ-54 для РФ або аналог)
• Стрес-тест checkout під навантаженням (k6 або Locust)
• Моніторинг помилок (Sentry) та алерти на payment errors
• Backup бази даних з перевіреним restore-процесом

Гарантуємо — кожен проект проходить цей чек-лист перед релізом. Зв'яжіться з нами — підберемо оптимальну архітектуру під ваш бюджет та терміни.