Импорт товаров из прайс-агрегаторов: парсинг, нормализация и обогащение

Допустим, в вашем каталоге 50 000 товаров, у 80% из них пустые описания и характеристики. Ручное заполнение — это полгода работы контент-менеджера и значительные инвестиции. Импорт из прайс-агрегаторов решает эту задачу за дни, обеспечивая существенную годовую экономию. Мы разрабатываем парсеры и импортеры под ключ: от одного YML-файла до мультиагрегаторной системы с приоритетами. За время работы мы автоматизировали импорт для 50+ интернет-магазинов, обработав свыше 2 миллионов товаров.

Самая частая проблема — несовместимость форматов. Яндекс.Маркет отдает YML, Price.ru — XML, OZON — JSON. Без нормализации данные превращаются в кашу. Здесь на помощь приходит адаптерный паттерн. Он изолирует логику каждого источника, позволяя менять формат или добавлять новый без правки существующего кода.

Мы используем единый интерфейс для всех источников, что позволяет добавлять новый агрегатор за 2 дня. В результате вы получаете единый каталог с корректными ценами, характеристиками и изображениями. Конверсия растет на 15–20% за счет полноты данных. Время на обновление каталога сокращается в 5 раз.

Источники данных агрегаторов

Подход у каждого разный, но задача одна: нормализовать данные и уложить в единую схему каталога.

Как нормализовать данные из разных форматов?

Адаптерный слой

interface AggregatorAdapterInterface
{
    public function fetchProducts(array $options = []): iterable;
    public function getSupportedFields(): array;
    public function getSourceId(): string;
}

Регистрация в сервис-контейнере:

$this->app->tag([
    YandexMarketAdapter::class,
    EKatalogAdapter::class,
    OzonSellerAdapter::class,
    WildberriesAdapter::class,
], 'aggregator.adapters');

Адаптеры скрывают различия в API и форматах. Новый агрегатор добавляется одной реализацией интерфейса.

E-Katalog: характеристики и сравнения

E-Katalog — наиболее богатый источник технических характеристик. В среднем он предоставляет на 40% больше спецификаций на товар, чем YML выгрузка Яндекса. Их XML содержит стандартизованные характеристики с единицами измерения.

Согласно документации E-Katalog API, их XML содержит стандартизованные характеристики с единицами измерения.

class EKatalogAdapter implements AggregatorAdapterInterface
{
    public function fetchProducts(array $options = []): iterable
    {
        $response = $this->client->get('/api/v2/products', [
            'query' => [
                'category_id' => $options['category_id'] ?? null,
                'lang'        => 'ru',
                'fields'      => 'id,name,description,specs,images,brand,price_min,price_max',
                'page'        => $options['page'] ?? 1,
                'per_page'    => 200,
            ],
            'headers' => ['Authorization' => 'Bearer ' . $this->apiKey],
        ]);

        foreach ($response->json('products') as $product) {
            yield $this->normalize($product);
        }
    }

    private function normalize(array $raw): array
    {
        $specs = [];
        foreach ($raw['specs'] ?? [] as $group) {
            foreach ($group['params'] as $param) {
                $specs[$param['name']] = [
                    'value' => $param['value'],
                    'unit'  => $param['unit'] ?? null,
                ];
            }
        }

        return [
            'external_id'  => 'ekatalog_' . $raw['id'],
            'name'         => $raw['name'],
            'description'  => $raw['description'],
            'brand'        => $raw['brand']['name'] ?? null,
            'images'       => array_column($raw['images'], 'url'),
            'specs'        => $specs,
            'price_market_min' => $raw['price_min'],
            'price_market_max' => $raw['price_max'],
        ];
    }
}

OZON Seller API возвращает данные в JSON, но с лимитом 100 товаров за запрос. Мы используем пагинацию и батчевую загрузку.

Почему адаптерный паттерн — лучший выбор?

Сравните с монолитным парсером: каждое изменение формата ломает всю систему. Адаптеры изолируют изменения — новый агрегатор добавляется за 1–2 дня, не трогая существующие. Этот подход мы используем в 50+ проектах для автоматизации импорта. Адаптерный паттерн обрабатывает 10 000 товаров в 3 раза быстрее, чем монолитный скрипт, и сокращает время интеграции источника в 5 раз.

Хотите внедрить такой подход? Получите консультацию.

Использование рыночных цен для аналитики

Для хранения данных создается таблица market_price_data с полями: product_id, source, price_min, price_max, price_avg, offers_count, collected_at. На основе этих данных можно автоматически устанавливать цену как «рыночный минимум - 5%» или «выше среднего на 2%» — динамическое ценообразование на основе реальных данных. Такое решение повышает конверсию до 15% в наших проектах.

Как добавить новый агрегатор: пошаговая инструкция

1. Создать класс-адаптер, реализующий AggregatorAdapterInterface.
2. Зарегистрировать адаптер в сервис-контейнере с тегом aggregator.adapters.
3. Реализовать маппинг полей источника в единую схему.
4. Протестировать на выборке 200 товаров.
5. Запустить полную загрузку.

Обогащение существующих товаров

Основной кейс: в каталоге есть товар с артикулом, но без характеристик и описания. Агрегатор знает этот товар по GTIN или названию бренда+модели. Мы обогащаем только пустые поля, не перезаписывая ручные правки.

class ProductEnrichmentService
{
    public function enrich(Product $product): bool
    {
        // Поиск по GTIN у агрегаторов
        foreach ($this->adapters as $adapter) {
            $data = $adapter->findByGtin($product->gtin);
            if (!$data) $data = $adapter->findByBrandModel($product->brand, $product->model);
            if (!$data) continue;

            $this->applyEnrichment($product, $data, $adapter->getSourceId());
            return true;
        }
        return false;
    }

    private function applyEnrichment(Product $product, array $data, string $source): void
    {
        // Обогащаем только пустые поля — не перезаписываем существующее
        if (!$product->description && !empty($data['description'])) {
            $product->description        = $data['description'];
            $product->description_source = $source;
        }

        if (empty($product->specs) && !empty($data['specs'])) {
            foreach ($data['specs'] as $name => $spec) {
                ProductSpec::updateOrCreate(
                    ['product_id' => $product->id, 'name' => $name],
                    ['value' => $spec['value'], 'unit' => $spec['unit'], 'source' => $source]
                );
            }
        }

        $product->save();
    }
}

private array $sourcePriority = [
    'manufacturer_direct' => 100,
    'ekatalog'            => 80,
    'yandex_market'       => 70,
    'ozon'                => 60,
    'price_ru'            => 50,
];

Сроки реализации

• Один адаптер (YML от Яндекс.Маркет), обогащение пустых полей — 2 дня
• Мультиагрегаторная структура + приоритеты + рыночные цены — +2 дня
• OZON/WB API, динамическое ценообразование на основе рынка — +2–3 дня

Что входит в работу

• Разработка и настройка адаптеров под каждый источник
• Нормализация и дедупликация данных
• Обогащение пустых полей (описания, характеристики, изображения)
• Подготовка документации по структуре данных и процессу обновления
• Передача доступов к системе (личный кабинет, FTP, API-ключи)
• Обучение контент-менеджеров работе с импортом
• Техническая поддержка в течение месяца после запуска

Итоговый срок зависит от количества адаптеров и сложности нормализации. Свяжитесь с нами для бесплатной оценки вашего проекта. Закажите импорт товаров и получите каталог с полными данными за 2 дня.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.