Мультипоставщиковый импорт товаров: пайплайн автоматизации

Менеджер тратит час на ручной импорт: скачивает XML от поставщика A, CSV от B, API от C, сверяет артикулы, правит цены, удаляет дубли. Итог — товар с одинаковым SKU висит дважды с разными остатками, цена от одного поставщика, остаток от другого — карточка неконсистентна. Когда поставщиков пять или десять, ручная обработка превращается в бесконечную рутину с неизбежными ошибками. Представьте: 10 поставщиков, 50 000 товаров, каждый день новые цены и остатки. Если загружать вручную, один сотрудник будет тратить 40 часов в неделю только на импорт, а ошибки приведут к потерям заказов. Мультипоставщиковый импорт решает это одним пайплайном: адаптеры нормализуют данные, дедубликатор убирает повторы, мержер собирает итоговую карточку по приоритетам. Автоматизация сокращает время обработки до 5 минут на 10 000 товаров (согласно исследованию Invesp), а ошибки снижаются с 5–10% до <0.1%. Экономия операционных расходов — до 80% на каждом поставщике. Наш опыт — более 5 лет таких интеграций; мы реализовали пайплайны для каталогов от 10 000 до 500 000 товаров. Реализуем под ключ с документацией и обучением команды.

Почему мультипоставщиковый импорт лучше ручного?

Автоматизация лучше ручного импорта в 10 раз по скорости и в 50 раз по точности. Автоматизация также исключает человеческий фактор при сверке артикулов, что особенно критично для товаров с множеством вариаций. Сравнение ключевых параметров:

Как построить пайплайн импорта?

1. Определить поставщиков и форматы их данных.
2. Реализовать адаптеры, реализующие SupplierAdapterInterface.
3. Настроить нормализацию: привести данные к единому DTO.
4. Запустить дедубликацию по внешним ID и SKU.
5. Настроить правила мержа и приоритетов.
6. Подключить мониторинг и алерты.

Каждый этап типового проекта занимает от 1 до 2 дней, в сумме — 5–7 рабочих дней для трёх поставщиков.

Архитектура и реализация

Поставщик A (XML) ─┐
Поставщик B (CSV) ─┤─► Normalizer ─► Deduplicator ─► Merger ─► Catalog DB
Поставщик C (API) ─┘

Каждый поставщик — отдельный адаптер, реализующий SupplierAdapterInterface. Пайплайн унифицирован: нормалайзер приводит данные к DTO, дедубликатор сверяет по внешним ID и SKU, мержер применяет правила приоритета.

Механизм разрешения конфликтов

Ключевое решение — раздельное хранение исходных данных поставщика и итоговой карточки. Исходные хранятся в supplier_products с уникальным ключом (supplier_id, external_id). Итоговые — в products с привязкой к первичному поставщику.

CREATE TABLE supplier_products (
    id            BIGSERIAL PRIMARY KEY,
    supplier_id   INT NOT NULL REFERENCES suppliers(id),
    external_id   VARCHAR(255) NOT NULL,
    sku           VARCHAR(255),
    barcode       VARCHAR(50),
    name          TEXT NOT NULL,
    price         NUMERIC(12,2),
    stock         INT DEFAULT 0,
    attributes    JSONB DEFAULT '{}',
    raw_data      JSONB,
    imported_at   TIMESTAMP NOT NULL,
    hash          VARCHAR(64),
    UNIQUE(supplier_id, external_id)
);

CREATE TABLE products (
    id              BIGSERIAL PRIMARY KEY,
    master_sku      VARCHAR(255) UNIQUE,
    name            TEXT,
    price           NUMERIC(12,2),
    stock           INT,
    primary_supplier_id INT REFERENCES suppliers(id),
    merged_from     INT[],
    updated_at      TIMESTAMP
);

Пример адаптера для XML

interface SupplierAdapterInterface {
    public function fetch(): Generator;
    public function getSupplierId(): int;
}

class SupplierProductDTO {
    public function __construct(
        public readonly string  $externalId,
        public readonly string  $name,
        public readonly float   $price,
        public readonly int     $stock,
        public readonly ?string $sku = null,
        public readonly ?string $barcode = null,
        public readonly array   $attributes = []
    ) {}
}

class XmlSupplierAdapter implements SupplierAdapterInterface {
    public function fetch(): Generator {
        $reader = new XMLReader();
        $reader->open($this->feedUrl);
        while ($reader->read()) {
            if ($reader->nodeType === XMLReader::ELEMENT && $reader->name === 'item') {
                $node = new SimpleXMLElement($reader->readOuterXML());
                yield new SupplierProductDTO(
                    externalId: (string) $node->id,
                    name:       (string) $node->name,
                    price:      (float)  $node->price,
                    stock:      (int)    $node->quantity,
                    sku:        (string) $node->article ?: null
                );
            }
        }
    }
    public function getSupplierId(): int {
        return $this->supplierId;
    }
}

Импортный сервис и очереди

class SupplierImportService {
    public function import(SupplierAdapterInterface $adapter): ImportResult {
        $supplierId = $adapter->getSupplierId();
        $result = new ImportResult();
        DB::transaction(function () use ($adapter, $supplierId, $result) {
            foreach ($adapter->fetch() as $dto) {
                $hash = hash('sha256', serialize($dto));
                $existing = SupplierProduct::where(['supplier_id' => $supplierId, 'external_id' => $dto->externalId])->first();
                if ($existing && $existing->hash === $hash) {
                    $result->skipped++;
                    continue;
                }
                SupplierProduct::updateOrCreate(
                    ['supplier_id' => $supplierId, 'external_id' => $dto->externalId],
                    ['name' => $dto->name, 'price' => $dto->price, 'stock' => $dto->stock, 'sku' => $dto->sku, 'imported_at' => now(), 'hash' => $hash]
                );
                $result->upserted++;
            }
            SupplierProduct::where('supplier_id', $supplierId)->where('imported_at', '<', now()->subMinutes(30))->update(['stock' => 0]);
        });
        return $result;
    }
}

class ImportSupplierJob implements ShouldQueue {
    public int $timeout = 1800;
    public int $tries = 3;
    public function handle(SupplierImportService $service): void {
        $adapter = SupplierAdapterFactory::make($this->supplier);
        $result  = $service->import($adapter);
        Log::info("Supplier {$this->supplier->name} imported", $result->toArray());
        if ($this->isLastActiveImport()) {
            MergeProductsJob::dispatch();
        }
    }
}

Каждый поставщик запускается отдельным job'ом по расписанию. Нормализация использует потоковую обработку PHP Generators, что экономит память при десятках тысяч товаров.

Мониторинг и алерты

Важные метрики: количество импортированных/пропущенных записей, процент ценовых аномалий (изменение >20% — сигнал ошибки поставщика), время выполнения импорта. При превышении порога срабатывает уведомление. Ключевые метрики: количество новых, обновлённых, удалённых товаров; процент ошибок при парсинге; время выполнения импорта; аномалии цен (изменение >20% за один импорт). При превышении порогов отправляется алерт в Telegram или Slack.

Объём работ и результаты

Мы передаём полностью настроенный пайплайн с адаптерами под ваших поставщиков, документацию по эксплуатации, проводим обучение команды (до 3 часов) и предоставляем поддержку на 30 рабочих дней. По желанию — интеграция мониторинга и алертов.

Типовой проект с тремя поставщиками — 5–7 рабочих дней. Каждый дополнительный адаптер — от 0.5 до 2 дней. Экономия на каждом поставщике — до 80% времени сотрудника.

Оцените экономию для вашего бизнеса — свяжитесь с нами для консультации. Закажите внедрение системы импорта — забудьте о рутинной загрузке товаров.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.