Реализация импорта товаров через API поставщика

Представьте: ваш интернет-магазин продаёт 10 000 товаров, а поставщик меняет цены дважды в день. Ручная загрузка через Excel занимает часы и приводит к устаревшим ценам и ошибкам в остатках. Прямая интеграция через API поставщика решает эту проблему. Данные обновляются автоматически — без человеческого участия. За 5 лет мы реализовали более 50 таких интеграций — от простых REST-связок до мультипоставщичных систем с OAuth 2.0 и SOAP. Наш опыт подтверждает, что правильная архитектура гарантирует стабильность и точность данных. Например, для интернет-магазина автозапчастей с 500 000 SKU настроили инкрементальную синхронизацию с 5 поставщиками, каждый со своим API. Результат: цены и остатки актуальны с задержкой не более 15 минут.

Сложность в том, что API поставщиков сильно различаются. Форматы аутентификации, структуры ответов, модели пагинации — всё индивидуально. Без правильной архитектуры интеграция превращается в хаос. Мы используем проверенные паттерны, которые упрощают добавление новых поставщиков и обеспечивают стабильность.

Как выбрать тип API для поставщика?

Определение типа — первый шаг. Мы всегда начинаем с анализа документации поставщика: если есть REST API спецификация — половина работы сделана.

Базовый клиент с retry и rate limiting

class SupplierApiClient
{
    private \GuzzleHttp\Client $http;
    private RateLimiter        $rateLimiter;

    public function __construct(
        private SupplierApiConfig $config,
    ) {
        $this->http = new \GuzzleHttp\Client([
            'base_uri' => $config->baseUrl,
            'timeout'  => 30,
            'handler'  => $this->buildHandlerStack(),
        ]);
    }

    private function buildHandlerStack(): \GuzzleHttp\HandlerStack
    {
        $stack = \GuzzleHttp\HandlerStack::create();
        $stack->push(\GuzzleHttp\Middleware::retry(
            function (int $retries, $request, $response, $exception) {
                if ($retries >= 3) return false;
                if ($exception instanceof \GuzzleHttp\Exception\ConnectException) return true;
                if ($response && $response->getStatusCode() >= 500) return true;
                return false;
            },
            fn(int $retries) => 1000 * (2 ** $retries)
        ));
        return $stack;
    }

    public function get(string $path, array $params = []): array
    {
        $this->rateLimiter->throttle($this->config->id, $this->config->rateLimit);

        $response = $this->http->get($path, [
            'query'   => $params,
            'headers' => $this->buildHeaders(),
        ]);

        return json_decode($response->getBody(), true);
    }

    private function buildHeaders(): array
    {
        return match ($this->config->authType) {
            'bearer' => ['Authorization' => 'Bearer ' . $this->config->token],
            'api_key' => ['X-API-Key' => $this->config->apiKey],
            'basic'   => ['Authorization' => 'Basic ' . base64_encode(
                $this->config->login . ':' . $this->config->password
            )],
            default => [],
        };
    }
}

Экспоненциальный backoff (1000, 2000, 4000 мс) снижает нагрузку на сервер поставщика и повышает вероятность успеха при временных сбоях. Rate limiting предотвращает блокировку за превышение лимитов запросов.

Почему важна нормализация данных?

Каждый поставщик имеет своё JSON-поле для названия, цены, артикула. Без нормализации код становится «кашеобразным» — в каждом методе проверки и извлечения. Мы используем fieldMap с dot-notation, который хранится в БД как JSON. Добавление нового поставщика — просто запись в таблицу, без изменения кода.

class SupplierResponseNormalizer
{
    private array $fieldMap;

    public function normalize(array $raw): array
    {
        return [
            'sku'         => $this->extract($raw, $this->fieldMap['sku']),
            'name'        => $this->extract($raw, $this->fieldMap['name']),
            'price'       => (float) $this->extract($raw, $this->fieldMap['price']),
            'qty'         => (int)   $this->extract($raw, $this->fieldMap['qty']),
            'description' => $this->extract($raw, $this->fieldMap['description']),
            'images'      => $this->extractImages($raw),
        ];
    }

    private function extract(array $data, string $path): mixed
    {
        return data_get($data, $path);
    }
}

Когда нужна инкрементальная синхронизация?

Инкрементальная синхронизация незаменима, когда объём данных велик или частота обновлений высока. Она запрашивает только изменения с момента последнего обновления, используя параметр updated_after. Время последней успешной синхронизации хранится в БД. Это сокращает объём передаваемых данных в разы — в проекте с 500 000 SKU нагрузка на API снизилась на 90%.

Пагинация и сравнение методов

Cursor-пагинация стабильнее offset при частых изменениях, так как использует уникальный идентификатор последней записи. Offset проста, но неэффективна при сдвигах данных. Для больших объёмов мы рекомендуем cursor или scroll.

OAuth 2.0 авторизация

Ряд поставщиков требует OAuth 2.0 client credentials. Токен кэшируется до истечения — это исключает лишние запросы.

class OAuth2TokenProvider
{
    private ?string $accessToken  = null;
    private ?int    $expiresAt    = null;

    public function getToken(): string
    {
        if ($this->accessToken && time() < ($this->expiresAt - 60)) {
            return $this->accessToken;
        }

        $response = Http::asForm()->post($this->tokenUrl, [
            'grant_type'    => 'client_credentials',
            'client_id'     => $this->clientId,
            'client_secret' => $this->clientSecret,
            'scope'         => 'products:read stocks:read',
        ]);

        $data               = $response->json();
        $this->accessToken  = $data['access_token'];
        $this->expiresAt    = time() + $data['expires_in'];

        return $this->accessToken;
    }
}

SOAP-клиент для 1С-совместимых поставщиков

Для интеграции с системами на базе 1С используем SOAP. WSDL-документация описывает методы и структуры данных.

$client = new \SoapClient($this->wsdlUrl, [
    'login'         => $this->login,
    'password'      => $this->password,
    'encoding'      => 'UTF-8',
    'soap_version'  => SOAP_1_2,
    'cache_wsdl'    => WSDL_CACHE_DISK,
]);

$result = $client->GetProductList([
    'DateFrom'   => $since->format('Y-m-d\TH:i:s'),
    'Categories' => $this->categoryFilter,
]);

foreach ($result->Products->Product as $product) {
    yield (array) $product;
}

Типичные проблемы и их решения

Что входит в работу

• Анализ документации API поставщика (OpenAPI, WSDL, Postman-коллекции).
• Разработка клиента с retry, rate limiting, аутентификацией (OAuth 2.0, API-key, Basic).
• Реализация пагинации (offset, cursor, scroll).
• Нормализация полей под единый формат (sku, name, price, qty).
• Настройка инкрементальной синхронизации по updated_after.
• Тестирование стабильности при сетевых сбоях и таймаутах.
• Документация интеграции (схема данных, конфигурация, инструкция по добавлению нового поставщика).
• Обучение вашей команды (1-2 часа воркшопа).
• Поддержка в течение месяца после запуска (исправление багов, донастройка).

Сроки реализации

Реализуем под ключ. Примерные сроки:

• Один REST-поставщик с offset-пагинацией и нормализацией — от 2 дней.
• Добавление OAuth 2.0, cursor-пагинации и инкрементальной синхронизации — +1 день.
• Мультипоставщик с конфигурируемыми настройками, SOAP, rate limiting — +2 дня.

Сроки ориентировочные — точная оценка даётся после анализа документации поставщика. Запросите предварительную оценку вашего проекта — мы рассчитаем срок и стоимость индивидуально. Свяжитесь с нами, и мы подготовим детальное предложение. Получите консультацию — оценим ваш проект за один рабочий день.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.