Генерация фида товаров в формате CSV/XML для маркетплейсов

При загрузке товаров на Ozon, Wildberries, Avito каждый маркетплейс диктует свой формат и структуру. Ошибка в заголовке или кодировке — и фид отклонён. Мы разрабатываем универсальные генераторы, которые автоматически подстраиваются под требования площадки. Наш опыт — более 50 успешных проектов для интернет-магазинов с каталогами от 500 до 500 000 товаров. Автоматизация экономит до 70% времени на ручную подготовку — вместо 4 часов в день вы тратите 10 минут на контроль.

Важно понимать: фиды — это не просто экспорт данных. Это согласованная работа с API маркетплейсов, учет лимитов (до 1000 товаров за запрос, ограничения на частоту) и корректная обработка изображений. Неправильный фид может привести к деактивации карточек или штрафам от площадки. Например, на Ozon максимальный размер файла — 128 МБ, превышение вызовет ошибку. На Wildberries — до 100 000 товаров на один фид.

Мы строим систему на проверенных подходах: стратегия паттернов, асинхронная генерация через очереди и автоматическая валидация. Каждый фид проходит тест на тестовом окружении перед отправкой на прод. Это гарантирует, что ошибки обнаружатся до того, как попадут на маркетплейс.

Типичные форматы по маркетплейсам

Как настроить универсальный генератор фидов?

Архитектура строится на паттерне Strategy: ядро генератора одно, адаптеры под каждый маркетплейс — отдельные классы. Это позволяет легко добавлять новые площадки без изменения основного кода.

interface MarketplaceFeedAdapter
{
    public function getHeaders(): array;
    public function transform(Product $product): array;
    public function getFormat(): string; // 'csv' | 'xml' | 'xlsx'
    public function getDelimiter(): string;
}

class OzonFeedAdapter implements MarketplaceFeedAdapter
{
    public function getHeaders(): array
    {
        return [
            'Артикул', 'Название товара', 'Описание', 'Цена',
            'Старая цена', 'НДС', 'Количество', 'Вес, г', 'Ширина, мм',
            'Высота, мм', 'Глубина, мм', 'Изображения', 'Категория',
            'Бренд', 'Штрихкод',
        ];
    }

    public function transform(Product $product): array
    {
        return [
            $product->sku,
            $product->name,
            strip_tags($product->description),
            $product->price,
            $product->compare_price ?? '',
            '20', // НДС 20%
            $product->stock,
            $product->weight_grams ?? '',
            $product->width_mm ?? '',
            $product->height_mm ?? '',
            $product->depth_mm ?? '',
            $product->images->pluck('cdn_url')->implode('; '),
            $product->category?->ozon_category ?? '',
            $product->brand?->name ?? '',
            $product->barcode ?? '',
        ];
    }

    public function getFormat(): string { return 'csv'; }
    public function getDelimiter(): string { return ';'; }
}

class AvitoCatalogAdapter implements MarketplaceFeedAdapter
{
    // Avito требует XML со специфичной структурой
    public function getFormat(): string { return 'xml'; }
    public function getDelimiter(): string { return ''; }
    // ...
}

class UniversalFeedGenerator
{
    public function generate(MarketplaceFeedAdapter $adapter, string $outputPath): void
    {
        if ($adapter->getFormat() === 'csv') {
            $this->generateCsv($adapter, $outputPath);
        } elseif ($adapter->getFormat() === 'xml') {
            $this->generateXml($adapter, $outputPath);
        }
    }

    private function generateCsv(MarketplaceFeedAdapter $adapter, string $path): void
    {
        $fp = fopen($path, 'w');
        // UTF-8 BOM для корректного открытия в Excel
        fwrite($fp, "\xEF\xBB\xBF");
        fputcsv($fp, $adapter->getHeaders(), $adapter->getDelimiter());

        Product::with(['images', 'brand', 'category'])
            ->where('is_active', true)
            ->chunk(500, function ($products) use ($fp, $adapter) {
                foreach ($products as $product) {
                    fputcsv($fp, $adapter->transform($product), $adapter->getDelimiter());
                }
            });

        fclose($fp);
    }
}

Авито XML-фид

Avito требует специфичный XML-формат с элементами <Ad>:

<?xml version="1.0" encoding="UTF-8"?>
<Ads formatVersion="3" target="Avito.ru">
  <Ad>
    <Id>SKU-12345</Id>
    <AllowEmail>No</AllowEmail>
    <Title>Кроссовки Nike Air Max 270</Title>
    <Description>Описание товара...</Description>
    <Category>Одежда, обувь, аксессуары</Category>
    <GoodsType>Кроссовки</GoodsType>
    <Condition>Новое</Condition>
    <Price>4990</Price>
    <Images>
      <Image url="https://cdn.example.com/product1.jpg"/>
      <Image url="https://cdn.example.com/product2.jpg"/>
    </Images>
    <ContactPhone>+79001234567</ContactPhone>
  </Ad>
</Ads>

Почему важна валидация фидов перед отправкой?

Без валидации вы рискуете отправить на маркетплейс битые данные — пустые артикулы, отрицательные цены или некорректные URL изображений. Это приводит к отклонению всего фида и потере времени. Наш валидатор проверяет каждую строку перед записью:

class FeedValidator
{
    public function validate(array $row, MarketplaceFeedAdapter $adapter): array
    {
        $errors = [];

        if (empty($row[0])) {
            $errors[] = 'Пустой артикул';
        }

        if (empty($row[1]) || mb_strlen($row[1]) > 255) {
            $errors[] = 'Некорректное название';
        }

        if (!is_numeric($row[3]) || $row[3] <= 0) {
            $errors[] = 'Некорректная цена';
        }

        return $errors;
    }
}

Дополнительно проверяем количество товаров (не должно быть 0), соответствие категорий и наличие обязательных полей для конкретного маркетплейса. Согласно Ozon Seller API v3 documentation, обязательны поля: артикул, цена, остаток.

Как доставить фид на маркетплейс?

Мы настраиваем расписание через Laravel Scheduler и отправляем уведомления об ошибках в Telegram или на почту.

Процесс работы

1. Анализ вашего каталога и требований маркетплейсов.
2. Проектирование структуры фида и выбор адаптеров.
3. Разработка генератора с учётом N+1 запросов и оптимизации памяти (chunk-обработка).
4. Тестирование на тестовом окружении и валидация всех полей.
5. Деплой на прод и настройка расписания.
6. Передача документации и обучение вашей команды.

Сроки и стоимость

Базовый генератор с одним адаптером — от 1 до 2 рабочих дней. Каждый дополнительный маркетплейс — от 0,5 до 1 дня. Стоимость рассчитывается индивидуально и зависит от сложности каталога и количества форматов. Обратитесь к нам для точной оценки.

Что входит в разработку

• Универсальный генератор с одним или несколькими адаптерами.
• Настройка расписания и способов доставки.
• Валидация данных перед выгрузкой.
• Интеграция с вашей CMS или ERP.
• Документация и консультация.
• Гарантия корректной работы в течение месяца после сдачи.

Типичные ошибки при создании фидов

• Несоответствие кодировки — Excel требует UTF-8 BOM, иначе кириллица отображается кракозябрами.
• Отсутствие обязательных полей — у каждого маркетплейса свой набор required-полей.
• Превышение лимитов — длина названия, количество изображений, общий размер файла.
• Некорректные ссылки на изображения — URLs должны быть доступны извне.
• Устаревшие цены — фиды нужно обновлять по расписанию, иначе товары отклонят.

Наши инженеры с 5-летним опытом в e-commerce гарантируют, что фид пройдёт модерацию с первого раза. Получите консультацию по вашему проекту уже сегодня. Свяжитесь с нами, чтобы обсудить детали.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.