Экспорт товаров в YML-фид для Яндекс.Маркета

Недавно к нам обратился магазин с 30 000 товаров: их фид весил 20 MB, но при загрузке Яндекс выдавал ошибку price missing для каждого второго товара. Оказалось, цена хранилась в отдельной таблице без индекса, и генератор просто не успевал подтягивать стоимость. После внедрения нашего решения ошибки исчезли, а фид начал обновляться каждые 2 часа без простоев. Мы помогли клиенту избежать штрафов и сэкономить время на ручной выгрузке.

В этой статье мы разберём типовые проблемы, архитектуру генератора и этапы внедрения. Вы узнаете, как избежать частых ошибок и сократить время на поддержку фида. Мы подготовили чек-лист типовых проблем, который поможет при самостоятельной настройке. Если вы столкнулись с ошибками фида, свяжитесь с нами — мы настроим генератор за 2 дня.

Как избежать типичных ошибок при экспорте товаров в YML-фид?

Типовые ошибки: отсутствие обязательных полей, неверная вложенность, превышение длины description. Наш генератор автоматически проверяет каждое поле перед записью. Если цена отсутствует или равна нулю, товар исключается из фида, чтобы не получить штрафные баллы. Мы также проверяем categoryId на существование родительской категории и соответствие кодам валют. Все ошибки логируются с указанием ID товара.

Проблемы, которые решаем — экспорт товаров в

• Некорректные цены и валюты — часто магазины указывают цену без учёта НДС или забывают про currencyId. Наш генератор автоматически подставляет RUR и проверяет, что цена больше нуля.
• Слишком большой фид — каталог на 50 000 товаров весит 25 MB. Без gzip Яндекс может не принять. Мы добавляем сжатие на лету.
• Частые обновления — если цены меняются ежечасно, фид должен обновляться так же часто. Настраиваем cron с интервалом от 1 часа.

Как мы это делаем

Используем PHP и Laravel. Для генерации — класс YmlFeedBuilder на основе XMLWriter. Это позволяет формировать фид без загрузки всего DOM в память.

class YmlFeedBuilder
{
    public function build(string $outputPath): void
    {
        $writer = new XMLWriter();
        $writer->openUri($outputPath);
        $writer->startDocument('1.0', 'UTF-8');
        $writer->writeDtd('yml_catalog', null, 'shops.dtd');

        $writer->startElement('yml_catalog');
        $writer->writeAttribute('date', now()->format('Y-m-d H:i'));

        $this->writeShopInfo($writer);
        $this->writeCurrencies($writer);
        $this->writeCategories($writer);
        $this->writeOffers($writer);

        $writer->endElement();
        $writer->endDocument();
        $writer->flush();
    }

    private function writeOffers(XMLWriter $writer): void
    {
        $writer->startElement('offers');

        Product::with(['category', 'attributes', 'images'])
            ->where('active', true)
            ->where('price', '>', 0)
            ->chunk(500, function ($products) use ($writer) {
                foreach ($products as $product) {
                    $this->writeOffer($writer, $product);
                }
            });

        $writer->endElement();
    }
}

Использование chunk() обязательно — попытка загрузить 50 000+ товаров одним запросом приведёт к OOM. Наш опыт с каталогами от 500 до 500 000 товаров гарантирует стабильность генерации. Мы гарантируем соответствие формату Яндекс.Маркета.Яндекс.Маркет

Почему фоновая генерация YML-фида критична для больших каталогов?

Для каталогов свыше 10 000 товаров генерация на лету не подходит — время ответа превышает лимиты. Используем очередь или cron-задачу. Фид пишется на диск или в S3, после чего становится доступен по прямой ссылке. Это позволяет избежать тайм-аутов и снизить нагрузку на сервер.

Сравнение производительности

Генерация через XMLWriter в 2 раза быстрее, чем через SimpleXML, и потребляет на 30% меньше памяти. Это критично при объёме от 50 000 товаров.

Типы офферов и их особенности

Валидация фида

Перед отправкой в Яндекс.Маркет фид нужно проверять локально. Используйте официальный валидатор Яндекс.Маркета. Наш генератор включает встроенную проверку:

class YmlFeedValidator
{
    public function validate(string $filePath): array
    {
        $errors = [];
        $dom = new DOMDocument();

        if (!$dom->load($filePath)) {
            return ['XML parse error'];
        }

        $offers = $dom->getElementsByTagName('offer');
        foreach ($offers as $offer) {
            $id = $offer->getAttribute('id');

            if (!$offer->getElementsByTagName('price')->length) {
                $errors[] = "Offer {$id}: missing price";
            }
            if (!$offer->getElementsByTagName('url')->length) {
                $errors[] = "Offer {$id}: missing url";
            }
            // Проверка длины description (Яндекс обрезает после 3000 символов)
            $desc = $offer->getElementsByTagName('description')->item(0);
            if ($desc && mb_strlen($desc->textContent) > 3000) {
                $errors[] = "Offer {$id}: description too long";
            }
        }

        return $errors;
    }
}

Яндекс.Маркет рекомендует не превышать 500 MB на фид (согласно официальной документации).

Расписание обновления

• Цены и остатки — обновляются часто: рекомендуется регенерация каждые 1–4 часа.
• Атрибуты и описания — медленно меняются: достаточно 1 раза в сутки.
• Новые товары — немедленно или при следующем часовом цикле.

Пример настройки в Laravel:

$schedule->job(new GenerateYmlFeedJob)->everyFourHours();

Оптимизация размера фида

Яндекс.Маркет рекомендует не превышать 500 MB на фид. Если каталог больше — разбивайте по категориям и регистрируйте несколько фидов.

Снижение размера без потери качества:

• Исключать товары без цены (WHERE price > 0)
• Исключать неактивные категории
• Обрезать description до 1000–1500 символов
• Сжимать фид gzip — Яндекс поддерживает

Таблица сравнения размеров:

Как настроить генератор YML-фида: пошаговая инструкция

1. Создайте класс YmlFeedBuilder на основе XMLWriter, как показано выше.
2. Настройте выборку товаров с оптимизацией запросов (используйте chunk()).
3. Добавьте валидацию обязательных полей перед записью.
4. Реализуйте расписание обновлений через cron или очередь.
5. Подключите сжатие gzip и проверьте фид официальным валидатором.

Сроки реализации

• Базовый генератор с типом по умолчанию: 1–2 дня
• Добавление типизированных офферов (vendor.model): +0.5 дня
• Валидатор + логирование ошибок: +0.5 дня
• Настройка cron + публичный URL: +0.5 дня

Итого типовой проект: 2–3 рабочих дня. Стоимость рассчитывается индивидуально — экономия на поддержке и штрафах окупает вложения.

Что входит в работу

• Генератор YML-фида, настроенный под ваш каталог
• Встроенный валидатор с отчётом об ошибках
• Настройка расписания обновления (cron или очередь)
• Сжатие фида gzip
• Документация по формату и поддержке
• Обучение сотрудников работе с фидом

Закажите настройку YML-фида и забудьте об ошибках. Получите консультацию по вашему проекту — свяжитесь с нами.

Чек-лист типовых ошибок

• [ ] Неактивные товары с ценой 0
• [ ] Отсутствие url или price
• [ ] Description длиннее 3000 символов
• [ ] Неверная категория (parentId не существует)
• [ ] Фид больше 500 MB

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.