Настройка импорта/экспорта товаров Magento 2

Настройка импорта/экспорта товаров Magento 2

Импорт/экспорт — наиболее нагруженная операция в Magento 2. Встроенный механизм через CSV с жёсткой схемой колонок часто даёт сбои на каталогах от 10 000 SKU: memory/timeout ошибки, зависания на часах. Например, для клиента с каталогом 150 000 товаров мы сократили время импорта с 8 часов до 40 минут с помощью кастомного адаптера и асинхронной обработки через очереди RabbitMQ. Правильная конфигурация batch-размеров (bunch_size), индексации и управления памятью устраняет большинство проблем. Мы интеграторы Magento с опытом 7+ лет, решали такие кейсы регулярно. Эта статья — практическое руководство: разберём форматы CSV, настройку сервера, типичные ошибки и способы их решения. Свяжитесь с нами для аудита вашего импорта — мы предложим оптимальное решение. После настройки мы гарантируем стабильную работу — все изменения проходят регресс. Особое внимание уделяем MSI, конфигурируемым товарам и мультиязычности.

Форматы и структура CSV

Magento 2 поддерживает импорт сущностей: catalog_product, catalog_category, customer, customer_address, customer_finance, stock_sources (MSI).

Обязательные колонки для продуктов:

Для конфигурируемых товаров необходимы дополнительные колонки: configurable_variations и configurable_variation_labels.

Как ускорить импорт 100 000 товаров?

Дефолтные настройки Magento не рассчитаны на большие объёмы. Ключевые параметры в app/etc/env.php и конфигурации сервера:

// Увеличение batch-размера для импорта
// app/code/Vendor/Import/etc/di.xml
<type name="Magento\ImportExport\Model\Import">
    <arguments>
        <argument name="data" xsi:type="array">
            <item name="bunch_size" xsi:type="number">500</item>
        </argument>
    </arguments>
</type>

# php.ini для процессов импорта
memory_limit = 2G
max_execution_time = 3600
max_input_time = 3600

# Отключение ненужных индексеров во время импорта
bin/magento indexer:set-mode schedule cataloginventory_stock catalog_product_price catalogsearch_fulltext

Мы также используем асинхронную обработку через очереди RabbitMQ — это снижает нагрузку на сервер в 3 раза быстрее стандартного подхода.

Сравнение дефолтных и оптимизированных параметров:

Пошаговая настройка импорта под ваш каталог

1. Аудит текущей схемы импорта — проверяем форматы, атрибуты, структуру.
2. Настройка параметров сервера — memory_limit, execution_time, batch_size.
3. Конфигурация профиля импорта — сущность, поведение, маппинг колонок.
4. Разработка кастомного адаптера — если требуется интеграция с ERP/1С.
5. Тестирование на выборочных данных — до 1000 SKU с контролем ошибок.
6. Полный прогон и реиндексация — после успешного теста.

Почему импорт Magento 2 требует кастомной настройки?

Стандартный импорт не обрабатывает изображения, мультиязычные атрибуты, URL-ключи, связи с категориями. Для регулярной синхронизации с ERP/1С мы разрабатываем кастомный источник данных на базе AbstractSource, который преобразует данные в Magento-совместимый формат. Это гарантирует стабильность и сокращает время обработки на 60%. Наши инженеры выполнили более 50 проектов по интеграции Magento с различными ERP. Получите консультацию — мы расскажем, как это работает на вашем проекте.

Согласно документации Magento по импорту, для сложных сценариев рекомендуется использовать кастомный адаптер.

MSI (Multi-Source Inventory) импорт

Начиная с Magento 2.3, для управления складами используется MSI. Импорт остатков по источникам:

source_code,sku,quantity,status
warehouse-moscow,jacket-red-s,50,1
warehouse-spb,jacket-red-s,30,1
warehouse-moscow,jacket-red-m,0,0

bin/magento import:run \
  --entity=stock_sources \
  --behavior=append \
  --input-file=var/import/stock_msi.csv

После импорта обязательно запустите реиндексацию: bin/magento indexer:reindex catalog_product_attribute catalog_product_price catalogsearch_fulltext catalog_product_category.

# app/etc/env.php настройки для импорта
'import' => [
    'bunch_size' => 500,
    'product_import_image_dirs' => ['/pub/media/import'],
    'retrieve_image_with_url' => false
]
# php.ini  
memory_limit = 4G
max_execution_time = 7200

Как автоматизировать импорт с помощью cron?

Для регулярной синхронизации с ERP настраиваем cron-задачу, запускающую bin/magento import:run с параметрами сущности, поведения и файла. Логи выполнения пишутся в var/log/import.log. При ошибках система отправляет уведомление в Telegram. Мы также настраиваем мониторинг индексации после импорта. Это позволяет обновлять каталог ежедневно в фоновом режиме без ручного участия.

Что входит в работу

• Аудит текущей схемы импорта и кастомных атрибутов.
• Настройка batch-размеров, индексации и профилей импорта.
• Разработка адаптера для синхронизации с вашей ERP/1С.
• Тестирование на каталоге объёмом до 100 000 SKU.
• Документация по форматам и процедурам.
• Обучение ваших менеджеров работе с импортом.
• Гарантия стабильной работы в течение 30 дней.

Типичные проблемы и их решение

• Memory exhausted: увеличьте memory_limit до 2–4G, уменьшите bunch_size до 200–300.
• URL key already exists: используйте поведение add_update или очистите таблицу url_rewrite.
• Invalid value for Attribute Set: проверьте точное совпадение attribute_set_code с именем набора в базе.
• Медленная индексация: переключите индексеры на schedule, выполните импорт, затем ручная реиндексация.

Сроки выполнения

• Настройка и тест импорта до 1 000 SKU: 1 день.
• Разработка кастомного адаптера для ERP-синхронизации: 3–5 дней.
• Настройка scheduled import с мониторингом ошибок: 2–3 дня.
• Миграция каталога 50 000+ SKU из другой платформы: 5–10 дней.

Закажите аудит вашего импорта — мы поможем настроить систему даже для самого сложного каталога.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.