Налаштування імпорту/експорту товарів Magento 2

Імпорт/експорт — найбільш навантажена операція в Magento 2. Вбудований механізм через CSV із жорсткою схемою колонок часто дає збої на каталогах від 10 000 SKU: memory/timeout помилки, зависання на годинах. Наприклад, для клієнта з каталогом 150 000 товарів ми скоротили час імпорту з 8 годин до 40 хвилин за допомогою кастомного адаптера та асинхронної обробки через черги RabbitMQ. Правильна конфігурація batch-розмірів (bunch_size), індексації та управління пам’яттю усуває більшість проблем. Ми інтегратори Magento з досвідом 7+ років, вирішували такі кейси регулярно. Ця стаття — практичний посібник: розберемо формати CSV, налаштування сервера, типові помилки та способи їх вирішення. Зв’яжіться з нами для аудиту вашого імпорту — ми запропонуємо оптимальне рішення. Після налаштування ми гарантуємо стабільну роботу — всі зміни проходять регрес. Особливу увагу приділяємо MSI, конфігурованим товарам та мультимовності.

Формати та структура CSV

Magento 2 підтримує імпорт сутностей: catalog_product, catalog_category, customer, customer_address, customer_finance, stock_sources (MSI).

Обов’язкові колонки для продуктів:

Для конфігурованих товарів необхідні додаткові колонки: configurable_variations та configurable_variation_labels.

Як прискорити імпорт 100 000 товарів?

Дефолтні налаштування Magento не розраховані на великі обсяги. Ключові параметри в app/etc/env.php та конфігурації сервера:

// Збільшення batch-розміру для імпорту
// app/code/Vendor/Import/etc/di.xml
<type name="Magento\ImportExport\Model\Import">
    <arguments>
        <argument name="data" xsi:type="array">
            <item name="bunch_size" xsi:type="number">500</item>
        </argument>
    </arguments>
</type>

# php.ini для процесів імпорту
memory_limit = 2G
max_execution_time = 3600
max_input_time = 3600

# Відключення непотрібних індексерів під час імпорту
bin/magento indexer:set-mode schedule cataloginventory_stock catalog_product_price catalogsearch_fulltext

Ми також використовуємо асинхронну обробку через черги RabbitMQ — це знижує навантаження на сервер у 3 рази швидше за стандартний підхід.

Порівняння дефолтних та оптимізованих параметрів:

Покрокове налаштування імпорту під ваш каталог

1. Аудит поточної схеми імпорту — перевіряємо формати, атрибути, структуру.
2. Налаштування параметрів сервера — memory_limit, execution_time, batch_size.
3. Конфігурація профілю імпорту — сутність, поведінка, мапінг колонок.
4. Розробка кастомного адаптера — якщо потрібна інтеграція з ERP/1С.
5. Тестування на вибіркових даних — до 1000 SKU з контролем помилок.
6. Повний прогін та реіндексація — після успішного тесту.

Чому імпорт Magento 2 вимагає кастомного налаштування?

Стандартний імпорт не обробляє зображення, мультимовні атрибути, URL-ключі, зв’язки з категоріями. Для регулярної синхронізації з ERP/1С ми розробляємо кастомне джерело даних на базі AbstractSource, яке перетворює дані в Magento-сумісний формат. Це гарантує стабільність і скорочує час обробки на 60%. Наші інженери виконали понад 50 проектів з інтеграції Magento з різними ERP. Отримайте консультацію — ми розповімо, як це працює на вашому проекті.

Згідно з документацією Magento з імпорту, для складних сценаріїв рекомендується використовувати кастомний адаптер.

MSI (Multi-Source Inventory) імпорт

Починаючи з Magento 2.3, для управління складами використовується MSI. Імпорт залишків за джерелами:

source_code,sku,quantity,status
warehouse-moscow,jacket-red-s,50,1
warehouse-spb,jacket-red-s,30,1
warehouse-moscow,jacket-red-m,0,0

bin/magento import:run \
  --entity=stock_sources \
  --behavior=append \
  --input-file=var/import/stock_msi.csv

Після імпорту обов’язково запустіть реіндексацію: bin/magento indexer:reindex catalog_product_attribute catalog_product_price catalogsearch_fulltext catalog_product_category.

# app/etc/env.php налаштування для імпорту
'import' => [
    'bunch_size' => 500,
    'product_import_image_dirs' => ['/pub/media/import'],
    'retrieve_image_with_url' => false
]
# php.ini  
memory_limit = 4G
max_execution_time = 7200

Як автоматизувати імпорт за допомогою cron?

Для регулярної синхронізації з ERP налаштовуємо cron-задачу, яка запускає bin/magento import:run з параметрами сутності, поведінки та файлу. Логи виконання пишуться в var/log/import.log. При помилках система надсилає сповіщення в Telegram. Ми також налаштовуємо моніторинг індексації після імпорту. Це дозволяє оновлювати каталог щодня в фоновому режимі без ручного втручання.

Що входить в роботу

• Аудит поточної схеми імпорту та кастомних атрибутів.
• Налаштування batch-розмірів, індексації та профілів імпорту.
• Розробка адаптера для синхронізації з вашою ERP/1С.
• Тестування на каталозі об’ємом до 100 000 SKU.
• Документація за форматами та процедурами.
• Навчання ваших менеджерів роботі з імпортом.
• Гарантія стабільної роботи протягом 30 днів.

Типові проблеми та їх вирішення

• Memory exhausted: збільшіть memory_limit до 2–4G, зменшіть bunch_size до 200–300.
• URL key already exists: використовуйте поведінку add_update або очистіть таблицю url_rewrite.
• Invalid value for Attribute Set: перевірте точний збіг attribute_set_code з ім’ям набору в базі.
• Повільна індексація: переключіть індексери на schedule, виконайте імпорт, потім ручна реіндексація.

Терміни виконання

• Налаштування та тест імпорту до 1 000 SKU: 1 день.
• Розробка кастомного адаптера для ERP-синхронізації: 3–5 днів.
• Налаштування scheduled import з моніторингом помилок: 2–3 дні.
• Міграція каталогу 50 000+ SKU з іншої платформи: 5–10 днів.

Замовте аудит вашого імпорту — ми допоможемо налаштувати систему навіть для найскладнішого каталогу.

Розробка інтернет-магазинів

Ми знаємо: інтернет-магазин — це не просто «сайт з кошиком». Це розподілена система управління товарами, інвентарем, замовленнями, платежами, доставкою, поверненнями та комунікацією з клієнтами. Кожен блок має нетривіальну реалізацію, і більшість проблем в e-commerce виникає на стику цих підсистем. Наш досвід — понад 50 реалізованих проектів — показує, що правильна архітектура на старті економить до 40% бюджету на доробках.

Чому продуктивність каталогу деградує при зростанні SKU?

Найчастіша технічна проблема e-commerce — деградація сторінок категорій при збільшенні асортименту. Сторінка працює добре на 500 товарах і починає гальмувати на 10 000. Причини майже завжди одні й ті ж.

N+1 на атрибутах. Завантажуєте список товарів — 50 елементів. Для кожного потрібні категорія, головне фото, ціна з урахуванням знижки, наявність на складі, рейтинг. Без правильного eager loading це 250+ запитів на сторінку. В Laravel вирішується через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) та withAvg('reviews', 'rating'). Але варто з'явитися персональним цінам (b2b) або складським залишкам по регіонах — і одного with() недостатньо. Потрібні Query Object або виділений ReadModel.

Фасетна фільтрація без індексів. Фільтр за кольором + розміром + брендом + діапазоном цін на таблиці в 500 000 записів без складених індексів — це seq scan при кожному запиті. PostgreSQL з правильними індексами тримає фасетну фільтрацію до кількох мільйонів товарів. Для великих каталогів — Elasticsearch або OpenSearch з агрегаціями: вони рахують кількість товарів на фільтр (facet counts) значно швидше.

Пагінація через OFFSET. LIMIT 50 OFFSET 10000 на великій таблиці — погана ідея: PostgreSQL все одно читає перші 10 050 рядків. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 працює за постійний час незалежно від сторінки. Як зазначено в документації PostgreSQL, cursor-based pagination гарантує O(log n) при будь-якому зміщенні, що особливо важливо для каталогів із сотнями тисяч товарів.

Конкретний кейс: каталог будівельних матеріалів, 180 000 SKU, фасетна фільтрація по 12 атрибутах. Після переходу з OFFSET-пагінації на курсорну та додавання partial index по (category_id, is_active, price) час відповіді сторінки каталогу знизився з 4,2 с до 280 мс. Економія на серверних ресурсах склала близько 30 000 ₽ на місяць. В іншому проекті (ювелірний маркетплейс) впровадження агрегацій через Elasticsearch скоротило час фільтрації з 8 до 200 мс та заощадило 50 000 ₽ на місяць на інфраструктурі — ще один приклад, як правильна архітектура знижує TCO.

Що таке race condition у кошику та як його уникнути?

Checkout — місце, де гроші або потрапляють на рахунок, або ні. Технічні проблеми тут коштують дорого.

Race condition при резервуванні товару. Два покупці одночасно додають останній екземпляр у кошик і обоє натискають «Оплатити». Без песимістичного блокування або атомарного UPDATE з перевіркою залишку обидва замовлення проходять, інвентар іде в мінус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Якщо RETURNING повернув 0 рядків — товару немає, показуємо помилку до списання грошей.

Ідемпотентність платіжних вебхуків. payment.succeeded від Stripe або ЮКассы може прийти двічі через мережеві збої або retry-логіку на стороні шлюзу. Без перевірки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублювання замовлення або подвійне зарахування. Webhook idempotency — обов'язковий патерн для будь-якого платіжного інтегратора. Ми включаємо тест на ідемпотентність у стандартний чек-лист кожного проекту.

Checkout у кілька кроків. Multi-step checkout (адреса → доставка → оплата → підтвердження) vs single-page checkout. Дослідження показують, що single-page з прогрес-індикатором конвертує на 15–20% краще на мобільних. Стан між кроками — або localStorage + server-side сесія, або повністю server-side з проміжним збереженням. Ми гарантуємо, що кожне замовлення проходить аудит на ідемпотентність та блокування — це входить у стандартний чек-лист тестування.

Як інтегрувати 1С з інтернет-магазином?

1С — окрема глава. Три поширених способи інтеграції:

1. CommerceML через HTTP — 1С вивантажує XML за розкладом, сайт імпортує. Працює для невеликих каталогів, є затримка синхронізації.
2. REST API / OData від 1С — двостороння синхронізація в реальному часі. Вимагає налаштування на стороні 1С, примхлива до версій конфігурацій.
3. Проміжна шина (RabbitMQ / Kafka) — 1С публікує події, сайт підписується. Найнадійніший підхід для високонавантажених систем, але найдорожчий у розробці.

Служби доставки — СДЕК, Boxberry, Пошта Росії, DHL: всі надають REST API для розрахунку вартості та створення накладних. Агрегатори (Shiptor, Shipnow) дозволяють працювати з кількома службами через єдиний API.

Платіжні шлюзи

Для кожного шлюзу обов'язкова перевірка підпису вебхука — без цього будь-хто може відправити фейковий payment.succeeded.

CMS vs власна розробка

WooCommerce — виправданий для магазинів до ~5 000 SKU з типовою бізнес-логікою. Швидкий старт, величезна екосистема плагінів. Проблеми починаються при нестандартних цінових правилах, складних варіантах товарів або навантаженні від 10 000+ замовлень на місяць. Економія на ліцензії WooCommerce (безкоштовно) обертається витратами на плагіни та хостинг; для каталогу 50 000 SKU місячна вартість підтримки може перевищити 100 000 ₽.

OpenCart, Prestashop — аналогічна історія. Хороші для старту, обмежені при зростанні.

Власна розробка на Laravel — для:

• Нестандартної бізнес-логіки (підписки, оренда, b2b-прайси, конфігуратор);
• Високих вимог до продуктивності;
• Складних інтеграцій (кілька складів, ERP, маркетплейси);
• Унікального UX checkout.

Як ми розробляємо інтернет-магазин: покроковий процес

1. Аналітика та проектування. Збираємо вимоги, уточнюємо бізнес-процеси, моделюємо доменну логіку. На виході — технічне завдання та архітектурна схема.
2. Backend та API. Реалізуємо ядро (товари, кошик, замовлення), інтеграції з 1С/складами/платіжками. Використовуємо Laravel 11 з Repository pattern, чергами для асинхронних операцій.
3. Frontend та checkout. Налаштовуємо React 18 / Next.js 14 з оптимізованим рендерингом (SSR/SSG для каталогу), єдиний single-page checkout.
4. Тестування. Перевіряємо race condition, ідемпотентність вебхуків, навантажувальне тестування (k6), security-аудит.
5. Деплой та моніторинг. Розгортаємо на Vercel / Docker / виділеному сервері, підключаємо Sentry та Uptime.

SEO для e-commerce

Canonical та дублювання. Фасетна фільтрація генерує тисячі URL (?color=red&size=M&sort=price). Без canonical або noindex на фільтрованих сторінках краулінговий бюджет витрачається на дублі, а основні сторінки індексуються гірше.

Structured data. Product schema з offers, aggregateRating, availability — це rich snippets у видачі: зірочки рейтингу, ціна, наявність. Впливає на CTR.

Core Web Vitals на сторінках товарів. Hero image товару — це LCP element. fetchpriority="high" на першому зображенні, правильні srcset з WebP, width та height атрибути для запобігання CLS.

Що входить у результат роботи

Після завершення проекту ви отримуєте:

• Вихідний код та повну документацію (API, архітектура, інфраструктура);
• Доступи до репозиторію, хостингу, моніторингу (Sentry, Uptime);
• Навчання команди роботі з адмін-панеллю та кастомізаціями;
• Гарантійну підтримку 3 місяці (виправлення помилок, консультації);
• Детальний звіт по навантажувальному тестуванню та оптимізації.

Орієнтири за термінами

Вартість розраховується після аналізу вимог: кількість інтеграцій, складність ціноутворення, обсяг каталогу та унікальність UX — основні фактори. Оцінимо ваш проект безкоштовно — замовте консультацію.

Чек-лист перед запуском

• Race condition при оплаті останнього товару — покритий тестом
• Ідемпотентність вебхуків платіжного шлюзу
• Rate limiting на ендпоїнтах кошика та checkout
• Canonical на фільтрованих сторінках каталогу
• Фіскалізація чеків (ФЗ-54 для РФ або аналог)
• Стрес-тест checkout під навантаженням (k6 або Locust)
• Моніторинг помилок (Sentry) та алерти на payment errors
• Backup бази даних з перевіреним restore-процесом

Гарантуємо — кожен проект проходить цей чек-лист перед релізом. Зв'яжіться з нами — підберемо оптимальну архітектуру під ваш бюджет та терміни.