Парсинг YML-фідів для імпорту товарів в 1С-Бітрікс

Парсинг YML-фідів для імпорту товарів в 1С-Бітрікс

Постачальник надіслав YML-файл на 50 000 товарів — а в Бітрікс потрібно завантажити все за вихідні. Стандартні інструменти не справляються: крива кодування, пропущені категорії, дублі оферів і таймаути при завантаженні картинок. Ми автоматизуємо цей процес так, щоб ви забули про ручний імпорт. За 10+ років роботи з Бітрікс ми обробили понад 500 000 товарів через YML-фіди та напрацювали перевірені рішення, які економлять до 70% часу на кожному імпорті.

Чому YML кращий за Excel для імпорту?

Excel-файли від постачальників часто містять об'єднані комірки, макроси, нестандартні формати дат і валют. YML (специфікація YML) — це строгий XML-формат, задокументований і легко парсимий. Він підтримує ієрархію категорій, множинні зображення, характеристики та ознаку наявності. На відміну від Excel, YML не вимагає ручних перетворень і дозволяє повністю автоматизувати імпорт.

Структура YML-фіду

YML — це XML-формат для товарних фідів від Яндекса. Постачальники часто надають саме YML: структура задокументована, даних достатньо для повноцінного імпорту. Це простіше, ніж парсити довільний Excel, але своїх нюансів вистачає.

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE yml_catalog SYSTEM "shops.dtd"> <yml_catalog date="2025-03-15 10:30"> <shop> <name>Назва магазину</name> <currencies> <currency id="RUR" rate="1"/> </currencies> <categories> <category id="1">Електроніка</category> <category id="2" parentId="1">Смартфони</category> </categories> <offers> <offer id="12345" available="true"> <url>https://shop.ua/product/12345</url> <price>29990</price> <currencyId>RUR</currencyId> <categoryId>2</categoryId> <picture>https://shop.ua/img/12345.jpg</picture> <name>Смартфон Samsung Galaxy A54</name> <vendor>Samsung</vendor> <vendorCode>SM-A546</vendorCode> <description>Опис товару</description> <param name="Колір">Чорний</param> <param name="Об'єм пам'яті">128 ГБ</param> </offer> </offers> </shop> </yml_catalog> 

Ключові елементи: offer id — унікальний ідентифікатор (аналог XML_ID в Бітрікс), available — ознака наявності, categoryId — посилання на категорію, param — довільні характеристики.

Парсинг категорій та побудова дерева

Категорії в YML утворюють ієрархію через атрибут parentId. При імпорті потрібно створити відповідну структуру розділів в інфоблоці. Алгоритм:

1. Завантажити всі категорії в асоціативний масив [id => ['name' => ..., 'parentId' => ...]].
2. Рекурсивно побудувати дерево.
3. Для кожної категорії: знайти розділ за XML_ID = 'yml_cat_{id}' або створити новий.
4. Зберегти маппінг [yml_id => bitrix_section_id].

$sectionId = CIBlockSection::GetList( [], ['IBLOCK_ID' => $iblockId, 'XML_ID' => 'yml_cat_' . $cat['id']], false, ['ID'] )->Fetch()['ID']; if (!$sectionId) { $bs = new CIBlockSection(); $sectionId = $bs->Add([ 'IBLOCK_ID' => $iblockId, 'XML_ID' => 'yml_cat_' . $cat['id'], 'NAME' => $cat['name'], 'IBLOCK_SECTION_ID' => $parentBitrixId, 'ACTIVE' => 'Y', ]); } 

Імпорт товарів (offers) та робота із зображеннями

Основний цикл обробки — обхід усіх оферів в XML. Для кожного створюється або оновлюється елемент інфоблоку. Особлива увага — завантаження зображень: при фіді на 10 000 товарів це 10 000 HTTP-запитів. Ми використовуємо перевірку хешу URL та паралельне завантаження через агенти, щоб скоротити час у 3–5 разів.

foreach ($xml->shop->offers->offer as $offer) { $xmlId = (string)$offer['id']; $available = (string)$offer['available'] === 'true'; $params = []; foreach ($offer->param as $param) { $params[(string)$param['name']] = (string)$param; } $fields = [ 'IBLOCK_ID' => $iblockId, 'NAME' => (string)$offer->name, 'XML_ID' => $xmlId, 'ACTIVE' => $available ? 'Y' : 'N', 'IBLOCK_SECTION_ID' => $sectionMap[(string)$offer->categoryId] ?? null, 'PROPERTY_VALUES' => [ 'VENDOR' => (string)$offer->vendor, 'ARTICLE' => (string)$offer->vendorCode, ], ]; $existId = getElementByXmlId($xmlId, $iblockId); $el = new CIBlockElement(); if ($existId) { $el->Update($existId, $fields); } else { $el->Add($fields); } updatePrice($existId ?: $el->LAST_ID, (float)$offer->price); } 

Які типи оферів підтримує YML?

YML розрізняє кілька типів, кожен зі своїми обов'язковими полями:

На практиці 80% постачальників використовують простий тип. Специфічні типи потребують додаткового маппінгу властивостей.

Як прискорити імпорт товарів із зображеннями?

Зображення — найвужче місце. Наш підхід: перед скачуванням порівнюємо хеш URL із попереднім імпортом (зберігаємо у властивості). Якщо URL не змінився — зображення не завантажуємо. Для нових товарів — фонові агенти з обмеженням 5 одночасних потоків. Це економить до 70% часу на партії з 50 000 товарів.

Типові помилки при парсингу та як їх уникнути

• Проблема з кодуванням — YML приходить в UTF-8, а Бітрікс може очікувати windows-1251. Рішення: конвертація через iconv() перед парсингом.
• Відсутні категорії — коли в YML вказано categoryId, якого немає в блоці категорій. Рішення: створювати відсутні категорії з позначкою «Тимчасова».
• Дублі оферів — кілька записів з однаковим id. Рішення: використовувати XML_ID та перевіряти наявність перед додаванням.

Приклад з практики

Нещодавно налаштували імпорт для інтернет-магазину електроніки — 30 000 товарів від 5 постачальників. Основна проблема: різні схеми категорій (в одного — вкладеність 2 рівні, в іншого — 4). Вирішили через проміжний маппінг: таблиця-словник в HL-блоці. За 4 дні розробили універсальну обв'язку, яка зараз оновлює каталог щоденно по Cron.

Що входить в роботу

Терміни розробки

Під ключ розробляємо як прості інтеграції, так і складні мульти-фіди. Хочете налаштувати парсинг YML під свій магазин? Зв'яжіться — оцінимо проект за 1 день. Гарантуємо якість та дотримання термінів. Замовте парсинг YML — і забудьте про ручний імпорт назавжди.