Парсинг YML-фидов для импорта товаров в 1С-Битрикс

Парсинг YML-фидов для импорта товаров в 1С-Битрикс

Поставщик прислал YML-файл на 50 000 товаров — а в Битрикс нужно загрузить всё за выходные. Стандартные инструменты не справляются: кривая кодировка, пропущенные категории, дубли офферов и таймауты при загрузке картинок. Мы автоматизируем этот процесс так, чтобы вы забыли о ручном импорте. За 10+ лет работы с Битрикс мы обработали более 500 000 товаров через YML-фиды и наработали проверенные решения, которые экономят до 70% времени на каждом импорте.

Почему YML лучше Excel для импорта?

Excel-файлы от поставщиков часто содержат объединённые ячейки, макросы, нестандартные форматы дат и валют. YML (спецификация YML) — это строгий XML-формат, задокументированный и легко парсимый. Он поддерживает иерархию категорий, множественные изображения, характеристики и признак наличия. В отличие от Excel, YML не требует ручных преобразований и позволяет полностью автоматизировать импорт.

Структура YML-фида

YML — это XML-формат для товарных фидов от Яндекса. Поставщики часто предоставляют именно YML: структура задокументирована, данных достаточно для полноценного импорта. Это проще, чем парсить произвольный Excel, но своих нюансов хватает.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE yml_catalog SYSTEM "shops.dtd">
<yml_catalog date="2025-03-15 10:30">
  <shop>
    <name>Название магазина</name>
    <currencies>
      <currency id="RUR" rate="1"/>
    </currencies>
    <categories>
      <category id="1">Электроника</category>
      <category id="2" parentId="1">Смартфоны</category>
    </categories>
    <offers>
      <offer id="12345" available="true">
        <url>https://shop.ru/product/12345</url>
        <price>29990</price>
        <currencyId>RUR</currencyId>
        <categoryId>2</categoryId>
        <picture>https://shop.ru/img/12345.jpg</picture>
        <name>Смартфон Samsung Galaxy A54</name>
        <vendor>Samsung</vendor>
        <vendorCode>SM-A546</vendorCode>
        <description>Описание товара</description>
        <param name="Цвет">Чёрный</param>
        <param name="Объём памяти">128 ГБ</param>
      </offer>
    </offers>
  </shop>
</yml_catalog>

Ключевые элементы: offer id — уникальный идентификатор (аналог XML_ID в Битрикс), available — признак наличия, categoryId — ссылка на категорию, param — произвольные характеристики.

Парсинг категорий и построение дерева

Категории в YML образуют иерархию через атрибут parentId. При импорте нужно создать соответствующую структуру разделов в инфоблоке. Алгоритм:

1. Загрузить все категории в ассоциативный массив [id => ['name' => ..., 'parentId' => ...]].
2. Рекурсивно построить дерево.
3. Для каждой категории: найти раздел по XML_ID = 'yml_cat_{id}' или создать новый.
4. Сохранить маппинг [yml_id => bitrix_section_id].

$sectionId = CIBlockSection::GetList( [], ['IBLOCK_ID' => $iblockId, 'XML_ID' => 'yml_cat_' . $cat['id']], false, ['ID'] )->Fetch()['ID'];
if (!$sectionId) {
    $bs = new CIBlockSection();
    $sectionId = $bs->Add([
        'IBLOCK_ID' => $iblockId,
        'XML_ID' => 'yml_cat_' . $cat['id'],
        'NAME' => $cat['name'],
        'IBLOCK_SECTION_ID' => $parentBitrixId,
        'ACTIVE' => 'Y',
    ]);
}

Импорт товаров (offers) и работа с изображениями

Основной цикл обработки — обход всех офферов в XML. Для каждого создаётся или обновляется элемент инфоблока. Особое внимание — загрузка изображений: при фиде на 10 000 товаров это 10 000 HTTP-запросов. Мы используем проверку хэша URL и параллельную загрузку через агенты, чтобы сократить время в 3–5 раз.

foreach ($xml->shop->offers->offer as $offer) {
    $xmlId = (string)$offer['id'];
    $available = (string)$offer['available'] === 'true';
    $params = [];
    foreach ($offer->param as $param) {
        $params[(string)$param['name']] = (string)$param;
    }
    $fields = [
        'IBLOCK_ID' => $iblockId,
        'NAME' => (string)$offer->name,
        'XML_ID' => $xmlId,
        'ACTIVE' => $available ? 'Y' : 'N',
        'IBLOCK_SECTION_ID' => $sectionMap[(string)$offer->categoryId] ?? null,
        'PROPERTY_VALUES' => [
            'VENDOR' => (string)$offer->vendor,
            'ARTICLE' => (string)$offer->vendorCode,
        ],
    ];
    $existId = getElementByXmlId($xmlId, $iblockId);
    $el = new CIBlockElement();
    if ($existId) {
        $el->Update($existId, $fields);
    } else {
        $el->Add($fields);
    }
    updatePrice($existId ?: $el->LAST_ID, (float)$offer->price);
}

Какие типы офферов поддерживает YML?

YML различает несколько типов, каждый со своими обязательными полями:

На практике 80% поставщиков используют простой тип. Специфические типы требуют дополнительного маппинга свойств.

Как ускорить импорт товаров с изображениями?

Изображения — самое узкое место. Наш подход: перед скачиванием сравниваем хэш URL с предыдущим импортом (храним в свойстве). Если URL не изменился — изображение не загружаем. Для новых товаров — фоновые агенты с ограничением 5 одновременных потоков. Это экономит до 70% времени на партии из 50 000 товаров.

Типичные ошибки при парсинге и как их избежать

• Проблема с кодировкой — YML приходит в UTF-8, а Битрикс может ожидать windows-1251. Решение: конвертация через iconv() перед парсингом.
• Отсутствующие категории — когда в YML указан categoryId, которого нет в блоке категорий. Решение: создавать отсутствующие категории с пометкой «Временная».
• Дубли офферов — несколько записей с одинаковым id. Решение: использовать XML_ID и проверять наличие перед добавлением.

Пример из практики

Недавно настроили импорт для интернет-магазина электроники — 30 000 товаров от 5 поставщиков. Основная проблема: разные схемы категорий (у одного — вложенность 2 уровня, у другого — 4). Решили через промежуточный маппинг: таблица-словарь в HL-блоке. За 4 дня разработали универсальную обвязку, которая сейчас обновляет каталог ежедневно по Cron.

Что входит в работу

Сроки разработки

Под ключ разрабатываем как простые интеграции, так и сложные мульти-фиды. Хотите настроить парсинг YML под свой магазин? Свяжитесь — оценим проект за 1 день. Гарантируем качество и соблюдение сроков. Закажите парсинг YML — и забудьте о ручном импорте навсегда.