Парсинг YML-фидов для импорта товаров в 1С-Битрикс

Парсинг YML-фидов для импорта товаров в 1С-Битрикс

Поставщик прислал YML-файл на 50 000 товаров — а в Битрикс нужно загрузить всё за выходные. Стандартные инструменты не справляются: кривая кодировка, пропущенные категории, дубли офферов и таймауты при загрузке картинок. Мы автоматизируем этот процесс так, чтобы вы забыли о ручном импорте. За 10+ лет работы с Битрикс мы обработали более 500 000 товаров через YML-фиды и наработали проверенные решения, которые экономят до 70% времени на каждом импорте.

Почему YML лучше Excel для импорта?

Excel-файлы от поставщиков часто содержат объединённые ячейки, макросы, нестандартные форматы дат и валют. YML (спецификация YML) — это строгий XML-формат, задокументированный и легко парсимый. Он поддерживает иерархию категорий, множественные изображения, характеристики и признак наличия. В отличие от Excel, YML не требует ручных преобразований и позволяет полностью автоматизировать импорт.

Структура YML-фида

YML — это XML-формат для товарных фидов от Яндекса. Поставщики часто предоставляют именно YML: структура задокументирована, данных достаточно для полноценного импорта. Это проще, чем парсить произвольный Excel, но своих нюансов хватает.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE yml_catalog SYSTEM "shops.dtd">
<yml_catalog date="2025-03-15 10:30">
  <shop>
    <name>Название магазина</name>
    <currencies>
      <currency id="RUR" rate="1"/>
    </currencies>
    <categories>
      <category id="1">Электроника</category>
      <category id="2" parentId="1">Смартфоны</category>
    </categories>
    <offers>
      <offer id="12345" available="true">
        <url>https://shop.ru/product/12345</url>
        <price>29990</price>
        <currencyId>RUR</currencyId>
        <categoryId>2</categoryId>
        <picture>https://shop.ru/img/12345.jpg</picture>
        <name>Смартфон Samsung Galaxy A54</name>
        <vendor>Samsung</vendor>
        <vendorCode>SM-A546</vendorCode>
        <description>Описание товара</description>
        <param name="Цвет">Чёрный</param>
        <param name="Объём памяти">128 ГБ</param>
      </offer>
    </offers>
  </shop>
</yml_catalog>

Ключевые элементы: offer id — уникальный идентификатор (аналог XML_ID в Битрикс), available — признак наличия, categoryId — ссылка на категорию, param — произвольные характеристики.

Парсинг категорий и построение дерева

Категории в YML образуют иерархию через атрибут parentId. При импорте нужно создать соответствующую структуру разделов в инфоблоке. Алгоритм:

1. Загрузить все категории в ассоциативный массив [id => ['name' => ..., 'parentId' => ...]].
2. Рекурсивно построить дерево.
3. Для каждой категории: найти раздел по XML_ID = 'yml_cat_{id}' или создать новый.
4. Сохранить маппинг [yml_id => bitrix_section_id].

$sectionId = CIBlockSection::GetList(
    [],
    ['IBLOCK_ID' => $iblockId, 'XML_ID' => 'yml_cat_' . $cat['id']],
    false,
    ['ID']
)->Fetch()['ID'];

if (!$sectionId) {
    $bs = new CIBlockSection();
    $sectionId = $bs->Add([
        'IBLOCK_ID' => $iblockId,
        'XML_ID'    => 'yml_cat_' . $cat['id'],
        'NAME'      => $cat['name'],
        'IBLOCK_SECTION_ID' => $parentBitrixId,
        'ACTIVE'    => 'Y',
    ]);
}

Импорт товаров (offers) и работа с изображениями

Основной цикл обработки — обход всех офферов в XML. Для каждого создаётся или обновляется элемент инфоблока. Особое внимание — загрузка изображений: при фиде на 10 000 товаров это 10 000 HTTP-запросов. Мы используем проверку хэша URL и параллельную загрузку через агенты, чтобы сократить время в 3–5 раз.

foreach ($xml->shop->offers->offer as $offer) {
    $xmlId = (string)$offer['id'];
    $available = (string)$offer['available'] === 'true';

    $params = [];
    foreach ($offer->param as $param) {
        $params[(string)$param['name']] = (string)$param;
    }

    $fields = [
        'IBLOCK_ID'         => $iblockId,
        'NAME'              => (string)$offer->name,
        'XML_ID'            => $xmlId,
        'ACTIVE'            => $available ? 'Y' : 'N',
        'IBLOCK_SECTION_ID' => $sectionMap[(string)$offer->categoryId] ?? null,
        'PROPERTY_VALUES'   => [
            'VENDOR'  => (string)$offer->vendor,
            'ARTICLE' => (string)$offer->vendorCode,
        ],
    ];

    $existId = getElementByXmlId($xmlId, $iblockId);
    $el = new CIBlockElement();
    if ($existId) {
        $el->Update($existId, $fields);
    } else {
        $el->Add($fields);
    }
    updatePrice($existId ?: $el->LAST_ID, (float)$offer->price);
}

Какие типы офферов поддерживает YML?

YML различает несколько типов, каждый со своими обязательными полями:

На практике 80% поставщиков используют простой тип. Специфические типы требуют дополнительного маппинга свойств.

Как ускорить импорт товаров с изображениями?

Изображения — самое узкое место. Наш подход: перед скачиванием сравниваем хэш URL с предыдущим импортом (храним в свойстве). Если URL не изменился — изображение не загружаем. Для новых товаров — фоновые агенты с ограничением 5 одновременных потоков. Это экономит до 70% времени на партии из 50 000 товаров.

Типичные ошибки при парсинге и как их избежать

• Проблема с кодировкой — YML приходит в UTF-8, а Битрикс может ожидать windows-1251. Решение: конвертация через iconv() перед парсингом.
• Отсутствующие категории — когда в YML указан categoryId, которого нет в блоке категорий. Решение: создавать отсутствующие категории с пометкой «Временная».
• Дубли офферов — несколько записей с одинаковым id. Решение: использовать XML_ID и проверять наличие перед добавлением.

Пример из практики

Недавно настроили импорт для интернет-магазина электроники — 30 000 товаров от 5 поставщиков. Основная проблема: разные схемы категорий (у одного — вложенность 2 уровня, у другого — 4). Решили через промежуточный маппинг: таблица-словарь в HL-блоке. За 4 дня разработали универсальную обвязку, которая сейчас обновляет каталог ежедневно по Cron.

Что входит в работу

Сроки разработки

Под ключ разрабатываем как простые интеграции, так и сложные мульти-фиды. Хотите настроить парсинг YML под свой магазин? Свяжитесь — оценим проект за 1 день. Гарантируем качество и соблюдение сроков. Закажите парсинг YML — и забудьте о ручном импорте навсегда.

CommerceML: почему стандартный обмен — и спасение, и ловушка

Стандартный обмен через CommerceML 2.0 на типовой «Управлении торговлей» или «Комплексной автоматизации» заводится за день-два. Товары, цены, остатки, заказы — всё через XML-файлы по расписанию. Для магазина на 3 000 позиций с парой обновлений в сутки этого хватает с запасом. Но как только каталог перерастает 30 000 SKU, начинаются проблемы: интеграция 1С с Битрикс на больших объёмах требует нестандартных решений.

Почему CommerceML тормозит на каталогах свыше 100 000 товаров?

bitrix_1c_exchange.php генерирует XML на стороне Битрикса, 1С забирает и парсит. На больших каталогах парсер активно пишет во временную таблицу b_xml_tree — MySQL может встать колом. Мы видели проект, где стандартный обмен 180 000 товаров занимал 6 часов и полностью блокировал сервер: ни админка, ни фронт не открывались. Решение — инкрементальный обмен. В настройках узла обмена на стороне 1С ставим «Выгружать только изменённые» и разбиваем выгрузку на пакеты по 500–1000 элементов. На стороне Битрикса — кастомный обработчик, который не пересоздаёт b_xml_tree каждый раз, а работает через CIBlockXMLFile::ReadXMLToDatabase() с контролем порций. Каталог в 200 000 SKU обновляется за 8–12 минут.

Ещё один подводный камень — EXTERNAL_ID. При повторном импорте Битрикс сопоставляет элементы инфоблоков по внешнему коду. Если в 1С товар удалён и создан заново с новым GUID, на сайте появляется дубль — со старыми отзывами на одной карточке и нулевыми на другой. Лечится жёсткой привязкой по артикулу через кастомный обработчик события OnBeforeIBlockElementAdd.

Как избежать дублей при повторном импорте?

Привязываем товары не по GUID, а по артикулу. Проверка на уникальность выполняется до записи в инфоблок — дубликаты исключаются даже после пересоздания номенклатуры в 1С. На одном проекте с 50 000 товаров такая схема предотвратила появление 300 дублей в месяц и сэкономила контент-менеджерам около 20 часов ручной чистки.

Кастомные конфигурации 1С: когда CommerceML пасует

«У нас типовая конфигурация» — говорит каждый второй клиент, а потом мы открываем базу и видим 200 кастомных обработок, переименованные реквизиты и самописные документы реализации. CommerceML работает с фиксированной структурой XML. Если в 1С изменили состав реквизитов номенклатуры или добавили нестандартный документ — обмен молча пропускает эти данные. Или падает с непонятной ошибкой в журнале регистрации 1С, а в Битрикс ничего не пишется.

В таких случаях делаем кастомную выгрузку. На стороне 1С пишем обработку, которая формирует JSON (парсить быстрее, отлаживать проще) и отправляет через REST API Битрикса. Полный контроль: какие поля берём, как трансформируем, что делаем при конфликте. Для тяжёлых случаев — D7 API с прямой работой через \Bitrix\Catalog\ProductTable и \Bitrix\Sale\Order.

Когда нужен кастомный REST вместо CommerceML?

Кастомный REST оправдан при:

• нестандартных реквизитах номенклатуры;
• множественных типах цен (розница, опт, дилерская, акционная, региональная, валютная) — стандартный обмен передаёт только один тип;
• мультискладе с разными остатками и необходимостью выбора склада на сайте.

Цены, остатки и мультисклад

Стандартный обмен умеет передавать один тип цены. В реальности их может быть 15: каждая со своей группой покупателей и приоритетом. Маппинг между ценовыми группами 1С и группами пользователей Битрикса — отдельная инженерная задача. Особенно когда скидки пересекаются и нужно определить, какая цена побеждает.

Мультисклад добавляет ещё один слой: товар есть на складе в Москве, нет в Питере, и «под заказ» в Новосибирске. На сайте нужно показать наличие по каждой точке, подключить выбор пункта самовывоза и рассчитать доставку от ближайшего склада, где товар физически есть. Стандартный модуль складского учёта Битрикс (catalog.store) справляется с отображением, но логику «откуда отгружать» пишем отдельно. Для одного производственного холдинга мы реализовали кастомный агрегатор остатков, который за 2 секунды рассчитывал баланс по 8 складам — это сократило количество ошибок отгрузки на 80%.

Заказы и документооборот

Заказ с сайта улетает в 1С, формируется реализация, товар резервируется. Статусы возвращаются обратно. Главный нюанс — частичная отгрузка: клиент заказал 5 позиций, 3 есть на складе, 2 придут через неделю. 1С формирует два документа реализации. Битрикс из коробки не умеет разбивать один заказ на несколько отгрузок — дорабатываем обработчик OnSaleOrderSaved, который создаёт дочерние заказы и синхронизирует статусы по каждому.

Документы в личном кабинете — счета, акты, накладные из 1С — отдаём через REST, PDF генерируется на стороне 1С и кэшируется на CDN. Покупатель скачивает не из 1С напрямую (это убило бы сервер), а из кэша.

Рекомендация CommerceML: пакетный импорт с контролем порций снижает нагрузку на MySQL и исключает блокировки (источник: Wikipedia).

Мониторинг: не «настроил и забыл»

Обмен может сломаться тихо: скрипт отработал, ошибок в логе нет, но 200 товаров не обновились из-за невалидного UTF-8 в названии. Или 1С поменяла формат даты в очередном обновлении — все цены пришли нулевыми.

Минимальный набор, который ставим на каждом проекте:

• Алерт в Telegram, если время обмена выросло в 3+ раза от среднего.
• Проверка расхождения остатков: скрипт сравнивает b_catalog_product.QUANTITY с тем, что отдаёт 1С, и оповещает при дельте больше 5 %.
• Дашборд: последняя синхронизация, количество обработанных позиций, очередь, ошибки.

Для проектов с высокой нагрузкой добавляем асинхронные очереди на Redis или RabbitMQ. Обмен не блокирует веб-сервер, данные не теряются при кратковременном падении 1С. На одном интернет-магазине с оборотами 2 млн заказов в год мы внедрили такую схему — время восстановления после сбоев сократилось с 3 часов до 10 минут.

Связка с Битрикс24 для автоматизации документооборота

Если кроме сайта есть корпоративный портал на Битрикс24 — связываем и его. Контрагенты из CRM летят в 1С, счета из 1С появляются в карточке сделки. Менеджер видит дебиторку и взаиморасчёты, не переключаясь между окнами. Закрыли сделку — документы сформировались сами.

Оплата поступила в 1С → логист получает задачу на отгрузку в Битрикс24. Товар отгружен → менеджер видит уведомление. Автоматические задачи по событиям из 1С — через вебхуки Битрикс24 REST API. Такая связка сокращает ручной ввод на 70% и исключает забытые отгрузки.

Как мы настраиваем интеграцию: пошаговый процесс

1. Аудит конфигурации 1С. Смотрим структуру справочников, документов, реквизитов. Выявляем кастомные доработки. Оцениваем объём данных (количество SKU, заказов, складов).
2. Проектирование схемы обмена. Согласовываем набор данных: товары, цены, остатки, заказы, документы. Определяем интервал синхронизации и механизм — CommerceML или кастомный REST.
3. Настройка стандартного обмена. Настраиваем CommerceML, пакетный режим, привязку по артикулу. Проверяем корректность передачи данных на тестовом каталоге.
4. Расширенная интеграция. Для сложных конфигураций пишем кастомные обработчики на стороне 1С и Битрикса. Подключаем мультисклад, множественные цены, частичную отгрузку.
5. Мониторинг и гарантия. Устанавливаем алерты, дашборд, документацию. Обучаем операторов. После запуска — гарантийная поддержка.

Сроки и что входит в работу

Результат работы включает: документированную схему обмена, настроенные сценарии синхронизации, дашборд мониторинга, обучение операторов и гарантийную поддержку после запуска. Стоимость рассчитывается индивидуально — она зависит от сложности конфигурации 1С, объёма каталога и необходимой степени автоматизации. Оценим ваш проект за 1 день — пишите, обсудим. Закажите интеграцию — получите стабильный обмен за 1–2 недели.

Мы провели более 50 интеграций 1С для интернет-магазинов и производственных компаний. Средний опыт команды — 7 лет, у нас есть сертифицированные специалисты 1С-Битрикс. Наш опыт гарантирует, что обмен не сломается в первый же месяц и будет стабильно работать годами. Например, на проекте с каталогом 50 000 товаров автоматизация обмена сэкономила клиенту около 200 000 рублей в год на операционных затратах.

Свяжитесь с нами для бесплатного аудита вашей конфигурации 1С — найдём узкие места и предложим оптимальное решение.