Парсинг характеристик товаров для наполнения каталога 1С-Битрикс

При наполнении каталога 1С-Битрикс часто сталкиваемся с ситуацией: описание товара есть, а характеристики — пустые. Без заполненных свойств (b_iblock_element_property) умный фильтр не выдаёт результатов, фасетный поиск возвращает пустую выдачу. Покупатель не может отфильтровать товары по нужным параметрам — конверсия падает, отказы растут. Парсинг характеристик технически сложнее парсинга описаний: нужно не просто извлечь текст, а распознать структуру «название параметра — значение» и корректно разместить данные в свойствах инфоблока. Мы разработали алгоритм, который обрабатывает любые форматы спецификаций — от HTML-таблиц до JSON-LD — и гарантирует корректную работу умного фильтра. Оценку вашего проекта проведём за один день — просто напишите нам.

Особенности парсинга характеристик разных форматов

Таблица спецификаций на источнике бывает нескольких типов, каждый требует отдельного подхода к извлечению:

• HTML-таблица (<table>) — классика, парсится через XPath (см. XPath) //table//tr. Первая ячейка строки — название, вторая — значение.
• Список dl/dt/dd — часто используется в современных магазинах. Парсим пары dt+dd.
• JSON-LD или микроразметка schema.org — идеальный вариант. Данные уже структурированы, не нужно парсить HTML:

  preg_match('/<script type="application/ld+json">(.*?)<\/script>/s', $html, $m);
  $data = json_decode($m[1], true);
  

• JS-переменные — данные в window.productData или __REDUX_STATE__. Извлекаем regex'ом.

Как нормализовать названия характеристик?

Разные источники называют одно и то же по-разному: «Вес», «Масса нетто», «Weight (kg)». Прямой маппинг в свойство инфоблока без нормализации создаёт хаос. Наше решение — таблица алиасов property_aliases:

CREATE TABLE parser_property_aliases (
    alias VARCHAR(255),
    canonical_name VARCHAR(255),
    property_code VARCHAR(100)
);

При парсинге каждое найденное название ищем в таблице алиасов. Если не найдено — логируем как «неизвестное свойство» для ручной проверки и добавления в словарь. Это гарантирует чистоту данных даже при работе с тысячами SKU. Словарь алиасов — ключевой элемент, позволяющий избежать дублирования и ошибок фильтрации.

Какие типы свойств использовать для умного фильтра?

Свойства инфоблока (b_iblock_property) имеют типы: S (строка), N (число), L (список), E (привязка к элементу). Для характеристик используем:

Для фасетного фильтра значения типа L работают быстрее — они индексируются в b_iblock_element_prop_enum. Создание значения при импорте:

$propEnum = CIBlockPropertyEnum::GetList([], [
    'PROPERTY_ID' => $propId,
    'VALUE' => $parsedValue
])->Fetch();
if (!$propEnum) {
    CIBlockPropertyEnum::Add(['PROPERTY_ID' => $propId, 'VALUE' => $parsedValue]);
}

Что делать с единицами измерения?

Источники дают «10 кг», «10kg», «10 килограммов». Нужен парсер единиц: разделяем число и единицу, нормализуем единицу к стандарту. Простой regex: /^([\d.,]+)\s*(.*)$/. Числовые значения свойств в Битриксе хранятся как строки в b_iblock_element_property.VALUE — единицы измерения лучше вынести в отдельное свойство или добавлять к CODE свойства (WEIGHT_KG).

Кейс из нашей практики: электроника, 15 000 SKU, 120+ типов характеристик

Задача: наполнить свойства для умного фильтра по ноутбукам, телефонам, телевизорам — три инфоблока с разными наборами свойств.

Реализация:

• Парсинг с сайта производителя через JSON-LD (70% товаров) + HTML-таблица (30%)
• Словарь алиасов из 380 записей, собранный за первые 3 дня разработки
• Все числовые характеристики — тип N, списочные (бренд, цвет, страна) — тип L
• Параллельный запуск 5 воркеров через PHP-CLI, каждый обрабатывает свою категорию

Результат: умный фильтр заработал корректно по 48 параметрам после 2 итераций отладки словаря алиасов. Конверсия из фильтра выросла на 15%. Экономия бюджета на ручном заполнении — значительная, особенно для каталогов с тысячами позиций.

Процесс работы: пошаговый план

1. Анализ структуры характеристик источника — определяем формат спецификаций и объём данных. 4–8 часов.
2. Разработка парсера — пишем модуль извлечения под ваш тип источника. 2–3 дня.
3. Создание словаря алиасов — собираем и нормализуем названия характеристик. 1–2 дня.
4. Настройка свойств инфоблока — создаём или настраиваем свойства под фильтр. 1 день.
5. Импорт данных и отладка — загружаем характеристики, проверяем типы. 1–2 дня.
6. Проверка работы умного фильтра — тестируем фильтрацию по всем параметрам. 4–8 часов.

Что входит в работу

Итого: 7–12 рабочих дней. Это одна из самых трудоёмких задач наполнения каталога, но мы выполняем её под ключ с гарантией результата. Сертифицированные специалисты с опытом более 50 успешных проектов по наполнению каталогов Битрикса.

CREATE TABLE parser_property_aliases (
    id INT AUTO_INCREMENT PRIMARY KEY,
    alias VARCHAR(255) NOT NULL,
    canonical_name VARCHAR(255) NOT NULL,
    property_code VARCHAR(100) NOT NULL,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

Свяжитесь с нами для оценки вашего проекта — мы проанализируем структуру вашего источника и предложим оптимальное решение. Получите консультацию прямо сейчас и узнайте, как парсинг характеристик может сократить операционные расходы вашего интернет-магазина.

Разработка парсеров для 1С-Битрикс: с чего начать?

XMLReader, а не SimpleXML — выбор инструмента определяет судьбу проекта. SimpleXML загружает весь XML в память, и при файле поставщика на 800 МБ PHP упадёт с fatal error на лимите 512 МБ. XMLReader обрабатывает потоково, node за node, потребляя 20–30 МБ — в 30 раз эффективнее. С этой детали стартует любая разработка парсеров под Битрикс. Мы делаем такие системы уже 10+ лет, и ни один проект не обходится без правильного выбора парсера.

Какие проблемы решает парсинг?

• Первичное наполнение каталога — 15 000 карточек с описаниями, характеристиками, фото. Вручную это три месяца контент-менеджера; парсер — неделя с отладкой.
• Мониторинг цен конкурентов — сбор данных с Ozon, Wildberries, сайтов конкурентов. Конкурент снизил цену на ходовую позицию — узнаёте через два часа, а не через две недели.
• Агрегация поставщиков — пять прайсов в разных форматах (CSV с CP1251, XML в CommerceML, Excel с объединёнными ячейками) превращаются в единый каталог с общей системой свойств инфоблока.
• Обогащение карточек — подтягиваем характеристики, инструкции, 3D-модели с сайтов производителей. Без этого карточка товара — пустышка для SEO.
• Обновление ассортимента — товары, пропавшие из фида поставщика, деактивируются через CIBlockElement::Update($ID, ['ACTIVE' => 'N']). Новые — создаются. Каталог синхронизирован.

Какие инструменты используем в разработке парсеров?

Статические сайты — PHP (Goutte, Symfony DomCrawler) или Python (Scrapy, lxml). Скорость: 50–100 страниц/сек. Хватает для каталогов без JS-рендеринга.

SPA и динамические сайты — Puppeteer или Playwright. Бесконечный скролл, AJAX-фильтры, lazy-load картинок — headless-браузер всё это обработает. Скорость падает до 1–10 страниц/сек, но альтернативы нет: данные существуют только после выполнения JavaScript.

Файлы поставщиков:

• Excel (XLS, XLSX) — PhpSpreadsheet. Осторожно с объединёнными ячейками и формулами — они ломают автоматический маппинг.
• CSV — fgetcsv() с правильной кодировкой. Поставщики любят CP1251, BOM в UTF-8 и точку с запятой вместо запятой. Всё это нужно детектить и обрабатывать.
• XML/YML — XMLReader для больших файлов, SimpleXML для фидов до 50 МБ.
• CommerceML — стандартный формат обмена с 1С. Разбираем import.xml и offers.xml, маппим на структуру инфоблоков.

API — REST-эндпоинты поставщиков, API маркетплейсов (Ozon Seller API, Wildberries API). Работаем в рамках rate limits, обрабатываем пагинацию.

Как устроен пайплайн автонаполнения?

Четыре этапа. Каждый может сломаться по-своему.

1. Сбор. Парсер обходит источники по cron-расписанию. Сырые данные пишем в промежуточную таблицу — не сразу в b_iblock_element. Логируем всё: сколько страниц обошли, сколько элементов распарсили, где получили 403 или timeout. Без логов отладка парсера — гадание на кофейной гуще.

2. Нормализация. Здесь основная работа:

   • Очистка HTML-тегов, лишних пробелов, Unicode-мусора
   • Единицы измерения: «мм» → «мм», «millimeters» → «мм», «миллиметр» → «мм»
   • Маппинг категорий поставщика → разделы инфоблока Битрикс. У одного поставщика «Ноутбуки», у другого «Ноутбуки и планшеты», у третьего «Laptops» — всё в одну секцию
   • Дедупликация по артикулу, EAN/GTIN. Один товар от трёх поставщиков не должен появиться трижды

3. Загрузка в Битрикс. Через CIBlockElement::Add() для новых элементов, CIBlockElement::Update() для существующих. Изображения: скачиваем, ресайзим через CFile::ResizeImageGet(), конвертируем в WebP. Свойства — через CIBlockElement::SetPropertyValuesEx(). SEO-мета через \Bitrix\Iblock\InheritedProperty\ElementValues. ЧПУ генерируем из транслитерации названия.

4. Обновление. Ключевой момент — не затереть ручные правки контент-менеджера. Обновляем только цену, остатки, активность. Описание и фото, доработанные вручную, помечаем флагом UF_MANUAL_EDIT в свойствах элемента и пропускаем при импорте. Товары, пропавшие из фида — деактивируем, но не удаляем.

Почему мониторинг цен конкурентов необходим?

Отдельная подсистема со своей спецификой:

Результат — дашборд: ваш товар vs конкуренты, история цен, тренды. Менеджер видит, где можно поднять цену без потери позиции, а где нужно реагировать.

Модуль импорта CSV/XML: настройка под ваш формат

Для файлов от поставщиков — кастомный модуль с админкой:

• Настраиваемый маппинг: «колонка B в файле → свойство BRAND инфоблока»
• Автодетект кодировки (CP1251, UTF-8, UTF-16) через mb_detect_encoding() с проверкой
• Загрузка изображений по URL с очередью — чтобы не забить канал
• Инкрементальное обновление по хешу строки: изменилась строка — обновляем, нет — пропускаем
• Cron-расписание, отчёт: создано 145, обновлено 892, ошибок 3 (с деталями)

Большие файлы: CSV обрабатываем батчами по 1000 строк через fgetcsv(), XML потоково через XMLReader, фоновое выполнение через очередь агентов Битрикс — никаких PHP-таймаутов.

Правовая сторона — что важно учесть

• robots.txt — уважаем. Crawl-delay — соблюдаем.
• Частота запросов — 1–2 в секунду, не больше. Не нужно DDoS-ить чужой сайт.
• Контент производителей — используем. Уникальные авторские тексты — не копируем.
• Персональные данные — не собираем.

Что входит в разработку парсера под ключ?

Как мы работаем и сроки

1. Прототип — парсер для 1–2 источников за 2–3 дня. Оцениваем качество данных, подводные камни (защита Cloudflare, капча, динамическая подгрузка).
2. Разработка — полный пайплайн: парсер → нормализация → импорт в Битрикс → админка для управления.
3. Тестирование — прогоняем на полном объёме каталога, проверяем edge-кейсы (пустые поля, кривой HTML, битые картинки).
4. Запуск — настраиваем cron, мониторинг ошибок через Telegram-бот.
5. Поддержка — конкурент переделал вёрстку? Обновляем CSS-селекторы в парсере.

Свяжитесь для оценки вашего проекта — мы предложим оптимальное решение под ваш бюджет. Гарантируем стабильную работу парсеров и полную поддержку в течение всего срока использования.