Парсинг описаний товаров для наполнения 1С-Битрикс

Торговый каталог на 100 000 позиций — пустые описания или копия с сайта поставщика. Ручное написание займёт год работы команды копирайтеров, а регулярные обновления делают процесс бесконечным. Дублированный контент — гарантированный штраф от поисковиков: Яндекс и Google понижают такие страницы. SEO-специалисты видят падение трафика, а менеджеры тратят часы на ручное редактирование каждой карточки. Мы решаем задачу автоматическим парсингом: извлекаем, очищаем, рерайтим и записываем в инфоблоки. В итоге вы получаете уникальные описания без ручного труда — наполнение занимает дни, а не годы.

Наши инженеры подключают парсер к вашему проекту на 1С-Битрикс. Используем инфоблоки v2.0, HL-блоки и ORM. Пишем на PHP 8.1+ с композером и строгой типизацией. Скорость наполнения — до 20 раз быстрее ручного ввода. С AI-рерайтом через GPT экономия бюджета достигает 70% — это втрое дешевле штатного копирайтера. Получите консультацию по автоматизации вашего каталога: мы проанализируем ваши источники и предложим решение.

Источники описаний

Выбор источника определяет качество и правовые риски. Рассмотрим основные варианты:

• Сайт производителя — самый релевантный контент, но часто трудно парсить и содержит copyright. Используйте как основу для рерайта, не как финальный текст.
• Агрегаторы (Яндекс.Маркет, OZON, Wildberries) — большой объём, стандартизированный формат. Те же правовые оговорки.
• Официальные дистрибьюторы — более лояльны к использованию контента, часто заинтересованы в распространении.
• Базы данных производителей (Icecat, Synccentric) — легальный вариант с API, платный, но даёт чистые данные с лицензией.

Парсинг с сайтов производителей часто нарушает авторские права. Чтобы избежать претензий, мы ориентируемся на легальные базы или используем рерайт после извлечения. В договоре фиксируем ответственность за контент.

Как автоматизировать рерайт с помощью AI?

После парсинга сырые описания требуют уникализации. Используем GPT API для генерации переписанного текста. Процесс:

1. Парсим исходный контент с источника.
2. Очищаем от мусора, оставляем чистый текст.
3. Отправляем в GPT с промптом: «Перепиши описание товара, сохрани характеристики и ключевые слова, измени структуру фраз».
4. Записываем результат в инфоблок: PREVIEW_TEXT (первый абзац) и DETAIL_TEXT (полный).
5. Устанавливаем флаг DESCRIPTION_SOURCE = 'parsed' для отслеживания источника.

Такой подход даёт уникальный контент, не нарушающий авторских прав, и экономит до 70% бюджета на копирайтинг — это десятки тысяч рублей ежемесячно. С AI-рерайтом вы получаете описание, которое поисковики не считают дублем — разница с исходником достигает 80% уникальности. Парсинг с AI-рерайтом окупается за 2–3 месяца.

Почему важно защищать ручные правки?

Менеджеры могут вручную улучшать описания. Не перезаписывать вслепую — добавляем логику:

1. Если DETAIL_TEXT пустой — записываем парсинговый текст с флагом DESCRIPTION_SOURCE.
2. Если заполнен — пропускаем элемент при обновлении. Флаг отсутствует? Значит, описание правили вручную — не трогаем.

if (empty($arFields['DETAIL_TEXT']) || $arFields['DESCRIPTION_SOURCE'] === 'parsed') {
    $el->Update($elementId, ['DETAIL_TEXT' => $newText, 'DESCRIPTION_SOURCE' => 'parsed']);
}

Устранение дублей контента

Дублирование — главная проблема SEO. Решение — рерайт после парсинга. Используйте GPT API для уникализации: отправляйте текст с промптом «перепиши своими словами, сохранив смысл и ключевые слова». Либо нанимайте копирайтеров для выборочной обработки топовых позиций. Второй вариант — использовать несколько источников и смешивать описания через шаблонизатор.

Запись в поля Битрикса

Битрикс разделяет описание на два поля:

• PREVIEW_TEXT — краткое описание (для листинга)
• DETAIL_TEXT — полное описание (для карточки товара)

При парсинге длинного описания: первый абзац → PREVIEW_TEXT, полный текст → DETAIL_TEXT. Тип текста задаётся полями PREVIEW_TEXT_TYPE и DETAIL_TEXT_TYPE (значения: text или html).

Обновление элемента:

$el = new CIBlockElement();
$el->Update($elementId, [
    'PREVIEW_TEXT' => $shortDesc,
    'PREVIEW_TEXT_TYPE' => 'html',
    'DETAIL_TEXT' => $fullDesc,
    'DETAIL_TEXT_TYPE' => 'html',
]);

Документация CIBlockElement поможет разобраться с другими методами.

Сравнение источников парсинга

Что входит в работу

• Анализ источников и выбор структуры извлечения
• Разработка парсера с учётом защиты от блокировок
• Очистка и нормализация текста (HTMLPurifier, регулярные выражения)
• Интеграция с инфоблоком: PREVIEW_TEXT и DETAIL_TEXT
• Защита ручных правок через флаг DESCRIPTION_SOURCE
• Тестирование на 100–200 позициях
• Документация и обучение менеджеров

Таймлайн и стоимость

Итого: 4–6 рабочих дней. Если нужен рерайт через AI после парсинга — добавьте ещё 1–2 дня на интеграцию с GPT API. Стоимость рассчитывается индивидуально под ваш проект.

Свяжитесь с нами для оценки вашего проекта — наполним каталог за 4–6 дней и сэкономим до 70% бюджета на написание текстов. Получите консультацию по автоматизации каталога: мы проанализируем источники, подберём оптимальное решение и предложим реализацию.

Разработка парсеров для 1С-Битрикс: с чего начать?

XMLReader, а не SimpleXML — выбор инструмента определяет судьбу проекта. SimpleXML загружает весь XML в память, и при файле поставщика на 800 МБ PHP упадёт с fatal error на лимите 512 МБ. XMLReader обрабатывает потоково, node за node, потребляя 20–30 МБ — в 30 раз эффективнее. С этой детали стартует любая разработка парсеров под Битрикс. Мы делаем такие системы уже 10+ лет, и ни один проект не обходится без правильного выбора парсера.

Какие проблемы решает парсинг?

• Первичное наполнение каталога — 15 000 карточек с описаниями, характеристиками, фото. Вручную это три месяца контент-менеджера; парсер — неделя с отладкой.
• Мониторинг цен конкурентов — сбор данных с Ozon, Wildberries, сайтов конкурентов. Конкурент снизил цену на ходовую позицию — узнаёте через два часа, а не через две недели.
• Агрегация поставщиков — пять прайсов в разных форматах (CSV с CP1251, XML в CommerceML, Excel с объединёнными ячейками) превращаются в единый каталог с общей системой свойств инфоблока.
• Обогащение карточек — подтягиваем характеристики, инструкции, 3D-модели с сайтов производителей. Без этого карточка товара — пустышка для SEO.
• Обновление ассортимента — товары, пропавшие из фида поставщика, деактивируются через CIBlockElement::Update($ID, ['ACTIVE' => 'N']). Новые — создаются. Каталог синхронизирован.

Какие инструменты используем в разработке парсеров?

Статические сайты — PHP (Goutte, Symfony DomCrawler) или Python (Scrapy, lxml). Скорость: 50–100 страниц/сек. Хватает для каталогов без JS-рендеринга.

SPA и динамические сайты — Puppeteer или Playwright. Бесконечный скролл, AJAX-фильтры, lazy-load картинок — headless-браузер всё это обработает. Скорость падает до 1–10 страниц/сек, но альтернативы нет: данные существуют только после выполнения JavaScript.

Файлы поставщиков:

• Excel (XLS, XLSX) — PhpSpreadsheet. Осторожно с объединёнными ячейками и формулами — они ломают автоматический маппинг.
• CSV — fgetcsv() с правильной кодировкой. Поставщики любят CP1251, BOM в UTF-8 и точку с запятой вместо запятой. Всё это нужно детектить и обрабатывать.
• XML/YML — XMLReader для больших файлов, SimpleXML для фидов до 50 МБ.
• CommerceML — стандартный формат обмена с 1С. Разбираем import.xml и offers.xml, маппим на структуру инфоблоков.

API — REST-эндпоинты поставщиков, API маркетплейсов (Ozon Seller API, Wildberries API). Работаем в рамках rate limits, обрабатываем пагинацию.

Как устроен пайплайн автонаполнения?

Четыре этапа. Каждый может сломаться по-своему.

1. Сбор. Парсер обходит источники по cron-расписанию. Сырые данные пишем в промежуточную таблицу — не сразу в b_iblock_element. Логируем всё: сколько страниц обошли, сколько элементов распарсили, где получили 403 или timeout. Без логов отладка парсера — гадание на кофейной гуще.

2. Нормализация. Здесь основная работа:

   • Очистка HTML-тегов, лишних пробелов, Unicode-мусора
   • Единицы измерения: «мм» → «мм», «millimeters» → «мм», «миллиметр» → «мм»
   • Маппинг категорий поставщика → разделы инфоблока Битрикс. У одного поставщика «Ноутбуки», у другого «Ноутбуки и планшеты», у третьего «Laptops» — всё в одну секцию
   • Дедупликация по артикулу, EAN/GTIN. Один товар от трёх поставщиков не должен появиться трижды

3. Загрузка в Битрикс. Через CIBlockElement::Add() для новых элементов, CIBlockElement::Update() для существующих. Изображения: скачиваем, ресайзим через CFile::ResizeImageGet(), конвертируем в WebP. Свойства — через CIBlockElement::SetPropertyValuesEx(). SEO-мета через \Bitrix\Iblock\InheritedProperty\ElementValues. ЧПУ генерируем из транслитерации названия.

4. Обновление. Ключевой момент — не затереть ручные правки контент-менеджера. Обновляем только цену, остатки, активность. Описание и фото, доработанные вручную, помечаем флагом UF_MANUAL_EDIT в свойствах элемента и пропускаем при импорте. Товары, пропавшие из фида — деактивируем, но не удаляем.

Почему мониторинг цен конкурентов необходим?

Отдельная подсистема со своей спецификой:

Результат — дашборд: ваш товар vs конкуренты, история цен, тренды. Менеджер видит, где можно поднять цену без потери позиции, а где нужно реагировать.

Модуль импорта CSV/XML: настройка под ваш формат

Для файлов от поставщиков — кастомный модуль с админкой:

• Настраиваемый маппинг: «колонка B в файле → свойство BRAND инфоблока»
• Автодетект кодировки (CP1251, UTF-8, UTF-16) через mb_detect_encoding() с проверкой
• Загрузка изображений по URL с очередью — чтобы не забить канал
• Инкрементальное обновление по хешу строки: изменилась строка — обновляем, нет — пропускаем
• Cron-расписание, отчёт: создано 145, обновлено 892, ошибок 3 (с деталями)

Большие файлы: CSV обрабатываем батчами по 1000 строк через fgetcsv(), XML потоково через XMLReader, фоновое выполнение через очередь агентов Битрикс — никаких PHP-таймаутов.

Правовая сторона — что важно учесть

• robots.txt — уважаем. Crawl-delay — соблюдаем.
• Частота запросов — 1–2 в секунду, не больше. Не нужно DDoS-ить чужой сайт.
• Контент производителей — используем. Уникальные авторские тексты — не копируем.
• Персональные данные — не собираем.

Что входит в разработку парсера под ключ?

Как мы работаем и сроки

1. Прототип — парсер для 1–2 источников за 2–3 дня. Оцениваем качество данных, подводные камни (защита Cloudflare, капча, динамическая подгрузка).
2. Разработка — полный пайплайн: парсер → нормализация → импорт в Битрикс → админка для управления.
3. Тестирование — прогоняем на полном объёме каталога, проверяем edge-кейсы (пустые поля, кривой HTML, битые картинки).
4. Запуск — настраиваем cron, мониторинг ошибок через Telegram-бот.
5. Поддержка — конкурент переделал вёрстку? Обновляем CSS-селекторы в парсере.

Свяжитесь для оценки вашего проекта — мы предложим оптимальное решение под ваш бюджет. Гарантируем стабильную работу парсеров и полную поддержку в течение всего срока использования.