Парсинг статей и контента для автонаполнения 1С-Битрикс

Парсинг статей и контента для автонаполнения 1С-Битрикс

Представьте: редактор вручную копирует статьи из внешних источников. На одну публикацию уходит 4 часа — анализ структуры, очистка форматирования, загрузка изображений, SEO-согласование. При объёме 500 статей это 2000 человеко-часов. Мы автоматизируем этот процесс: гибридный парсинг на основе Readability и кастомных CSS-селекторов сокращает время до 10 минут на статью с точностью 95%+. Наша команда имеет 10+ лет опыта разработки на 1С-Битрикс и более 500 проектов по автоматизации контента. Экономия ресурсов очевидна: вместо месяцев работы — несколько часов на настройку парсера. Закажите предварительный анализ ваших источников — мы оценим сложность и сроки.

Почему парсинг статей сложнее парсинга новостей?

Новостной парсер работает с RSS-фидами — структурированными, предсказуемыми данными. Парсинг статей — это работа с произвольными HTML-страницами, где каждый сайт-источник имеет свою вёрстку, структуру навигации и способ представления контента. Разберём ключевые отличия, которые делают парсинг статей нетривиальной задачей:

• Нет единого формата — каждый источник требует индивидуального парсера или универсального экстрактора.
• Сложная структура контента — статья содержит заголовки, списки, таблицы, встроенные медиа, блоки кода. Всё это нужно сохранить.
• Объём текста — статья в 5 000–10 000 символов против 500-символьной новости. Больше данных — больше точек отказа.
• Частота обновления — статьи публикуются реже новостей, но каждая единица контента ценнее.

Какие проблемы решает гибридный парсинг?

Гибридный подход объединяет алгоритмический экстрактор (Mozilla Readability) и кастомные CSS-селекторы для сайтов, где автоматика ошибается. Библиотека andreskrey/readability.php (порт Readability на PHP) анализирует плотность текста и выделяет основное содержимое за 2 секунды. Для источников, где Readability теряет таблицы или списки, мы добавляем селекторы-исключения. Результат: точность 95%+ на 10+ источниках.

Сравним подходы: чистый Readability сохраняет 80% структуры, но теряет 30% таблиц и 15% списков. Ручные селекторы дают 99% точности, но требуют 15 минут настройки на источник. Гибридный метод даёт 95% точности при 0,5 минуты на источник — в 30 раз быстрее селекторов и в 2 раза точнее чистого Readability для таблиц.

Как сохранить структуру и форматирование при извлечении?

После извлечения HTML нужно привести его к формату, пригодному для хранения в DETAIL_TEXT инфоблока Битрикс. Используем HTMLPurifier с кастомной конфигурацией, разрешающей теги h2–h4, p, ul, ol, li, table, img, a, strong, em, blockquote, pre, code. Этапы очистки:

• удаление script, style, iframe, inline-стилей, data-атрибутов;
• нормализация заголовков: исходный h1 статьи становится h2 в контексте страницы Битрикс;
• локализация изображений: скачивание внешних картинок в /upload/, замена URL в HTML;
• учёт ленивой загрузки (data-src вместо src).

Итоговый HTML проходит проверку на валидность и соответствие схеме инфоблока.

Извлечение контента: три подхода

Readability на PHP справляется за 2 секунды против 15 минут на ручное написание селектора для каждого источника — выигрыш в 450 раз на 10 источниках. На практике гибридный подход — единственный, который работает для 10+ источников. Чистая автоматика теряет важные блоки (таблицы, списки), чистые селекторы не масштабируются.

Пошаговый процесс парсинга статей

1. Сбор URL. Парсер обходит страницы-списки (пагинация, категории, sitemap.xml) и собирает URL статей. Сохраняет в очередь — таблицу parser_queue с полями url, status, created_at.
2. Загрузка и извлечение. Для каждого URL из очереди: загрузка HTML, извлечение контента, парсинг метаданных. Результат — структурированный массив, сохраняемый в промежуточную таблицу parser_articles.
3. Модерация (опционально). Администратор просматривает спарсенные статьи в интерфейсе, одобряет или отклоняет. Для полной автоматизации этот шаг заменяется фильтрацией по правилам.
4. Импорт. Одобренные статьи загружаются в инфоблок через CIBlockElement::Add(). Изображения сохраняются через CFile::MakeFileArray().

Маппинг в инфоблок

Как защитить парсер от блокировки?

Контентные сайты защищаются слабее, чем маркетплейсы, но базовые меры присутствуют:

• robots.txt — проверяем Disallow для парсируемых разделов. Игнорирование robots.txt — дополнительный юридический риск.
• Rate limiting — 1–2 запроса в секунду безопасны для большинства сайтов. Агрессивный парсинг (10+ rps) приведёт к блокировке.
• JavaScript-рендеринг — SPA-сайты требуют headless-браузера. Для статичных сайтов достаточно cURL.
• Cloudflare / WAF — определяют ботов по fingerprint. Решается через headless-браузер с реалистичными заголовками.

Автоматизация в cron

# Сбор новых URL из источников — раз в сутки 0 2 * * * php /home/bitrix/parsers/collect_urls.php # Парсинг статей из очереди — каждые 2 часа 0 */2 * * * php /home/bitrix/parsers/parse_articles.php --limit=50 # Импорт в инфоблок — каждый час 0 * * * * php /home/bitrix/parsers/import_articles.php