Автоматичне наповнення новин на Бітрікс: парсинг RSS

Уявіть: новинний сайт на Бітрікс з 10 000 відвідувачів на добу, але контент оновлюється раз на тиждень. Редактори витрачають 20 годин на тиждень на копіювання статей із 15 джерел. У результаті — падіння позицій у видачі на 30% за квартал. Ми впроваджуємо парсинг новин Бітрікс, який автоматично збирає новини, фільтрує дублі та публікує їх в інфоблоці. На одному з проєктів це скоротило часові витрати з 15 до 1 години на тиждень — автоматизація в 15 разів краща за ручне копіювання — і збільшило індекс цитування на 45%. Крім того, такий підхід повністю виключає людські помилки при копіюванні та економить до 40 000 грн на місяць на зарплаті редакторів. Економія на редакторах: до 40 000 грн щомісяця, вартість автоматизації від 15 000 грн. Середня вартість впровадження — 25 000 грн, а потенційна економія за півроку — до 240 000 грн. Ми реалізуємо автонаповнення 1С-Бітрікс новинами, RSS парсер для Бітрікс, імпорт новин у Бітрікс, дедуплікацію новин, категоризацію контенту в Бітрікс, кроновий парсер Бітрікс, обробку RSS-фідів, 1С-Бітрікс парсинг, новинну стрічку сайту, автоматичне наповнення Бітрікс та Бітрікс парсинг RSS.

Згідно зі специфікацією RSS Board, стандарт RSS 2.0 підтримує всі необхідні поля для автоматичної публікації.

Як вибрати джерело даних для парсингу?

Новинні стрічки доступні в кількох форматах. Порівняння за ключовими параметрами:

RSS/Atom — оптимальний старт. Вони стандартизовані, легко парсяться і не потребують спеціальних дозволів.

Організація процесу імпорту

Парсер новин для Бітрікс складається з трьох шарів.

Збирач (Fetcher). Отримує RSS-фіди за списком URL. Використовує file_get_contents з контекстом або cURL з таймаутами. Кожен фід парситься через SimpleXMLElement або бібліотеку SimplePie. Для продуктивності застосовуємо асинхронний парсинг через Guzzle, що в 5 разів кращий за послідовний.

$xml = simplexml_load_string($rssContent); foreach ($xml->channel->item as $item) { $title = (string)$item->title; $link = (string)$item->link; $date = strtotime((string)$item->pubDate); $desc = (string)$item->description; } 

Обробник (Processor). Санізує HTML-теги, завантажує зображення, конвертує часові мітки, визначає категорію за ключовими словами. Парсер на SimplePie працює в 2 рази швидше за кастомний варіант на cURL.

Імпортер (Importer). Створює елементи в інфоблоці через CIBlockElement::Add(). Перевіряє дублі за XML_ID (URL статті або GUID).

Як зберігати та обробляти контент?

Рекомендований мапінг RSS→інфоблок:

XML_ID — обов'язкове поле. Використовуйте md5-хеш від URL статті — це гарантує унікальність. Сирий HTML з RSS непридатний для публікації. Типові проблеми:

• Зовнішні зображення — завантажуйте в /upload/ при імпорті.
• Сторонні скрипти та iframe — використовуйте strip_tags() з whitelist або HTMLPurifier.
• Відносні посилання — перетворюйте в абсолютні, підставивши домен джерела.
• Кодування — детектуйте через mb_detect_encoding() і конвертуйте в UTF-8.

Що краще: cron чи агенти Бітрікс?

Крон у 3 рази кращий за стандартні агенти Бітрікс для тривалих завдань — агенти обриваються при перевищенні часу виконання, а крон виконується до кінця. Cron-задача викликає PHP-скрипт:

$_SERVER['DOCUMENT_ROOT'] = '/home/bitrix/www'; require $_SERVER['DOCUMENT_ROOT'] . '/bitrix/modules/main/include/prolog_before.php'; CModule::IncludeModule('iblock'); 

Частота: термінові новини — кожні 15–30 хвилин, галузеві — 1–2 години, аналітика — 1–2 рази на добу.

Як налаштувати парсинг новин на Бітрікс за 5 кроків?

1. Виберіть джерела RSS/API.
2. Напишіть збирач на SimplePie або cURL.
3. Налаштуйте обробник: очищення HTML, завантаження картинок, мапінг категорій.
4. Реалізуйте імпортер з перевіркою XML_ID.
5. Налаштуйте cron та систему логування помилок.

Контроль якості та категоризація

Окрім XML_ID, використовуйте:

• Фільтр за датою — не імпортувати новини старші N днів.
• Мінімальна довжина опису — відкидати записи коротші за 100 символів.
• Стоп-слова — фільтрувати нерелевантні тематиці ключові слова.
• Ліміт на джерело — не більше N новин на добу з одного фіду.

Найпростіший варіант категоризації контенту в Бітрікс — мапінг «джерело → розділ інфоблоку». Більш гнучкий — класифікація за ключовими словами:

$rules = [ 'Технології' => ['AI', 'блокчейн', 'стартап', 'застосунок'], 'Фінанси' => ['акції', 'курс', 'інвестиції', 'IPO'], ]; 

Для 10+ категорій підключайте зовнішні класифікатори (OpenAI, Yandex GPT).

Юридична сторона

Публікація чужих новин «як є» порушує авторські права. Варіанти:

• Публікація заголовка + 2–3 речень з посиланням (цитування).
• Автоматичний рерайт через LLM — юридично спірно.
• Використання фідів з відкритою ліцензією (Creative Commons, держджерела).

Що входить у роботу

• Аудит поточного каталогу — структура інфоблоків, перевірка дублів.
• Розробка парсера — збирач, обробник, імпортер.
• Інтеграція з cron — розклад, логування.
• Дедуплікація та фільтри.
• Документація та навчання редакторів.
• Підтримка 30 днів після релізу.

Досвід та експертиза

Ми займаємося розробкою на Бітрікс понад 7 років (7+ років досвіду), реалізували 200+ проєктів автоматизації. Наші інженери сертифіковані 1С-Бітрікс. Використовуємо CommerceML, REST API, Bizproc — повний стек. Більше 7 років на ринку, 200+ успішних проєктів. Для складних проєктів впроваджуємо багатопотоковий парсинг через Guzzle та черги повідомлень RabbitMQ, використовуємо принципи SOLID та патерн Repository для абстрагування сховища даних, забезпечуємо асинхронну обробку через cron та систему кешування Redis. Зв'яжіться з нами, щоб обговорити архітектуру парсера для вашого сайту — ми підготуємо пропозицію за 1-2 дні. Отримайте консультацію з автоматизації новинного розділу.