Парсинг описів товарів для наповнення 1С-Бітрікс

Торговий каталог на 100 000 позицій — порожні описи або копія з сайту постачальника. Ручне написання займе рік роботи команди копірайтерів, а регулярні оновлення роблять процес нескінченним. Дубльований контент — гарантований штраф від пошуковиків: Яндекс і Google знижують такі сторінки. SEO-спеціалісти бачать падіння трафіку, а менеджери витрачають години на ручне редагування кожної картки. Ми вирішуємо задачу автоматичним парсингом: видобуваємо, очищаємо, рерайтимо та записуємо в інфоблоки. У підсумку ви отримуєте унікальні описи без ручної праці — наповнення займає дні, а не роки.

Наші інженери підключають парсер до вашого проекту на 1С-Бітрікс. Використовуємо інфоблоки v2.0, HL-блоки та ORM. Пишемо на PHP 8.1+ з композером та строгою типізацією. Швидкість наповнення — до 20 разів швидше ручного введення. З AI-рерайтом через GPT економія бюджету сягає 70% — це втричі дешевше штатного копірайтера. Отримайте консультацію з автоматизації вашого каталогу: ми проаналізуємо ваші джерела та запропонуємо рішення.

Джерела описів

Вибір джерела визначає якість та правові ризики. Розглянемо основні варіанти:

• Сайт виробника — найрелевантніший контент, але часто важко парсити та містить copyright. Використовуйте як основу для рерайту, не як фінальний текст.
• Агрегатори (Яндекс.Маркет, OZON, Wildberries) — великий обсяг, стандартизований формат. Ті ж правові застереження.
• Офіційні дистриб'ютори — більш лояльні до використання контенту, часто зацікавлені в поширенні.
• Бази даних виробників (Icecat, Synccentric) — легальний варіант з API, платний, але дає чисті дані з ліцензією.

Парсинг з сайтів виробників часто порушує авторські права. Щоб уникнути претензій, ми орієнтуємося на легальні бази або використовуємо рерайт після видобування. У договорі фіксуємо відповідальність за контент.

Як автоматизувати рерайт за допомогою AI?

Після парсингу сирі описи потребують унікалізації. Використовуємо GPT API для генерації переписаного тексту. Процес:

1. Парсимо вихідний контент з джерела.
2. Очищаємо від сміття, залишаємо чистий текст.
3. Відправляємо в GPT з промптом: «Перепиши опис товару, збережи характеристики та ключові слова, зміни структуру фраз».
4. Записуємо результат в інфоблок: PREVIEW_TEXT (перший абзац) і DETAIL_TEXT (повний).
5. Встановлюємо прапорець DESCRIPTION_SOURCE = 'parsed' для відстеження джерела.

Такий підхід дає унікальний контент, що не порушує авторських прав, і економить до 70% бюджету на копірайтинг — це десятки тисяч гривень щомісяця. З AI-рерайтом ви отримуєте опис, який пошуковики не вважають дублем — різниця з вихідником сягає 80% унікальності. Парсинг з AI-рерайтом окупається за 2–3 місяці.

Чому важливо захищати ручні правки?

Менеджери можуть вручну покращувати описи. Не перезаписувати наосліп — додаємо логіку:

1. Якщо DETAIL_TEXT порожній — записуємо парсинговий текст з прапорцем DESCRIPTION_SOURCE.
2. Якщо заповнений — пропускаємо елемент при оновленні. Прапорець відсутній? Значить, опис правили вручну — не чіпаємо.

if (empty($arFields['DETAIL_TEXT']) || $arFields['DESCRIPTION_SOURCE'] === 'parsed') {
    $el->Update($elementId, ['DETAIL_TEXT' => $newText, 'DESCRIPTION_SOURCE' => 'parsed']);
}

Усунення дублів контенту

Дублювання — головна проблема SEO. Рішення — рерайт після парсингу. Використовуйте GPT API для унікалізації: відправляйте текст з промптом «перепиши своїми словами, зберігши сенс та ключові слова». Або наймайте копірайтерів для вибіркової обробки топових позицій. Другий варіант — використовувати кілька джерел та змішувати описи через шаблонізатор.

Запис у поля Бітрікса

Бітрікс розділяє опис на два поля:

• PREVIEW_TEXT — короткий опис (для лістингу)
• DETAIL_TEXT — повний опис (для картки товару)

При парсингу довгого опису: перший абзац → PREVIEW_TEXT, повний текст → DETAIL_TEXT. Тип тексту задається полями PREVIEW_TEXT_TYPE та DETAIL_TEXT_TYPE (значення: text або html).

Оновлення елемента:

$el = new CIBlockElement();
$el->Update($elementId, [
    'PREVIEW_TEXT' => $shortDesc,
    'PREVIEW_TEXT_TYPE' => 'html',
    'DETAIL_TEXT' => $fullDesc,
    'DETAIL_TEXT_TYPE' => 'html',
]);

Документація CIBlockElement допоможе розібратися з іншими методами.

Порівняння джерел парсингу

Що входить у роботу

• Аналіз джерел та вибір структури видобування
• Розробка парсера з урахуванням захисту від блокувань
• Очищення та нормалізація тексту (HTMLPurifier, регулярні вирази)
• Інтеграція з інфоблоком: PREVIEW_TEXT та DETAIL_TEXT
• Захист ручних правок через прапорець DESCRIPTION_SOURCE
• Тестування на 100–200 позиціях
• Документація та навчання менеджерів

Таймлайн та вартість

Разом: 4–6 робочих днів. Якщо потрібен рерайт через AI після парсингу — додайте ще 1–2 дні на інтеграцію з GPT API. Вартість розраховується індивідуально під ваш проект.

Зв'яжіться з нами для оцінки вашого проекту — наповнимо каталог за 4–6 днів та зекономимо до 70% бюджету на написання текстів. Отримайте консультацію з автоматизації каталогу: ми проаналізуємо джерела, підберемо оптимальне рішення та запропонуємо реалізацію.

З чого почати розробку парсера для 1С-Бітрікс?

XMLReader, а не SimpleXML — вибір інструмента визначає долю проекту. SimpleXML завантажує весь XML у пам’ять, і при файлі постачальника на 800 МБ PHP впаде з fatal error на ліміті 512 МБ. XMLReader обробляє потоково, node за node, споживаючи 20–30 МБ — в 30 разів ефективніше. З цієї деталі стартує будь-яка розробка парсерів під Бітрікс. Ми робимо такі системи вже понад 10 років, реалізували 50+ проектів, і жоден не обходиться без правильного вибору парсера.

Проблеми, які вирішує парсинг

• Первинне наповнення каталогу — 15 000 карток з описами, характеристиками, фото. Вручну це три місяці контент-менеджера; парсер — тиждень з налагодженням. Економія часу — до 90%.
• Моніторинг цін конкурентів — збір даних з Ozon, Wildberries, сайтів конкурентів. Конкурент знизив ціну на ходову позицію — дізнаєтеся через дві години, а не через два тижні. Окупається за 2–3 місяці.
• Агрегація постачальників — п’ять прайсів у різних форматах (CSV з CP1251, XML у CommerceML, Excel з об’єднаними комірками) перетворюються на єдиний каталог із загальною системою властивостей інфоблоку.
• Збагачення карток — підтягуємо характеристики, інструкції, 3D-моделі з сайтів виробників. Без цього картка товару — пустушка для SEO.
• Оновлення асортименту — товари, які зникли з фіду постачальника, деактивуються через CIBlockElement::Update($ID, ['ACTIVE' => 'N']). Нові — створюються. Каталог синхронізовано.

Інструменти для розробки парсерів

Статичні сайти — PHP (Goutte, Symfony DomCrawler) або Python (Scrapy, lxml). Швидкість: 50–100 сторінок/сек. Вистачає для каталогів без JS-рендерингу.

SPA та динамічні сайти — Puppeteer або Playwright. Нескінченний скрол, AJAX-фільтри, lazy-load картинок — headless-браузер все це обробить. Швидкість падає до 1–10 сторінок/сек, але альтернативи немає: дані існують лише після виконання JavaScript.

Файли постачальників:

• Excel (XLS, XLSX) — PhpSpreadsheet. Обережно з об’єднаними комірками та формулами — вони ламають автоматичний мапінг.
• CSV — fgetcsv() з правильною кодуванням. Постачальники люблять CP1251, BOM у UTF-8 та крапку з комою замість коми. Все це потрібно детектувати та обробляти.
• XML/YML — XMLReader для великих файлів, SimpleXML для фідів до 50 МБ.
• CommerceML — стандартний формат обміну з 1С. Розбираємо import.xml та offers.xml, мапимо на структуру інфоблоків.

API — REST-ендпоінти постачальників, API маркетплейсів (Ozon Seller API, Wildberries API). Працюємо в рамках rate limits, обробляємо пагінацію.

Як влаштований пайплайн автонаповнення?

Чотири етапи. Кожен може зламатися по-своєму.

1. Збір. Парсер обходить джерела по cron-розкладу. Сирі дані пишемо в проміжну таблицю — не одразу в b_iblock_element. Логуємо все: скільки сторінок обійшли, скільки елементів розпарсили, де отримали 403 або timeout. Без логів налагодження парсера — ворожіння на кавовій гущі.

2. Нормалізація. Тут основна робота:

   • Очищення HTML-тегів, зайвих пробілів, Unicode-сміття
   • Одиниці виміру: «мм» → «мм», «millimeters» → «мм», «миллиметр» → «мм»
   • Мапінг категорій постачальника → розділи інфоблоку Бітрікс. В одного постачальника «Ноутбуки», в іншого «Ноутбуки та планшети», у третього «Laptops» — все в одну секцію
   • Дедуплікація за артикулом, EAN/GTIN. Один товар від трьох постачальників не повинен з’явитися тричі

3. Завантаження в Бітрікс. Через CIBlockElement::Add() для нових елементів, CIBlockElement::Update() для існуючих. Зображення: завантажуємо, ресайзимо через CFile::ResizeImageGet(), конвертуємо в WebP. Властивості — через CIBlockElement::SetPropertyValuesEx(). SEO-мета через \Bitrix\Iblock\InheritedProperty\ElementValues. ЧПУ генеруємо з транслітерації назви.

4. Оновлення. Ключовий момент — не затерти ручні правки контент-менеджера. Оновлюємо лише ціну, залишки, активність. Опис та фото, доопрацьовані вручну, позначаємо прапорцем UF_MANUAL_EDIT у властивостях елемента і пропускаємо при імпорті. Товари, що зникли з фіду — деактивуємо, але не видаляємо.

Моніторинг цін конкурентів: необхідність та реалізація

Окрема підсистема зі своєю специфікою:

Результат — дашборд: ваш товар vs конкуренти, історія цін, тренди. Менеджер бачить, де можна підняти ціну без втрати позиції, а де потрібно реагувати.

Модуль імпорту CSV/XML: налаштування під ваш формат

Для файлів від постачальників — кастомний модуль з адмінкою:

• Налаштовуваний мапінг: «колонка B у файлі → властивість BRAND інфоблоку»
• Автодетект кодування (CP1251, UTF-8, UTF-16) через mb_detect_encoding() з перевіркою
• Завантаження зображень за URL з чергою агентів Bitrix — щоб не забити канал
• Інкрементальне оновлення за хешем рядка: змінився рядок — оновлюємо, ні — пропускаємо
• Cron-розклад, звіт: створено 145, оновлено 892, помилок 3 (з деталями)

Великі файли: CSV обробляємо батчами по 1000 рядків через fgetcsv(), XML потоково через XMLReader, фонове виконання через чергу агентів Бітрікс — ніяких PHP-таймаутів.

Правова сторона — що важливо врахувати

• robots.txt — поважаємо. Crawl-delay — дотримуємося.
• Частота запитів — 1–2 в секунду, не більше. Не потрібно DDoS-ити чужий сайт.
• Контент виробників — використовуємо. Унікальні авторські тексти — не копіюємо.
• Персональні дані — не збираємо.

Що входить в розробку парсера під ключ?

Скільки часу займає розробка парсера?

Процес і терміни:

1. Прототип — парсер для 1–2 джерел за 2–3 дні. Оцінюємо якість даних, підводні камені (захист Cloudflare, капча, динамічне підвантаження).
2. Розробка — повний пайплайн: парсер → нормалізація → імпорт в Бітрікс → адмінка для управління.
3. Тестування — проганяємо на повному обсязі каталогу, перевіряємо edge-кейси (порожні поля, кривий HTML, биті картинки).
4. Запуск — налаштовуємо cron, моніторинг помилок через Telegram-бот.
5. Підтримка — конкурент переробив верстку? Оновлюємо CSS-селектори в парсері.

Отримайте консультацію: розкажіть про своє джерело даних — ми підберемо оптимальний підхід. Зв’яжіться для оцінки вашого проекту — запропонуємо рішення під ваш бюджет. Гарантуємо стабільну роботу парсерів і повну підтримку.