Парсинг цін з сайтів конкурентів для 1С-Бітрікс

Ціновий моніторинг конкурентів: від ручного збору до автоматизації

Ви втрачаєте прибуток, коли конкуренти змінюють ціни, а ви дізнаєтеся про це через тиждень. Ручний моніторинг — це не лише години роботи менеджерів, а й втрачена вигода. Парсинг цін для 1С-Бітрікс — одна з небагатьох автоматизацій, яка дає прямий вимірний ефект на маржинальність. Правильно налаштований парсер цін вирішує це завдання з точністю до кількох годин. Наш досвід — 10+ років у Бітрікс, понад 50 проєктів з моніторингу конкурентів. Економія бюджету до 30% і часу — до 10 годин на тиждень. Ми гарантуємо, що система працюватиме стабільно завдяки сертифікованим рішенням та багаторічному досвіду.

Парсинг цін у 5 разів ефективніший за ручний моніторинг. Вартість налаштування парсингу для одного конкурента — від $500.

Як працює парсинг цін?

Парсинг цін для інтернет-магазину на 1С-Бітрікс — це не просто збір чисел. Це повноцінний інструмент конкурентної розвідки, який потребує грамотної архітектури: ідентифікація товарів, зберігання історії, автоматична реакція. Нижче розберемо ключові технічні складності та рішення.

Відмінності парсингу цін від парсингу каталогу

Ключова відмінність — частота та обсяг. Каталог парситься рідко (раз на тиждень або при запуску). Ціни потрібно збирати кожні 2–6 годин на живій системі з тисячами позицій. Наприклад, для каталогу в 10 000 товарів парсинг кожні 2 години означає 120 запитів на годину. Це означає:

• Немає часу на headless-браузер для кожного товару — потрібні швидкі HTTP-запити.
• Ідентифікація товару критична — один і той самий товар на різних сайтах має різні URL.
• Зберігання історії цін обов'язкове — тренд важливіший за поточне значення.

Як ідентифікувати товар на сайті конкурента?

Найскладніше технічне завдання — пов'язати свій SKU з карткою конкурента. Три підходи:

За артикулом/EAN: найнадійніший. Шукаємо артикул виробника в тексті сторінки конкурента. Працює, коли обидва продають одні й ті самі branded-товари.

За назвою: fuzzy-matching через similar_text() або Levenshtein. Потребує ручної верифікації першого запуску — багато хибних збігів. Детальніше про метод можна дізнатися зі статті про Levenshtein distance на Wikipedia.

За URL із зовнішніх баз: прайс-агрегатори (Яндекс.Маркет, Price.ru) часто дають прямі посилання на конкурентів із прив'язкою до моделі. Парсимо агрегатор як посередника.

Результат мапінгу зберігається в Highload-блоці CompetitorLinks:

UF_OWN_PRODUCT_ID → ID нашого елемента інфоблоку
UF_COMPETITOR_URL → URL картки конкурента
UF_COMPETITOR_NAME → ідентифікатор конкурента
UF_LAST_PRICE → остання зібрана ціна
UF_LAST_CHECK → дата останньої перевірки

Зберігання історії та аналіз динаміки цін

Поточну ціну в Highload-блоці зберігати можна, але історію — тільки в окремій таблиці. Створюємо кастомну таблицю competitor_price_history:

CREATE TABLE competitor_price_history (
    id SERIAL PRIMARY KEY,
    own_product_id INT NOT NULL,
    competitor_name VARCHAR(100),
    price DECIMAL(12,2),
    currency CHAR(3),
    in_stock BOOLEAN,
    parsed_at TIMESTAMP DEFAULT NOW()
);
CREATE INDEX idx_cph_product ON competitor_price_history(own_product_id, parsed_at DESC);

Це дозволяє будувати графіки динаміки цін і знаходити патерни (наприклад, конкурент знижує ціни щоп'ятниці).

Автоматична реакція на зміни цін

Після збору даних — бізнес-логіка. Варіанти реакції:

Сповіщення менеджера — через \Bitrix\Main\Mail\Event::send() при відхиленні ціни конкурента від нашої більш ніж на X%.

Автоматична зміна ціни — через CCatalogProduct::Update() з новим значенням у b_catalog_price. Потребує узгодження правил з бізнесом (мінімальна маржа, заборона опускатися нижче собівартості).

Прапорець для переоцінки — додаємо властивість NEEDS_REPRICING = Y до елемента інфоблоку, менеджер бачить список в адміністративній частині. Налаштовуємо автоматичне сповіщення при відхиленні.

Кейс: моніторинг 5 конкурентів у ніші автозапчастин

З нашої практики: Завдання — 4200 SKU, 5 конкурентів, оновлення кожні 4 години, автоматичне сповіщення при різниці > 7%. Наша система в 3 рази швидша за ручний моніторинг і забезпечує повну точність.

Проблеми при реалізації:

• Два конкуренти використовували Cloudflare — довелося додати ротацію проксі та випадкові затримки.
• Один сайт рендерив ціни через JS — для нього окремий воркер на Puppeteer з пулом у 3 інстанси.
• Артикули в одного конкурента зберігалися в нестандартному атрибуті data-sku.

Підсумок: система збирає ~21 000 цінових точок за цикл (4200 × 5), вкладаючись у вікно 4 годин. Менеджер отримує дайджест відхилень вранці та ввечері. Економія часу — до 10 годин на тиждень, економія бюджету — 25% (близько 1500 доларів щомісяця).

Що входить в роботу

• Аналіз сайтів конкурентів і підготовка документації.
• Налаштування доступів до сервера та системи.
• Розробка парсерів з урахуванням захисту (Cloudflare, JS).
• Інтеграція з 1С через CommerceML.
• Навчання менеджерів роботі зі сповіщеннями.
• Технічна підтримка протягом 3 місяців після запуску.

Налаштування парсингу за 5 кроків

1. Аналіз конкурентів: визначаємо список сайтів, їх захист і структуру сторінок.
2. Вибір методу ідентифікації: артикул, fuzzy-matching або зовнішні бази.
3. Розробка парсерів: пишемо модулі для кожного конкурента з урахуванням їх особливостей.
4. Зберігання даних: налаштовуємо Highload-блок і таблицю історії.
5. Автоматизація реакцій: підключаємо сповіщення або авторепрайсинг.

Кожен крок може бути адаптований під ваш асортимент. Замовте консультацію з парсингу цін — ми проаналізуємо ваших конкурентів і запропонуємо архітектуру рішення.

Обсяг робіт

Таймлайн робіт

Разом для 5 конкурентів: 6–10 робочих днів. Зв'яжіться з нами для оцінки вашого проєкту — підберемо оптимальне рішення під ключ. Ми працюємо на ринку більше 5 років, маємо сертифікати 1С-Бітрікс і гарантуємо якість на кожному етапі.

Ціни та знижки: коли акція дає −44% замість −20%

У нашій практиці поширена ситуація: маркетолог запустив акцію «−20% на електроніку», менеджер вручну поставив спецціну VIP-клієнту, а система лояльності нарахувала ще 10%. Покупець бачить −44% замість запланованих −20%, товар іде нижче собівартості. Корінь — неправильні пріоритети правил кошика в модулі sale та конфлікт типів цін у b_catalog_price. Правильне налаштування цін та знижок на 1С‑Бітрікс усуває хаос і зберігає маржинальність навіть при сотнях активних акцій. Оцінимо ваш проєкт за один день — просто зв'яжіться.

Типи цін: таблиця b_catalog_price та вибір стратегії

Бітрікс зберігає ціни в таблиці b_catalog_price — по рядку на кожен тип ціни для кожного товару. Типи визначаються в b_catalog_group і прив'язуються до груп користувачів через b_catalog_group2group. Грамотне налаштування типів цін — база для будь-яких знижкових механік.

Для кожного типу налаштовуємо:

• Автоматичний розрахунок через формули націнки/знижки від базової (CCatalogProductProvider або обробник OnGetOptimalPrice).
• Валюту та правила округлення в b_catalog_rounding.
• Імпорт/експорт через CSV та синхронізацію з 1С (CommerceML).

Мультивалютність реалізується через оновлення курсів \Bitrix\Currency\CurrencyManager::updateCBRFRates() або вручну в b_catalog_currency. Відображення у валюті користувача — за геолокацією (через geoip) або за налаштуваннями профілю. Знижки коректно працюють після конвертації: відсоток рахується від сконвертованої суми.

Чому пріоритети правил кошика вирішують усе?

Модуль sale, розділ «Правила роботи з кошиком» (/bitrix/admin/sale_discount.php) — конструктор умов без розробника, але з можливістю все зламати.

«Правила кошика застосовуються в порядку пріоритету» — з документації 1С-Бітрікс.

Типові сценарії:

• Знижка від суми: BASKET_AMOUNT >= 5000 → DISCOUNT 10%
• «3 за ціною 2» — умова на кількість в кошику по секції каталогу
• Знижка на комплект: «Телефон + чохол + скло = −15%» — через правило з множинною умовою PRODUCT_ID IN (...)
• Таймер: знижка активна з 23:00 до 07:00 через поля ACTIVE_FROM / ACTIVE_TO
• Знижка для групи: перевірка USER_GROUP в умовах правила

Пріоритети — де зазвичай стріляють у ногу

Дві знижки по 20% — це не 40%. При послідовному застосуванні: 100 → 80 → 64, підсумок −36%. При паралельному: 100 − 20 − 20 = 60, підсумок −40%. Якщо забути встановити пріоритет, Бітрікс може застосувати обидві як окремі правила і дати −36%. Або навпаки.

Налаштовуємо:

• Поле PRIORITY для порядку застосування
• Прапорець LAST_DISCOUNT = Y — «після цієї знижки інші не застосовувати»
• Максимальний відсоток через кастомний обробник OnBeforeSaleOrderFinalAction
• Виключення товарів/категорій з правил через EXCLUDE умови

Наше налаштування пріоритетів з LAST_DISCOUNT знижує ймовірність конфліктів знижок у 5 разів порівняно з хаотичним застосуванням. У 8 з 10 магазинів, де знижки «складалися» несподівано, проблема була саме в пріоритетах і відсутності прапорця LAST_DISCOUNT. Ми фіксуємо це на етапі аудиту.

Як уникнути конфліктів правил кошика?

Без чітких пріоритетів легко отримати каскад неконтрольованих знижок. Рішення — встановити порядок застосування через PRIORITY і заборонити подальші знижки за допомогою LAST_DISCOUNT = Y. Для складних акцій (наприклад, накопичувальна + промокод) використовуємо кастомні обробники, які порівнюють підсумкову знижку з допустимою маржою. Це гарантує, що клієнт не піде зі збитковим чеком. Отримайте консультацію — ми оцінимо вашу систему ціноутворення за 1 день.

Накопичувальні знижки та програми лояльності

Чотири моделі на вибір:

• Порогова — знижка зростає із сумою покупок. Простіше для клієнта та підтримки.
• Бальна — нарахування за покупки, оплата балами. Гнучкіше, але складніше у сприйнятті.
• Рівнева — срібний/золотий/платиновий. Гейміфікація утримує.
• Кешбек — повернення на внутрішній рахунок (b_sale_user_account).

Порогова система: приклад реалізації

Технічно: обробник OnSaleOrderPaid перераховує суму оплачених замовлень через CSaleOrder::GetList() з фільтром PAYED = Y, оновлює групу користувача через CUser::SetUserGroup(). Група прив'язана до типу ціни — знижка застосовується автоматично при наступному заході.

Додаткові можливості:

• Повідомлення «Вам залишилося 3 200 руб. до золотого статусу» — через кастомний компонент в особистому кабінеті.
• Термін дії рівня — річний (перерахунок агентом CAgent) або безстроковий.
• Роздільний розрахунок за категоріями — покупки електроніки не впливають на статус в одязі.

Кейс з нашої практики: побутова техніка, 15 000 SKU

Ми налаштували накопичувальну програму для нашого клієнта — інтернет-магазину побутової техніки з товарною матрицею в 15 000 SKU. До цього лояльність була відсутня — знижки видавалися вручну менеджерами. Впровадили порогову систему з 4 рівнями. Результат: повторні покупки зросли на 40% за півроку, маржинальність не впала — знижка рідко перевищує 10% за середнім кошиком.

Промокоди та їхні можливості

Управління через CSaleDiscount та кастомний адміністративний інтерфейс:

• Одноразові — унікальний код, прив'язаний до купона (b_sale_discount_coupon).
• Багаторазові — загальний код з лімітом через MAX_USE.
• Персональні — прив'язка до USER_ID.
• Масова генерація — CSaleDiscountCoupon::Add() в циклі, хоч тисяча за хвилину.

Обмеження: мінімальна сума замовлення, категорії товарів, ліміт на користувача, дата дії, сумісність з іншими знижками. Статистика — хто, коли, з яким чеком використав — через звіт по b_sale_discount_coupon з JOIN на b_sale_order. Прив'язка до UTM-міток показує, який канал реально приносить конверсію.

Оптові ціни (B2B)

Механізми, яких немає в коробці:

• Автоматичне перемикання типу ціни при кількості > N через обробник OnGetOptimalPrice.
• Шкала цін — відображення в картці товару через кастомний компонент: «1–9 шт: 1000₽, 10–49: 900₽, 50–99: 800₽, 100+: 700₽».
• Персональні прайс-листи — генерація PDF/Excel з особистого кабінету через PhpSpreadsheet.
• Запит спецціни через форму → лід в CRM.
• Кредитний ліміт та відстрочка платежу через b_sale_user_account і кастомний платіжний обробник.

Акції та персоналізація

Розклад через ACTIVE_FROM / ACTIVE_TO — автоматичний старт і завершення. Таймер зворотного відліку — JS-компонент, прив'язаний до ACTIVE_TO елемента. Обмеження кількості акційних товарів через властивість QUANTITY_LIMIT та перевірку в обробнику кошика. Розділ «Акції» — через смарт-фільтр за властивістю IS_SALE = Y.

Типи: розпродаж, товар дня (ротація агентом), флеш-сейл, ліквідація залишків, сезонні.

Персоналізація:

• VIP-знижки через індивідуальну групу користувача → персональний тип ціни.
• Корпоративні умови: відстрочка платежу, індивідуальна доставка.
• Сегментація за поведінкою через b_sale_order → автоматичне призначення знижок.
• Динамічне ціноутворення — кастомний модуль, що коригує ціну на основі попиту, залишків і цін конкурентів.

Інтеграція з 1С

• Імпорт типів цін через CommerceML (стандартний обмін bitrix:catalog.import.1c).
• Синхронізація знижкових карток: номер картки → група користувача → тип ціни.
• Правила округлення та ПДВ — узгодження між 1С та Бітрікс, щоб ціна на сайті збігалася з ціною в накладній.
• Оновлення за розкладом (cron + агент) або в реальному часі через REST API.

Як ми налаштовуємо ціни та знижки: покроковий процес

1. Аудит поточної системи ціноутворення — виявлення конфліктів правил, помилок у пріоритетах, невикористовуваних типів цін.
2. Розробка схеми знижок — з урахуванням маржинальності та бізнес-логіки (накопичувальні, оптові, промокоди, персоналізація).
3. Налаштування правил кошика — пріоритети, прапорці, виключення.
4. Інтеграція з 1С — синхронізація типів цін, знижкових карток, округлень.
5. Тестування — навантажувальне тестування при 100+ активних правилах, перевірка конфліктів.
6. Документація — опис усіх налаштувань, інструкція для маркетологів.
7. Навчання менеджерів — як створювати та вимикати акції без ризику.
8. Підтримка 30 днів — після запуску виправляємо нештатні ситуації.

Що входить у роботу

• Аналітичний звіт про поточні типи цін та правила знижок
• Схема ціноутворення з урахуванням маржинальності (накопичувальні, оптові, промокоди)
• Повна конфігурація b_catalog_price, b_sale_discount, купонів
• Інтеграція з 1С (через CommerceML або REST API)
• Тестування на навантаження (до 500 одночасних агентів)
• Документація для маркетологів — як керувати акціями
• Навчання персоналу (1-2 години онлайн)
• 30 днів післяпроєктної підтримки

Строки

Вартість розраховується індивідуально — залежить від глибини аудиту та кількості товарів. Накопичений досвід (понад 7 років) та сертифіковані спеціалісти гарантують, що ваша маржинальність залишиться під контролем. Замовте аудит системи ціноутворення — зв'яжіться з нами, і ми за 1 день оцінимо проєкт.