Розробка парсера цін конкурентів для моніторингу

Ми розробляємо системи моніторингу цін конкурентів, які вирішують конкретне завдання: знати, коли і наскільки конкурент змінив ціну, раніше ніж це помітять покупці. Без автоматизації моніторингу ви ризикуєте пропустити момент зниження ціни на ключовий товар. Ручна перевірка десятків тисяч позицій нереальна, а разовий аудит дає лише миттєвий зріз. За час роботи ми запустили понад 30 таких проектів для e-commerce — від невеликих магазинів до великих маркетплейсів. Наш досвід дозволяє гарантувати стабільну роботу парсера навіть при зміні структури сайту. Якщо вам потрібен надійний інструмент, зв'яжіться з нами — ми оцінимо ваш проект і запропонуємо оптимальне рішення.

Архітектура системи моніторингу

Ключова відмінність від разового парсера — пріоритизація товарів. Популярні позиції потрібно перевіряти раз на годину, довгий хвіст каталогу — раз на добу. Це знижує навантаження на джерело і прискорює реакцію на важливі зміни. Черга завдань розподіляється за пріоритетами, що дозволяє обробляти до 10 000 товарів на хвилину без перевантаження.

[Scheduler]
├── High priority queue (топ-товари, щогодини)
└── Low priority queue (інші, раз на добу)
↓
[Fetcher] → [Parser] → [Change Detector] → [Alert Engine]
↓
[price_history table]

Change Detector порівнює нову ціну з останнім записом в історії. При зміні — запис у price_history і подія в чергу алертів. Без змін — лише оновлення last_checked_at, щоб не роздувати історію. Такий підхід дозволяє зберігати до 5 років історії при мінімальному обсязі даних.

Чому JSON-LD — найкраще джерело для парсингу цін?

Ціни на сайтах бувають представлені по-різному. В HTML — CSS-селектор .product-price або атрибут data-price. В Schema.org — надійно, не ламається при редизайні. Через XHR API — перехоплення мережевих запитів через Playwright. Динамічно через JS після завантаження — потрібен headless browser. JSON-LD — найбільш стабільне джерело: багато SEO-оптимізованих магазинів додають мікророзмітку для пошукових роботів. Помилка при парсингу через HTML може сягати 10%, а через JSON-LD — менше 0.5%.

import * as cheerio from 'cheerio';

interface PriceData {
  price: number;
  priceSale?: number;
  currency: string;
  inStock: boolean;
}

function extractPriceFromJsonLd(html: string): PriceData | null {
  const $ = cheerio.load(html);
  for (const scriptEl of $('script[type="application/ld+json"]').toArray()) {
    try {
      const data = JSON.parse($(scriptEl).html() ?? '{}');
      const product = data['@type'] === 'Product' ? data : (Array.isArray(data['@graph']) ? data['@graph'].find((n: { '@type': string }) => n['@type'] === 'Product') : null);
      if (product?.offers) {
        const offer = Array.isArray(product.offers) ? product.offers[0] : product.offers;
        return {
          price: parseFloat(offer.price),
          currency: offer.priceCurrency ?? 'USD',
          inStock: offer.availability?.includes('InStock') ?? true,
        };
      }
    } catch {
      continue;
    }
  }
  return null;
}

Обробка форматів цін у тексті: "$12–17", "$12.99", "€ 9,90" — нормалізація через regex. Зберігати як DECIMAL(10,2) з окремим полем currency. Слідкувати за трьома рівнями: ціна без знижки (price_original), ціна зі знижкою (price_sale), ціна за карткою лояльності (часто третя прихована ціна).

Механізм детектора змін

CREATE TABLE monitored_products (
    id SERIAL PRIMARY KEY,
    source VARCHAR(100) NOT NULL,
    external_id VARCHAR(255) NOT NULL,
    title TEXT,
    url TEXT NOT NULL,
    priority SMALLINT DEFAULT 5, -- 1=найвищий, 10=найнижчий
    check_interval INT DEFAULT 360, -- хвилини
    last_checked_at TIMESTAMPTZ,
    UNIQUE(source, external_id)
);

CREATE TABLE price_history (
    id BIGSERIAL PRIMARY KEY,
    product_id INT REFERENCES monitored_products(id),
    price DECIMAL(10,2),
    price_original DECIMAL(10,2),
    in_stock BOOLEAN,
    currency VARCHAR(3) DEFAULT 'USD',
    recorded_at TIMESTAMPTZ DEFAULT NOW()
);

CREATE INDEX ON price_history(product_id, recorded_at DESC);

-- Швидкий доступ до актуальної ціни без JOIN з історією
ALTER TABLE monitored_products ADD COLUMN current_price DECIMAL(10,2), ADD COLUMN current_in_stock BOOLEAN;

async function processNewPrice(
    productId: number,
    newPrice: number,
    newInStock: boolean
): Promise<{ changed: boolean; delta?: number }> {
    const product = await db.monitoredProducts.findById(productId);
    const priceChanged = product.currentPrice !== newPrice;
    const stockChanged = product.currentInStock !== newInStock;
    if (!priceChanged && !stockChanged) {
        // Тільки оновити час перевірки
        await db.monitoredProducts.update(productId, { lastCheckedAt: new Date() });
        return { changed: false };
    }
    // Записати в історію
    await db.priceHistory.create({
        productId,
        price: newPrice,
        inStock: newInStock,
        recordedAt: new Date(),
    });
    // Оновити поточні значення
    await db.monitoredProducts.update(productId, {
        currentPrice: newPrice,
        currentInStock: newInStock,
        lastCheckedAt: new Date(),
    });
    const delta = product.currentPrice ? ((newPrice - product.currentPrice) / product.currentPrice) * 100 : 0;
    return { changed: true, delta };
}

Налаштування алертів та порогів

Конфігуровані правила спрацювання:

• Ціна знизилася більше ніж на X% (наприклад, 5% або 10%)
• Ціна опустилася нижче вашої ціни на аналогічний товар
• Товар з'явився або зник з наявності
• Ціна змінилася у N+ конкурентів одночасно (ознака ринкового зсуву)
• Ціна досягла історичного мінімуму за останні 90 днів

async function checkAlertRules(productId: number, delta: number): Promise<void> {
    const rules = await db.alertRules.findAll({ productId, active: true });
    for (const rule of rules) {
        const triggered = (rule.type === 'price_drop_percent' && delta < -rule.threshold) || (rule.type === 'below_my_price' && await isPriceBelowMyPrice(productId)) || (rule.type === 'out_of_stock' && newInStock === false);
        if (triggered) {
            await sendAlert(rule, productId, delta);
        }
    }
}

Доставка: Telegram-бот (миттєво через Bot API), email-дайджест (раз на день), webhook у систему управління цінами (для автоматичної реакції). Пороги можна змінювати в реальному часі через дашборд.

Що всередині дашборду аналітики?

Мінімально необхідні екрани:

Таблиця моніторингу — всі відстежувані товари з поточною ціною конкурента, вашою ціною, різницею у відсотках і трендом (стрілка вгору/вниз).

Графік цін — ціна конкурента vs ваша ціна за вибраний період. Recharts LineChart з двома лініями та маркерами змін.

Стрічка алертів — останні 50 змін з фільтрацією за джерелом і типом зміни.

Швидка реалізація дашборду — Metabase, підключений до PostgreSQL. Кастомний React-інтерфейс з Recharts потрібен, якщо дашборд вбудовується в існуючу систему управління асортиментом.

Процес розробки

1. Аналітика — вивчаємо цільові сайти, визначаємо пріоритети товарів, погоджуємо алерти та дашборд.
2. Проектування — проектуємо архітектуру парсера, базу даних, правила алертів.
3. Реалізація — пишемо код, налаштовуємо черги, інтеграції.
4. Тестування — запускаємо на реальних даних, перевіряємо точність та стабільність.
5. Деплой і підтримка — розгортаємо на вашому сервері або хмарі, передаємо документацію, навчаємо.

Що входить у роботу

• Вихідний код парсера з відкритою документацією
• Доступ до дашборду та API
• Інструкція з експлуатації
• Гарантія стабільної роботи 3 місяці
• Підтримка при змінах структури сайтів (до 5 адаптацій на місяць)

Строки та масштаб

Для 100k+ товарів з історією за рік — ClickHouse замість PostgreSQL для зберігання price_history: аналітичні запити (агрегація за період, пошук мінімуму) на великих обсягах працюють на порядок швидше. PostgreSQL залишається для оперативних даних і конфігурації.

Зв'яжіться з нами для консультації — ми оцінимо ваш проект і запропонуємо оптимальне рішення. Отримайте надійний парсер цін під ключ з гарантією стабільності.