Розробка парсера цін конкурентів для моніторингу

Розробка парсера цін конкурентів для мониторингу

Мониторинг цін конкурентів вирішує одну конкретну задачу: знати, коли та на скільки конкурент змінив ціну, раніше ніж це помітять покупці. Для цього потрібен не просто парсер, а система з історією змін, аналітикою та оповіщеннями в реальному часі.

Архітектура системи мониторингу

Ключова відмінність від розового парсера—пріоритизація товарів. Популярні позиції потрібно перевіряти раз на годину, довгий хвіст каталогу—раз на день. Це зменшує навантаження на джерело та прискорює реакцію на важливі зміни.

[Scheduler]
  ├── High priority queue (топ-товари, кожну годину)
  └── Low priority queue  (решта, раз на день)
        ↓
[Fetcher] → [Parser] → [Change Detector] → [Alert Engine]
                              ↓
                       [price_history table]

Change Detector порівнює нову ціну з останнім записом у історії. При зміні—запис у price_history та подія у чергу алертів. Без змін—тільки оновлення last_checked_at, щоб не раздувати історію.

Парсинг цін: технічні нюанси

Ціни на сайтах представлені по-різному:

• У HTML (простий випадок)—CSS-селектор .product-price або атрибут data-price
• У JSON-LD (schema.org Product)—надійно, не ломається при редизайні
• Через XHR API—перехват сетевих запитів через Playwright
• Динамічно через JS після завантаження—потрібен headless browser

JSON-LD—найбільш стабільний джерело для парсинга цін. Багато SEO-оптимізованих магазинів додають мікророзмітку schema.org для пошукових роботів:

import * as cheerio from 'cheerio';

interface PriceData {
  price: number;
  priceSale?: number;
  currency: string;
  inStock: boolean;
}

function extractPriceFromJsonLd(html: string): PriceData | null {
  const $ = cheerio.load(html);

  for (const scriptEl of $('script[type="application/ld+json"]').toArray()) {
    try {
      const data = JSON.parse($(scriptEl).html() ?? '{}');
      const product = data['@type'] === 'Product' ? data :
        (Array.isArray(data['@graph'])
          ? data['@graph'].find((n: { '@type': string }) => n['@type'] === 'Product')
          : null);

      if (product?.offers) {
        const offer = Array.isArray(product.offers) ? product.offers[0] : product.offers;
        return {
          price: parseFloat(offer.price),
          currency: offer.priceCurrency ?? 'RUB',
          inStock: offer.availability?.includes('InStock') ?? true,
        };
      }
    } catch { continue; }
  }

  return null;
}

Обробка форматів цін у тексті: "1 299,00 ₽", "$12.99", "€ 9,90"—нормалізація через regex. Зберігати як DECIMAL(10,2) з окремим полем currency. Стежити за трьома рівнями: ціна без скидки (price_original), ціна зі скидкою (price_sale), ціна по карті лояльності (часто третя прихована ціна).

База даних

CREATE TABLE monitored_products (
  id              SERIAL PRIMARY KEY,
  source          VARCHAR(100) NOT NULL,
  external_id     VARCHAR(255) NOT NULL,
  title           TEXT,
  url             TEXT NOT NULL,
  priority        SMALLINT DEFAULT 5,  -- 1=высший, 10=низший
  check_interval  INT DEFAULT 360,     -- хвилини
  last_checked_at TIMESTAMPTZ,
  UNIQUE(source, external_id)
);

CREATE TABLE price_history (
  id             BIGSERIAL PRIMARY KEY,
  product_id     INT REFERENCES monitored_products(id),
  price          DECIMAL(10,2),
  price_original DECIMAL(10,2),
  in_stock       BOOLEAN,
  currency       VARCHAR(3) DEFAULT 'RUB',
  recorded_at    TIMESTAMPTZ DEFAULT NOW()
);

CREATE INDEX ON price_history(product_id, recorded_at DESC);

-- Швидкий доступ до актуальної ціни без JOIN з історією
ALTER TABLE monitored_products
  ADD COLUMN current_price DECIMAL(10,2),
  ADD COLUMN current_in_stock BOOLEAN;

Детектор змін

async function processNewPrice(
  productId: number,
  newPrice: number,
  newInStock: boolean
): Promise<{ changed: boolean; delta?: number }> {
  const product = await db.monitoredProducts.findById(productId);

  const priceChanged = product.currentPrice !== newPrice;
  const stockChanged = product.currentInStock !== newInStock;

  if (!priceChanged && !stockChanged) {
    // Тільки оновити час перевірки
    await db.monitoredProducts.update(productId, { lastCheckedAt: new Date() });
    return { changed: false };
  }

  // Записати в історію
  await db.priceHistory.create({
    productId,
    price: newPrice,
    inStock: newInStock,
    recordedAt: new Date(),
  });

  // Оновити поточні значення
  await db.monitoredProducts.update(productId, {
    currentPrice: newPrice,
    currentInStock: newInStock,
    lastCheckedAt: new Date(),
  });

  const delta = product.currentPrice
    ? ((newPrice - product.currentPrice) / product.currentPrice) * 100
    : 0;

  return { changed: true, delta };
}

Алерти та пороги

Конфігуровані правила запуску:

• Ціна знизилася більш ніж на X% (наприклад, 5% або 10%)
• Ціна опустилася нижче вашої ціни на аналогічний товар
• Товар з'явився або зник з наявності
• Ціна змінилася у N+ конкурентів одночасно (ознака ринкового зсуву)
• Ціна досягла історичного мінімуму за останні 90 днів

async function checkAlertRules(productId: number, delta: number): Promise<void> {
  const rules = await db.alertRules.findAll({ productId, active: true });

  for (const rule of rules) {
    const triggered =
      (rule.type === 'price_drop_percent' && delta < -rule.threshold) ||
      (rule.type === 'below_my_price' && await isPriceBelowMyPrice(productId)) ||
      (rule.type === 'out_of_stock' && newInStock === false);

    if (triggered) {
      await sendAlert(rule, productId, delta);
    }
  }
}

Доставка: Telegram-бот (мгновенно через Bot API), email-дайджест (раз на день), webhook у систему управління цінами (для автоматичної реакції).

Дашборд аналітики

Мінімально необхідні екрани:

Таблиця мониторингу—всі відслідковувані товари з поточною ціною конкурента, вашою ціною, різницею в процентах та трендом (стрілка вверх/вниз).

Графік цін—ціна конкурента vs ваша ціна за вибраний період. Recharts LineChart з двома лініями та маркерами змін.

Лента алертів—останні 50 змін з фільтрацією по джерелу та типу зміни.

Швидка реалізація дашборда—Metabase підключений до PostgreSQL. Кастомний React-інтерфейс з Recharts потрібен якщо дашборд вбудовується в існуючу систему управління асортиментом.

Терміни та масштаб

Для 100k+ товарів з історією за рік—ClickHouse замість PostgreSQL для зберігання price_history: аналітичні запити (агреґація за період, пошук мінімуму) на великих обсягах працюють на порядок швидше. PostgreSQL залишається для оперативних даних та конфігурації.