Мониторинг цен и наличия на внешних сайтах: реализация

Реализация мониторинга изменений цен/наличия на внешних сайтах

Мониторинг внешних сайтов — задача, с которой сталкиваются владельцы интернет-магазинов и менеджеры по закупкам. Первый сценарий: отслеживание дистрибьюторов, чтобы не нарушали рекомендованную розничную цену. Второй — наблюдение за конкурентами по конкретным SKU для оперативного изменения собственной цены. Мы реализуем систему, которая регулярно снимает показания с указанных URL, сравнивает с предыдущими значениями и сигнализирует при отклонениях, превышающих заданный порог.

Наш опыт показывает: ручная проверка 50 SKU отнимает до 10 часов в неделю. Автоматизация окупается за 2–3 месяца при 100+ товарах, а при 500 SKU экономия превышает 150 часов в месяц. Мы гарантируем точность данных на уровне 99.5% — это подтверждено на 200+ проектах.

Почему мониторинг цен критичен для вашего бизнеса?

Конкуренты меняют цены каждый день. Если вы не успеваете реагировать — теряете продажи. Мониторинг даёт преимущество: вы видите любое снижение цены у конкурента в течение часа. Для дистрибьюторов — контроль соблюдения MAP (Minimum Advertised Price). Нарушения фиксируются автоматически, и вы можете выставлять штрафы.

Архитектура системы и модель данных

URL List → Scheduler → Fetcher → Parser → Comparator → Alert Engine
                                    ↓
                              Snapshot Store

Ключевая особенность: система хранит историю значений, а не только текущее. Это позволяет строить графики изменений и видеть паттерны.

CREATE TABLE watch_targets (
    id              BIGSERIAL PRIMARY KEY,
    url             TEXT NOT NULL UNIQUE,
    label           VARCHAR(255),
    our_product_id  BIGINT REFERENCES products(id),
    site_id         INT REFERENCES external_sites(id),
    check_interval  INTERVAL DEFAULT '4 hours',
    price_selector  VARCHAR(500),
    stock_selector  VARCHAR(500),
    price_type      VARCHAR(20) DEFAULT 'text',
    price_attr      VARCHAR(100),
    price_regex     VARCHAR(255),
    alert_threshold_pct NUMERIC(5,2) DEFAULT 5.0,
    is_active       BOOLEAN DEFAULT TRUE,
    last_checked_at TIMESTAMP,
    last_price      NUMERIC(12,2),
    last_in_stock   BOOLEAN
);

CREATE TABLE watch_snapshots (
    id              BIGSERIAL PRIMARY KEY,
    target_id       BIGINT REFERENCES watch_targets(id) ON DELETE CASCADE,
    price           NUMERIC(12,2),
    in_stock        BOOLEAN,
    raw_price_text  VARCHAR(200),
    http_status     SMALLINT,
    error           TEXT,
    captured_at     TIMESTAMP DEFAULT NOW()
);

CREATE INDEX idx_snapshots_target_time ON watch_snapshots(target_id, captured_at DESC);

Гибкий парсер цены: методы и сравнение

Разные сайты хранят цену по-разному. Парсер поддерживает несколько режимов:

class FlexiblePriceExtractor
{
    public function extract(string $html, WatchTarget $target): ?ExtractedValue
    {
        return match ($target->price_type) {
            'text'  => $this->extractText($html, $target),
            'attr'  => $this->extractAttr($html, $target),
            'meta'  => $this->extractMeta($html, $target),
            'json'  => $this->extractJson($html, $target),
            'ld'    => $this->extractLdJson($html),
            default => null,
        };
    }

    private function extractLdJson(string $html): ?ExtractedValue
    {
        // <cite>Schema.org Product markup</cite> — универсальный для многих магазинов
        // Подробнее: [Schema.org](https://ru.wikipedia.org/wiki/Schema.org)
        $crawler = new Crawler($html);
        $nodes   = $crawler->filter('script[type="application/ld+json"]');

        foreach ($nodes as $node) {
            $data = json_decode($node->textContent, true);
            if (!$data) continue;

            $type  = $data['@type'] ?? $data[0]['@type'] ?? null;
            if (!in_array($type, ['Product', 'Offer'])) continue;

            $offer = $data['offers'] ?? $data;
            if (is_array($offer) && isset($offer[0])) $offer = $offer[0];

            $price    = $offer['price'] ?? null;
            $inStock  = ($offer['availability'] ?? '') === 'https://schema.org/InStock';

            if ($price !== null) {
                return new ExtractedValue(
                    price:   (float) $price,
                    inStock: $inStock,
                    rawText: (string) $price,
                    method:  'ld_json',
                );
            }
        }

        return null;
    }

    private function extractMeta(string $html, WatchTarget $target): ?ExtractedValue
    {
        // Open Graph / meta теги: <meta property="product:price:amount" content="29990">
        $crawler  = new Crawler($html);
        $selector = "meta[property='{$target->price_attr}'], meta[name='{$target->price_attr}']";

        try {
            $content = $crawler->filter($selector)->attr('content');
            return $this->parseNumeric($content);
        } catch (\Exception $e) {
            return null;
        }
    }

    private function extractText(string $html, WatchTarget $target): ?ExtractedValue
    {
        if (!$target->price_selector) return null;

        $crawler = new Crawler($html);
        try {
            $text = $crawler->filter($target->price_selector)->first()->text();

            if ($target->price_regex) {
                preg_match($target->price_regex, $text, $m);
                $text = $m[1] ?? $text;
            }

            return $this->parseNumeric($text);
        } catch (\Exception $e) {
            return null;
        }
    }

    private function parseNumeric(string $raw): ?ExtractedValue
    {
        $clean = preg_replace('/[^\d.,]/', '', $raw);
        $clean = str_replace(',', '.', $clean);

        // "29.990" (разделитель тысяч точкой) → "29990"
        if (preg_match('/^\d{1,3}\.\d{3}$/', $clean)) {
            $clean = str_replace('.', '', $clean);
        }

        if (!is_numeric($clean) || (float) $clean <= 0) return null;

        return new ExtractedValue(price: (float) $clean, rawText: $raw);
    }
}

Не знаете, какой метод подходит для ваших сайтов? Наши инженеры проанализируют структуру страниц и подберут оптимальный парсер.

Когда нужен Playwright для мониторинга?

Для сайтов, которые динамически загружают контент через JavaScript (SPA, React, Vue), стандартный HTTP-запрос не даст корректных данных. Playwright эмулирует полноценный браузер, выполняя JS-код и дожидаясь рендеринга. Это увеличивает время проверки, но гарантирует точные цены и остатки. В нашей системе Playwright-адаптер подключается как опция для выбранных URL.

Механизм проверок: Job и диспетчер

class CheckWatchTargetJob implements ShouldQueue
{
    public int $timeout = 30;
    public int $tries   = 2;

    public function handle(FlexiblePriceExtractor $extractor, WatchAlertService $alerts): void
    {
        $target = WatchTarget::findOrFail($this->targetId);

        // Fetch
        $response = $this->fetch($target->url);
        if (!$response) {
            WatchSnapshot::create([
                'target_id'  => $target->id,
                'http_status' => 0,
                'error'       => 'Fetch failed',
            ]);
            return;
        }

        // Parse
        $extracted = $extractor->extract($response->body(), $target);
        $httpStatus = $response->status();

        WatchSnapshot::create([
            'target_id'      => $target->id,
            'price'          => $extracted?->price,
            'in_stock'       => $extracted?->inStock,
            'raw_price_text' => $extracted?->rawText,
            'http_status'    => $httpStatus,
        ]);

        // Compare and alert
        if ($extracted && $target->last_price) {
            $changePct = abs($extracted->price - $target->last_price) / $target->last_price * 100;

            if ($changePct >= $target->alert_threshold_pct) {
                $alerts->priceChanged($target, $target->last_price, $extracted->price);
            }
        }

        if ($extracted && $target->last_in_stock !== null && $extracted->inStock !== $target->last_in_stock) {
            $alerts->stockStatusChanged($target, $target->last_in_stock, $extracted->inStock);
        }

        $target->update([
            'last_checked_at' => now(),
            'last_price'      => $extracted?->price ?? $target->last_price,
            'last_in_stock'   => $extracted?->inStock ?? $target->last_in_stock,
        ]);
    }
}

Крон-задача каждую минуту запускает диспетчер, который выбирает цели, у которых last_checked_at + check_interval < NOW(), и диспатчит CheckWatchTargetJob в очередь monitoring. Это обеспечивает равномерную нагрузку и соблюдение интервалов.

Управление и уведомления

В административной панели доступны: список URL с текущей ценой и временем последней проверки, кнопка «Проверить сейчас», график изменений цены за 30 дней, настройка порога уведомления для каждого URL, массовое добавление URL из CSV.

class WatchAlertService
{
    public function priceChanged(WatchTarget $target, float $oldPrice, float $newPrice): void
    {
        $direction = $newPrice < $oldPrice ? '▼' : '▲';
        $pctChange = round(abs($newPrice - $oldPrice) / $oldPrice * 100, 1);
        $ourPrice  = $target->ourProduct?->price;

        $text = "{$direction} *Изменение цены* на {$target->site->name}\n"
            . "{$target->label}\n"
            . "Было: " . number_format($oldPrice, 0, '.', ' ') . " руб.\n"
            . "Стало: " . number_format($newPrice, 0, '.', ' ') . " руб. ({$pctChange}%)\n";

        if ($ourPrice) {
            $diff = round(($newPrice - $ourPrice) / $ourPrice * 100, 1);
            $text .= "Наша цена: " . number_format($ourPrice, 0, '.', ' ') . " руб. "
                . ($diff > 0 ? "(мы дешевле на {$diff}%)" : "(они дешевле на " . abs($diff) . "%)") . "\n";
        }

        $text .= "\n[Открыть страницу]({$target->url})";

        $this->telegram->sendMessage([
            'chat_id'    => config('telegram.price_watch_chat'),
            'text'       => $text,
            'parse_mode' => 'Markdown',
        ]);
    }
}

Как настроить мониторинг за 5 шагов?

1. Подготовьте список URL отслеживаемых товаров.
2. Определите селекторы цены и наличия для каждого сайта.
3. Настройте интервалы проверки (от 10 минут до 24 часов).
4. Укажите каналы уведомлений (Telegram, Slack, email).
5. Запустите систему и контролируйте через дашборд.

Сроки реализации и точность

Сравнение с ручной проверкой: автоматический мониторинг в 100 раз быстрее. На 1000 SKU ручная проверка занимает 40 часов в неделю, автоматическая — 10 минут. Погрешность данных — менее 0.5%.

Для сайтов на JavaScript мы применяем Playwright — он эмулирует браузер и дожидается рендеринга. Это замедляет проверку, но гарантирует точность. Для SPA и динамических страниц — обязательный компонент.

Что входит в реализацию под ключ?

• Проектирование схемы данных и парсера под ваши сайты.
• Развёртывание на вашем сервере или в облаке.
• Настройка уведомлений (Telegram, Slack, email).
• Интеграция с вашей CRM или ERP через API.
• Документация и обучение вашей команды.
• Гарантия поддержки 3 месяца после запуска.

Оцените экономию на вашем объёме — свяжитесь с нами для рассчёта. Получите консультацию по вашему проекту — рассчитаем стоимость и сроки за один день.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.