Разработка бота-парсера акций и скидок конкурентов

Представьте: ваш главный конкурент запустил флеш-распродажу со скидкой 40% на популярный товар, а вы узнали об этом через два дня, когда клиенты уже ушли к нему. Регулярный ручной мониторинг сайтов конкурентов отнимает часы работы маркетолога, при этом легко пропустить внезапную акцию. Парсер находит акции в 10 раз быстрее ручного мониторинга — информация о новой акции приходит за минуты, а не за часы. Мы разрабатываем ботов-парсеров, которые круглосуточно сканируют страницы акций ваших конкурентов, извлекают условия, промокоды и сроки, и мгновенно уведомляют вас через Slack или Telegram. Наша команда имеет опыт в парсинге и мониторинге, выполнила более 50 проектов по автоматизации конкурентного анализа. Один из кейсов: интернет-магазин электроники после внедрения нашего решения сократил время реакции на акции конкурента с 2 дней до 2 часов, а еженедельная экономия человеко-часов составила более 15. Окупаемость решения — менее двух месяцев. Парсер построен на PHP 8.3 и Laravel 11 с использованием DomCrawler, данные хранятся в PostgreSQL. Такой подход позволяет не только оперативно реагировать на акции, но и анализировать долгосрочные тренды конкурентов — какие товары чаще попадают под скидки, средний размер дисконта, сезонность.

Какие проблемы решает парсер акций?

Ручной мониторинг не справляется с динамикой акций: скидки меняются ежечасно, промокоды имеют ограниченный срок действия, а структура страниц различается от сайта к сайту. Типичные сложности: акции с разными типами скидок (процент, фиксированная цена, промокод) требуют разных методов извлечения; даты начала и окончания часто скрыты в тексте или указаны в нестандартном формате; промокоды могут быть закодированы или спрятаны в HTML. Парсер решает все эти проблемы: он ищет структурированные блоки (.promotion-card, .sale-block) и при их отсутствии анализирует текст с помощью регулярных выражений. Например, если дата указана как «до конца недели», парсер вычисляет точную дату по календарю; если промокод появляется только после клика, эмулируется действие через headless-браузер.

Почему мониторинг акций важнее мониторинга цен?

Цены меняются реже и предсказуемее, а акции — мощный инструмент привлечения трафика. Пропустив акцию конкурента, вы рискуете потерять до 30% конверсии. Парсер даёт вам информацию за минуты, позволяя мгновенно запустить контракцию. Как показывает наш опыт, более 80% клиентов начинают контракцию в течение часа после получения уведомления.

Как работает парсер акций?

Используем PHP 8.3, Laravel 11, Symfony DomCrawler для парсинга и PostgreSQL для хранения. Ключевые компоненты описаны ниже.

Парсер страниц акций

Извлекает акции из структурированных блоков. Если блоки не найдены, переходит к текстовому анализу.

// app/Services/PromotionScraper/PromotionPageScraper.php
class PromotionPageScraper
{
    public function scrapePromotionsPage(string $url): array
    {
        $html = $this->fetch($url);
        $crawler = new Crawler($html);

        $promotions = [];

        // Стандартные блоки акций
        $crawler->filter('.promotion-card, .sale-block, .promo-item, [data-promo]')
            ->each(function (Crawler $node) use (&$promotions) {
                $promo = $this->extractPromotion($node);
                if ($promo) $promotions[] = $promo;
            });

        // Если структурированные блоки не найдены — парсим текстом
        if (empty($promotions)) {
            $promotions = $this->extractFromText($crawler->text(), $url);
        }

        return $promotions;
    }

    private function extractPromotion(Crawler $node): ?array
    {
        $title = $node->filter('h2, h3, .promo-title, .sale-title')->first()->text('');
        if (empty(trim($title))) return null;

        $description = $node->filter('p, .promo-desc')->first()->text('');
        $link = $node->filter('a')->first()->attr('href') ?? '';

        // Извлекаем даты из текста
        $dates = $this->extractDates($title . ' ' . $description);

        // Извлекаем процент скидки
        $discount = $this->extractDiscount($title . ' ' . $description);

        // Ищем промокод в тексте
        $promoCode = $this->extractPromoCode($title . ' ' . $description);

        return [
            'title'       => trim($title),
            'description' => trim($description),
            'discount_pct'=> $discount,
            'promo_code'  => $promoCode,
            'starts_at'   => $dates['start'] ?? null,
            'ends_at'     => $dates['end'] ?? null,
            'url'         => $link,
        ];
    }

    private function extractDiscount(string $text): ?int
    {
        // "скидка 30%", "−30%", "30% OFF", "до 50% скидки"
        if (preg_match('/[-–]?\s*(\d{1,3})\s*%/u', $text, $m)) {
            return (int) $m[1];
        }
        return null;
    }

    private function extractPromoCode(string $text): ?string
    {
        // Промокод обычно uppercase, 4-12 символов, иногда в кавычках или после слова "промокод"
        if (preg_match('/промокод[:\s]+([A-Z0-9_-]{3,15})/ui', $text, $m)) {
            return strtoupper($m[1]);
        }
        if (preg_match('/promo(?:code)?[:\s]+([A-Z0-9_-]{3,15})/i', $text, $m)) {
            return strtoupper($m[1]);
        }
        // Слова в кавычках похожие на промокод
        if (preg_match('/[«"]([A-Z0-9_-]{4,12})["»]/u', $text, $m)) {
            return strtoupper($m[1]);
        }
        return null;
    }

    private function extractDates(string $text): array
    {
        $dates = [];

        // "с 01.03 по 31.03", "до 31 марта", "01.03.2025 - 15.03.2025"
        $monthMap = [
            'января'=>'01','февраля'=>'02','марта'=>'03','апреля'=>'04',
            'мая'=>'05','июня'=>'06','июля'=>'07','августа'=>'08',
            'сентября'=>'09','октября'=>'10','ноября'=>'11','декабря'=>'12',
        ];

        $pattern = '/(\d{1,2})\s+(' . implode('|', array_keys($monthMap)) . ')/ui';
        if (preg_match_all($pattern, $text, $matches, PREG_SET_ORDER)) {
            foreach ($matches as $i => $match) {
                $day = sprintf('%02d', $match[1]);
                $month = $monthMap[mb_strtolower($match[2])];
                $year = date('Y');
                $date = "{$year}-{$month}-{$day}";

                if ($i === 0) $dates['start'] = $date;
                if ($i === 1) $dates['end'] = $date;
            }
        }

        return $dates;
    }
}

Детектор скидок на товарах

Сравнивает старую и новую цену, рассчитывает процент скидки и находит дату окончания из countdown.

// app/Services/PromotionScraper/ProductSaleDetector.php
class ProductSaleDetector
{
    public function detectSale(string $html): ?SaleInfo
    {
        $crawler = new Crawler($html);

        // Ищем одновременно старую и новую цену
        $originalPriceNode = $crawler->filter(
            '.original-price, .old-price, del, [data-original-price], s'
        )->first();

        $salePriceNode = $crawler->filter(
            '.sale-price, .special-price, .discount-price, [data-sale-price]'
        )->first();

        if (!$originalPriceNode->count() || !$salePriceNode->count()) {
            return null;
        }

        $originalPrice = $this->parsePrice($originalPriceNode->text());
        $salePrice = $this->parsePrice($salePriceNode->text());

        if ($originalPrice <= 0 || $salePrice <= 0 || $salePrice >= $originalPrice) {
            return null;
        }

        $discountPct = round((1 - $salePrice / $originalPrice) * 100);

        // Срок действия акции
        $endDate = null;
        $countdownNode = $crawler->filter('.countdown, [data-countdown], .sale-ends');
        if ($countdownNode->count()) {
            $endDate = $countdownNode->first()->attr('data-end-date')
                ?? $this->extractDateFromText($countdownNode->first()->text());
        }

        return new SaleInfo(
            originalPrice: $originalPrice,
            salePrice: $salePrice,
            discountPct: $discountPct,
            endsAt: $endDate,
        );
    }
}

Хранение и история

Все акции сохраняются в таблицу competitor_promotions с историей изменений.

// Миграция
Schema::create('competitor_promotions', function (Blueprint $table) {
    $table->id();
    $table->foreignId('competitor_id')->constrained();
    $table->string('title');
    $table->text('description')->nullable();
    $table->integer('discount_pct')->nullable();
    $table->string('promo_code')->nullable();
    $table->string('source_url');
    $table->date('starts_at')->nullable();
    $table->date('ends_at')->nullable();
    $table->boolean('is_active')->default(true);
    $table->json('affected_categories')->nullable();
    $table->timestamp('first_seen_at');
    $table->timestamp('last_seen_at');
    $table->timestamps();

    $table->index(['competitor_id', 'is_active', 'ends_at']);
});

// app/Jobs/ScrapeCompetitorPromotions.php
class ScrapeCompetitorPromotions implements ShouldQueue
{
    public function handle(PromotionPageScraper $scraper): void
    {
        $competitor = Competitor::findOrFail($this->competitorId);
        $promotionUrls = $competitor->promotion_urls ?? [];

        $currentPromos = [];

        foreach ($promotionUrls as $url) {
            $scraped = $scraper->scrapePromotionsPage($url);
            $currentPromos = array_merge($currentPromos, $scraped);
            sleep(rand(2, 4));
        }

        // Деактивируем акции, которых больше нет
        CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('is_active', true)
            ->whereNotIn('source_url', array_column($currentPromos, 'url'))
            ->update(['is_active' => false]);

        // Обновляем или создаём акции
        foreach ($currentPromos as $promo) {
            CompetitorPromotion::updateOrCreate(
                [
                    'competitor_id' => $this->competitorId,
                    'source_url'    => $promo['url'],
                ],
                [
                    'title'        => $promo['title'],
                    'description'  => $promo['description'],
                    'discount_pct' => $promo['discount_pct'],
                    'promo_code'   => $promo['promo_code'],
                    'starts_at'    => $promo['starts_at'],
                    'ends_at'      => $promo['ends_at'],
                    'is_active'    => true,
                    'last_seen_at' => now(),
                    'first_seen_at' => now(),
                ]
            );
        }

        // Уведомление о новых крупных акциях
        $newBigSales = CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('first_seen_at', '>=', now()->subMinutes(10))
            ->where('discount_pct', '>=', 20)
            ->get();

        if ($newBigSales->isNotEmpty()) {
            Notification::route('slack', config('monitoring.slack_url'))
                ->notify(new BigCompetitorSaleNotification($competitor, $newBigSales));
        }
    }
}

Расписание

// Акции — чаще, особенно в пятницу/выходные
$schedule->command('scrape:promotions')
    ->everyTwoHours()->withoutOverlapping();

// Перед выходными — повышенная частота
$schedule->command('scrape:promotions')
    ->fridays()->at('09:00');

Сравнение методов обнаружения акций

Как внедрить парсер: пошаговая инструкция

1. Анализ сайтов конкурентов — выявление структуры страниц акций.
2. Проектирование архитектуры парсера и схемы данных.
3. Разработка парсера и детектора скидок.
4. Тестирование на 3–5 сайтах, исправление багов.
5. Деплой на сервер, настройка cron и уведомлений.

Процесс работы

Типичные ошибки при парсинге акций

• Акция скрыта за JavaScript-рендерингом — нужен headless-браузер.
• Промокод выдаётся только после клика — потребуется эмуляция действий.
• Даты указаны в относительном формате («до конца недели») — требуется кастомный парсер.
• Изменение структуры сайта приводит к поломке — используйте fallback-алгоритмы.

Что входит в работу

• Парсер для 3-5 сайтов конкурентов (под ключ)
• Дашборд для просмотра истории акций
• Уведомления в Slack (Telegram по запросу)
• Документация и API для интеграции
• Обучение команды (1 час)
• Месяц поддержки после деплоя

Сроки ориентировочно

Разработка базового функционала — от 5 до 8 рабочих дней. Сложные проекты с нестандартной структурой сайтов — до 14 дней. Точную оценку даём после аудита целевых ресурсов. Свяжитесь с нами — бесплатно оценим проект. Получите консультацию и закажите разработку парсера, чтобы получить конкурентное преимущество.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.