Разработка бота-парсера акций и скидок конкурентов

Представьте: ваш главный конкурент запустил флеш-распродажу со скидкой 40% на популярный товар, а вы узнали об этом через два дня, когда клиенты уже ушли к нему. Регулярный ручной мониторинг сайтов конкурентов отнимает часы работы маркетолога, при этом легко пропустить внезапную акцию. Парсер находит акции в 10 раз быстрее ручного мониторинга — информация о новой акции приходит за минуты, а не за часы. Мы разрабатываем ботов-парсеров, которые круглосуточно сканируют страницы акций ваших конкурентов, извлекают условия, промокоды и сроки, и мгновенно уведомляют вас через Slack или Telegram. Наша команда имеет опыт в парсинге и мониторинге, выполнила более 50 проектов по автоматизации конкурентного анализа. Один из кейсов: интернет-магазин электроники после внедрения нашего решения сократил время реакции на акции конкурента с 2 дней до 2 часов, а еженедельная экономия человеко-часов составила более 15. Окупаемость решения — менее двух месяцев. Парсер построен на PHP 8.3 и Laravel 11 с использованием DomCrawler, данные хранятся в PostgreSQL. Такой подход позволяет не только оперативно реагировать на акции, но и анализировать долгосрочные тренды конкурентов — какие товары чаще попадают под скидки, средний размер дисконта, сезонность.

Какие проблемы решает парсер акций?

Ручной мониторинг не справляется с динамикой акций: скидки меняются ежечасно, промокоды имеют ограниченный срок действия, а структура страниц различается от сайта к сайту. Типичные сложности: акции с разными типами скидок (процент, фиксированная цена, промокод) требуют разных методов извлечения; даты начала и окончания часто скрыты в тексте или указаны в нестандартном формате; промокоды могут быть закодированы или спрятаны в HTML. Парсер решает все эти проблемы: он ищет структурированные блоки (.promotion-card, .sale-block) и при их отсутствии анализирует текст с помощью регулярных выражений. Например, если дата указана как «до конца недели», парсер вычисляет точную дату по календарю; если промокод появляется только после клика, эмулируется действие через headless-браузер.

Почему мониторинг акций важнее мониторинга цен?

Цены меняются реже и предсказуемее, а акции — мощный инструмент привлечения трафика. Пропустив акцию конкурента, вы рискуете потерять до 30% конверсии. Парсер даёт вам информацию за минуты, позволяя мгновенно запустить контракцию. Как показывает наш опыт, более 80% клиентов начинают контракцию в течение часа после получения уведомления.

Как работает парсер акций?

Используем PHP 8.3, Laravel 11, Symfony DomCrawler для парсинга и PostgreSQL для хранения. Ключевые компоненты описаны ниже.

Парсер страниц акций

Извлекает акции из структурированных блоков. Если блоки не найдены, переходит к текстовому анализу.

// app/Services/PromotionScraper/PromotionPageScraper.php
class PromotionPageScraper
{
    public function scrapePromotionsPage(string $url): array
    {
        $html = $this->fetch($url);
        $crawler = new Crawler($html);
        $promotions = [];

        // Стандартные блоки акций
        $crawler->filter('.promotion-card, .sale-block, .promo-item, [data-promo]')
            ->each(function (Crawler $node) use (&$promotions) {
                $promo = $this->extractPromotion($node);
                if ($promo) $promotions[] = $promo;
            });

        // Если структурированные блоки не найдены — парсим текстом
        if (empty($promotions)) {
            $promotions = $this->extractFromText($crawler->text(), $url);
        }

        return $promotions;
    }

    private function extractPromotion(Crawler $node): ?array
    {
        $title = $node->filter('h2, h3, .promo-title, .sale-title')->first()->text('');
        if (empty(trim($title))) return null;

        $description = $node->filter('p, .promo-desc')->first()->text('');
        $link = $node->filter('a')->first()->attr('href') ?? '';

        // Извлекаем даты из текста
        $dates = $this->extractDates($title . ' ' . $description);

        // Извлекаем процент скидки
        $discount = $this->extractDiscount($title . ' ' . $description);

        // Ищем промокод в тексте
        $promoCode = $this->extractPromoCode($title . ' ' . $description);

        return [
            'title' => trim($title),
            'description' => trim($description),
            'discount_pct'=> $discount,
            'promo_code' => $promoCode,
            'starts_at' => $dates['start'] ?? null,
            'ends_at' => $dates['end'] ?? null,
            'url' => $link,
        ];
    }

    private function extractDiscount(string $text): ?int
    {
        // "скидка 30%", "−30%", "30% OFF", "до 50% скидки"
        if (preg_match('/[-–]?\s*(\d{1,3})\s*%/u', $text, $m)) {
            return (int) $m[1];
        }
        return null;
    }

    private function extractPromoCode(string $text): ?string
    {
        // Промокод обычно uppercase, 4-12 символов, иногда в кавычках или после слова "промокод"
        if (preg_match('/промокод[:\s]+([A-Z0-9_-]{3,15})/ui', $text, $m)) {
            return strtoupper($m[1]);
        }
        if (preg_match('/promo(?:code)?[:\s]+([A-Z0-9_-]{3,15})/i', $text, $m)) {
            return strtoupper($m[1]);
        }
        // Слова в кавычках похожие на промокод
        if (preg_match('/[«"]([A-Z0-9_-]{4,12})["»]/u', $text, $m)) {
            return strtoupper($m[1]);
        }
        return null;
    }

    private function extractDates(string $text): array
    {
        $dates = [];
        // "с 01.03 по 31.03", "до 31 марта", "01.03.2025 - 15.03.2025"
        $monthMap = [
            'января'=>'01','февраля'=>'02','марта'=>'03','апреля'=>'04',
            'мая'=>'05','июня'=>'06','июля'=>'07','августа'=>'08',
            'сентября'=>'09','октября'=>'10','ноября'=>'11','декабря'=>'12',
        ];
        $pattern = '/(\d{1,2})\s+(' . implode('|', array_keys($monthMap)) . ')/ui';
        if (preg_match_all($pattern, $text, $matches, PREG_SET_ORDER)) {
            foreach ($matches as $i => $match) {
                $day = sprintf('%02d', $match[1]);
                $month = $monthMap[mb_strtolower($match[2])];
                $year = date('Y');
                $date = "{$year}-{$month}-{$day}";
                if ($i === 0) $dates['start'] = $date;
                if ($i === 1) $dates['end'] = $date;
            }
        }
        return $dates;
    }
}

Детектор скидок на товарах

Сравнивает старую и новую цену, рассчитывает процент скидки и находит дату окончания из countdown.

// app/Services/PromotionScraper/ProductSaleDetector.php
class ProductSaleDetector {
    public function detectSale(string $html): ?SaleInfo {
        $crawler = new Crawler($html);

        // Ищем одновременно старую и новую цену
        $originalPriceNode = $crawler->filter(
            '.original-price, .old-price, del, [data-original-price], s'
        )->first();
        $salePriceNode = $crawler->filter(
            '.sale-price, .special-price, .discount-price, [data-sale-price]'
        )->first();

        if (!$originalPriceNode->count() || !$salePriceNode->count()) {
            return null;
        }

        $originalPrice = $this->parsePrice($originalPriceNode->text());
        $salePrice = $this->parsePrice($salePriceNode->text());

        if ($originalPrice <= 0 || $salePrice <= 0 || $salePrice >= $originalPrice) {
            return null;
        }

        $discountPct = round((1 - $salePrice / $originalPrice) * 100);

        // Срок действия акции
        $endDate = null;
        $countdownNode = $crawler->filter('.countdown, [data-countdown], .sale-ends');
        if ($countdownNode->count()) {
            $endDate = $countdownNode->first()->attr('data-end-date') ?? $this->extractDateFromText($countdownNode->first()->text());
        }

        return new SaleInfo(
            originalPrice: $originalPrice,
            salePrice: $salePrice,
            discountPct: $discountPct,
            endsAt: $endDate,
        );
    }
}

Хранение и история

Все акции сохраняются в таблицу competitor_promotions с историей изменений.

// Миграция
Schema::create('competitor_promotions', function (Blueprint $table) {
    $table->id();
    $table->foreignId('competitor_id')->constrained();
    $table->string('title');
    $table->text('description')->nullable();
    $table->integer('discount_pct')->nullable();
    $table->string('promo_code')->nullable();
    $table->string('source_url');
    $table->date('starts_at')->nullable();
    $table->date('ends_at')->nullable();
    $table->boolean('is_active')->default(true);
    $table->json('affected_categories')->nullable();
    $table->timestamp('first_seen_at');
    $table->timestamp('last_seen_at');
    $table->timestamps();
    $table->index(['competitor_id', 'is_active', 'ends_at']);
});

// app/Jobs/ScrapeCompetitorPromotions.php
class ScrapeCompetitorPromotions implements ShouldQueue
{
    public function handle(PromotionPageScraper $scraper): void
    {
        $competitor = Competitor::findOrFail($this->competitorId);
        $promotionUrls = $competitor->promotion_urls ?? [];
        $currentPromos = [];

        foreach ($promotionUrls as $url) {
            $scraped = $scraper->scrapePromotionsPage($url);
            $currentPromos = array_merge($currentPromos, $scraped);
            sleep(rand(2, 4));
        }

        // Деактивируем акции, которых больше нет
        CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('is_active', true)
            ->whereNotIn('source_url', array_column($currentPromos, 'url'))
            ->update(['is_active' => false]);

        // Обновляем или создаём акции
        foreach ($currentPromos as $promo) {
            CompetitorPromotion::updateOrCreate(
                [
                    'competitor_id' => $this->competitorId,
                    'source_url' => $promo['url'],
                ],
                [
                    'title' => $promo['title'],
                    'description' => $promo['description'],
                    'discount_pct' => $promo['discount_pct'],
                    'promo_code' => $promo['promo_code'],
                    'starts_at' => $promo['starts_at'],
                    'ends_at' => $promo['ends_at'],
                    'is_active' => true,
                    'last_seen_at' => now(),
                    'first_seen_at' => now(),
                ]
            );
        }

        // Уведомление о новых крупных акциях
        $newBigSales = CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('first_seen_at', '>=', now()->subMinutes(10))
            ->where('discount_pct', '>=', 20)
            ->get();

        if ($newBigSales->isNotEmpty()) {
            Notification::route('slack', config('monitoring.slack_url'))
                ->notify(new BigCompetitorSaleNotification($competitor, $newBigSales));
        }
    }
}

Расписание

// Акции — чаще, особенно в пятницу/выходные
$schedule->command('scrape:promotions')
    ->everyTwoHours()
    ->withoutOverlapping();

// Перед выходными — повышенная частота
$schedule->command('scrape:promotions')
    ->fridays()
    ->at('09:00');

Сравнение методов обнаружения акций

Как внедрить парсер: пошаговая инструкция

1. Анализ сайтов конкурентов — выявление структуры страниц акций.
2. Проектирование архитектуры парсера и схемы данных.
3. Разработка парсера и детектора скидок.
4. Тестирование на 3–5 сайтах, исправление багов.
5. Деплой на сервер, настройка cron и уведомлений.

Процесс работы

Типичные ошибки при парсинге акций

• Акция скрыта за JavaScript-рендерингом — нужен headless-браузер.
• Промокод выдаётся только после клика — потребуется эмуляция действий.
• Даты указаны в относительном формате («до конца недели») — требуется кастомный парсер.
• Изменение структуры сайта приводит к поломке — используйте fallback-алгоритмы.

Что входит в работу

• Парсер для 3-5 сайтов конкурентов (под ключ)
• Дашборд для просмотра истории акций
• Уведомления в Slack (Telegram по запросу)
• Документация и API для интеграции
• Обучение команды (1 час)
• Месяц поддержки после деплоя

Сроки ориентировочно

Разработка базового функционала — от 5 до 8 рабочих дней. Сложные проекты с нестандартной структурой сайтов — до 14 дней. Точную оценку даём после аудита целевых ресурсов. Свяжитесь с нами — оценим проект. Получите консультацию и закажите разработку парсера, чтобы получить конкурентное преимущество.