Розробка бота-парсера акцій і знижок конкурентів

Розробка бот-парсера акцій та скидок конкурентів

Моніторинг акцій конкурентів дозволяє швидко реагувати: запустити контракцію, підготувати власне пропозицію або скорегувати маркетинговий календар. Акції складніше парсити, ніж ціни: вони мають дати початку/завершення, умови, типи скидок.

Що відстежується

• Процентні скидки — "скидка 30% на весь каталог"
• Акційні ціни — конкретна ціна на конкретний товар
• Промокоди — публічні промокоди конкурентів
• Часові акції — flash-sale, акції вихідного дня
• Програми лояльності — кешбек, бонусні бали
• Бандли — "2+1 безплатно", комплекти зі скидкою

Парсер сторінок акцій

// app/Services/PromotionScraper/PromotionPageScraper.php
class PromotionPageScraper
{
    public function scrapePromotionsPage(string $url): array
    {
        $html = $this->fetch($url);
        $crawler = new Crawler($html);

        $promotions = [];

        // Стандартні блоки акцій
        $crawler->filter('.promotion-card, .sale-block, .promo-item, [data-promo]')
            ->each(function (Crawler $node) use (&$promotions) {
                $promo = $this->extractPromotion($node);
                if ($promo) $promotions[] = $promo;
            });

        // Якщо структуровані блоки не знайдені — парсимо текстом
        if (empty($promotions)) {
            $promotions = $this->extractFromText($crawler->text(), $url);
        }

        return $promotions;
    }

    private function extractPromotion(Crawler $node): ?array
    {
        $title = $node->filter('h2, h3, .promo-title, .sale-title')->first()->text('');
        if (empty(trim($title))) return null;

        $description = $node->filter('p, .promo-desc')->first()->text('');
        $link = $node->filter('a')->first()->attr('href') ?? '';

        // Витягуємо дати з тексту
        $dates = $this->extractDates($title . ' ' . $description);

        // Витягуємо процент скидки
        $discount = $this->extractDiscount($title . ' ' . $description);

        // Шукаємо промокод у тексту
        $promoCode = $this->extractPromoCode($title . ' ' . $description);

        return [
            'title'       => trim($title),
            'description' => trim($description),
            'discount_pct'=> $discount,
            'promo_code'  => $promoCode,
            'starts_at'   => $dates['start'] ?? null,
            'ends_at'     => $dates['end'] ?? null,
            'url'         => $link,
        ];
    }

    private function extractDiscount(string $text): ?int
    {
        // "скидка 30%", "−30%", "30% OFF", "до 50% скидки"
        if (preg_match('/[-–]?\s*(\d{1,3})\s*%/u', $text, $m)) {
            return (int) $m[1];
        }
        return null;
    }

    private function extractPromoCode(string $text): ?string
    {
        // Промокод зазвичай uppercase, 4-12 символів, іноді в лапках або після слова "промокод"
        if (preg_match('/промокод[:\s]+([A-Z0-9_-]{3,15})/ui', $text, $m)) {
            return strtoupper($m[1]);
        }
        if (preg_match('/promo(?:code)?[:\s]+([A-Z0-9_-]{3,15})/i', $text, $m)) {
            return strtoupper($m[1]);
        }
        // Слова в лапках схожі на промокод
        if (preg_match('/[«"\'"]([A-Z0-9_-]{4,12})[»"\'"]/u', $text, $m)) {
            return strtoupper($m[1]);
        }
        return null;
    }

    private function extractDates(string $text): array
    {
        $dates = [];

        // "з 01.03 по 31.03", "до 31 марта", "01.03.2025 - 15.03.2025"
        $monthMap = [
            'enero'=>'01','febrero'=>'02','marzo'=>'03','abril'=>'04',
            'mayo'=>'05','junio'=>'06','julio'=>'07','agosto'=>'08',
            'septiembre'=>'09','octubre'=>'10','noviembre'=>'11','diciembre'=>'12',
        ];

        $pattern = '/(\d{1,2})\s+(' . implode('|', array_keys($monthMap)) . ')/ui';
        if (preg_match_all($pattern, $text, $matches, PREG_SET_ORDER)) {
            foreach ($matches as $i => $match) {
                $day = sprintf('%02d', $match[1]);
                $month = $monthMap[mb_strtolower($match[2])];
                $year = date('Y');
                $date = "{$year}-{$month}-{$day}";

                if ($i === 0) $dates['start'] = $date;
                if ($i === 1) $dates['end'] = $date;
            }
        }

        return $dates;
    }
}

Моніторинг скидок на конкретних товарах

// app/Services/PromotionScraper/ProductSaleDetector.php
class ProductSaleDetector
{
    public function detectSale(string $html): ?SaleInfo
    {
        $crawler = new Crawler($html);

        // Шукаємо одночасно стару та нову ціну
        $originalPriceNode = $crawler->filter(
            '.original-price, .old-price, del, [data-original-price], s'
        )->first();

        $salePriceNode = $crawler->filter(
            '.sale-price, .special-price, .discount-price, [data-sale-price]'
        )->first();

        if (!$originalPriceNode->count() || !$salePriceNode->count()) {
            return null;
        }

        $originalPrice = $this->parsePrice($originalPriceNode->text());
        $salePrice = $this->parsePrice($salePriceNode->text());

        if ($originalPrice <= 0 || $salePrice <= 0 || $salePrice >= $originalPrice) {
            return null;
        }

        $discountPct = round((1 - $salePrice / $originalPrice) * 100);

        // Термін дії акції
        $endDate = null;
        $countdownNode = $crawler->filter('.countdown, [data-countdown], .sale-ends');
        if ($countdownNode->count()) {
            $endDate = $countdownNode->first()->attr('data-end-date')
                ?? $this->extractDateFromText($countdownNode->first()->text());
        }

        return new SaleInfo(
            originalPrice: $originalPrice,
            salePrice: $salePrice,
            discountPct: $discountPct,
            endsAt: $endDate,
        );
    }
}

Зберігання і історія акцій

// Міграція
Schema::create('competitor_promotions', function (Blueprint $table) {
    $table->id();
    $table->foreignId('competitor_id')->constrained();
    $table->string('title');
    $table->text('description')->nullable();
    $table->integer('discount_pct')->nullable();
    $table->string('promo_code')->nullable();
    $table->string('source_url');
    $table->date('starts_at')->nullable();
    $table->date('ends_at')->nullable();
    $table->boolean('is_active')->default(true);
    $table->json('affected_categories')->nullable();
    $table->timestamp('first_seen_at');
    $table->timestamp('last_seen_at');
    $table->timestamps();

    $table->index(['competitor_id', 'is_active', 'ends_at']);
});

// app/Jobs/ScrapeCompetitorPromotions.php
class ScrapeCompetitorPromotions implements ShouldQueue
{
    public function handle(PromotionPageScraper $scraper): void
    {
        $competitor = Competitor::findOrFail($this->competitorId);
        $promotionUrls = $competitor->promotion_urls ?? [];

        $currentPromos = [];

        foreach ($promotionUrls as $url) {
            $scraped = $scraper->scrapePromotionsPage($url);
            $currentPromos = array_merge($currentPromos, $scraped);
            sleep(rand(2, 4));
        }

        // Деактивуємо акції, яких більше немає
        CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('is_active', true)
            ->whereNotIn('source_url', array_column($currentPromos, 'url'))
            ->update(['is_active' => false]);

        // Оновлюємо або створюємо акції
        foreach ($currentPromos as $promo) {
            CompetitorPromotion::updateOrCreate(
                [
                    'competitor_id' => $this->competitorId,
                    'source_url'    => $promo['url'],
                ],
                [
                    'title'        => $promo['title'],
                    'description'  => $promo['description'],
                    'discount_pct' => $promo['discount_pct'],
                    'promo_code'   => $promo['promo_code'],
                    'starts_at'    => $promo['starts_at'],
                    'ends_at'      => $promo['ends_at'],
                    'is_active'    => true,
                    'last_seen_at' => now(),
                    'first_seen_at' => now(), // updateOrCreate збереже при створенні
                ]
            );
        }

        // Повідомлення про нові великі акції
        $newBigSales = CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('first_seen_at', '>=', now()->subMinutes(10))
            ->where('discount_pct', '>=', 20)
            ->get();

        if ($newBigSales->isNotEmpty()) {
            Notification::route('slack', config('monitoring.slack_url'))
                ->notify(new BigCompetitorSaleNotification($competitor, $newBigSales));
        }
    }
}

Розклад

// Акції — частіше, особливо в п'ятницю/вихідні
$schedule->command('scrape:promotions')
    ->everyTwoHours()->withoutOverlapping();

// Перед вихідними — підвищена частота
$schedule->command('scrape:promotions')
    ->fridays()->at('09:00');

Термін розробки: парсер акцій для 3-5 конкурентів з історією, повідомленнями в Slack та дашбордом — 5-8 робочих днів.