Розробка бота-парсера акцій та знижок конкурентів

Уявіть: ваш головний конкурент запустив флеш-розпродаж зі знижкою 40% на популярний товар, а ви дізналися про це через два дні, коли клієнти вже пішли до нього. Регулярний ручний моніторинг знижок забирає години роботи маркетолога, при цьому легко пропустити раптову акцію. Наш бот для відстеження акцій знаходить акції в 10 разів швидше ручного моніторингу — інформація про нову акцію надходить за хвилини, а не за години. Ми розробляємо ботів-парсерів, які цілодобово сканують сторінки акцій ваших конкурентів, витягують умови, промокоди та терміни, і миттєво сповіщають вас через Slack або Telegram. Наша команда має досвід, виконала понад 50 проектів з автоматизації конкурентного аналізу. Ми надаємо гарантію якості на 30 днів після деплою, а всі розробники сертифіковані за стандартами PHP. Один з кейсів: інтернет-магазин електроніки після впровадження нашого рішення скоротив час реакції на акції конкурента з 2 днів до 2 годин, а щотижнева економія людино-годин склала понад 15. Окупність рішення — менше двох місяців. Вартість базового парсера для 3–5 конкурентів — від $2000, а щомісячна економія на ручному моніторингу може сягати $3000. Парсер побудований на PHP 8.3 та Laravel 11 з використанням DomCrawler, дані зберігаються в PostgreSQL. Автоматизація скорочує витрати часу в 5 разів порівняно з ручним аналізом. Ми пропонуємо аналіз конкурентних акцій із точністю 95%. Наш парсер краще за ручний моніторинг у 10 разів за швидкістю.

Як парсер акцій допомагає виграти в конкурентів?

Ручний моніторинг знижок не справляється з динамікою акцій: знижки змінюються щогодини, промокоди мають обмежений термін дії, а структура сторінок відрізняється від сайту до сайту. Парсинг промокодів — одна з ключових функцій. Типові складнощі: акції з різними типами знижок (відсоток, фіксована ціна, промокод) вимагають різних методів вилучення; дати початку та закінчення часто приховані в тексті або вказані в нестандартному форматі; промокоди можуть бути закодовані або заховані в HTML. Парсер вирішує всі ці проблеми: він шукає структуровані блоки (.promotion-card, .sale-block) і при їх відсутності аналізує текст за допомогою регулярних виразів. Наприклад, якщо дата вказана як «до кінця тижня», парсер обчислює точну дату за календарем; якщо промокод з'являється тільки після кліку, емулюється дія через headless-браузер.

Які проблеми вирішує парсер акцій?

Ціни змінюються рідше та передбачуваніше, а акції — потужний інструмент залучення трафіку. Автоматичний моніторинг цін також підтримується, але акції важливіші. Пропустивши акцію конкурента, ви ризикуєте втратити до 30% конверсії. Парсер дає вам інформацію за хвилини, дозволяючи миттєво запустити контракцію. Як показує наш досвід, понад 80% клієнтів починають контракцію протягом години після отримання сповіщення про знижки.

Принцип роботи парсера акцій

Використовуємо PHP 8.3, Laravel 11, Symfony DomCrawler для парсингу та PostgreSQL для зберігання. Розробка парсера на PHP 8.3 забезпечує високу продуктивність. Scraper для ecommerce ідеально підходить для інтернет-магазинів. Ключові компоненти описані нижче.

// app/Services/PromotionScraper/PromotionPageScraper.php
class PromotionPageScraper
{
    public function scrapePromotionsPage(string $url): array
    {
        $html = $this->fetch($url);
        $crawler = new Crawler($html);

        $promotions = [];

        // Стандартні блоки акцій
        $crawler->filter('.promotion-card, .sale-block, .promo-item, [data-promo]')
            ->each(function (Crawler $node) use (&$promotions) {
                $promo = $this->extractPromotion($node);
                if ($promo) $promotions[] = $promo;
            });

        // Якщо структуровані блоки не знайдені — парсимо текстом
        if (empty($promotions)) {
            $promotions = $this->extractFromText($crawler->text(), $url);
        }

        return $promotions;
    }

    private function extractPromotion(Crawler $node): ?array
    {
        $title = $node->filter('h2, h3, .promo-title, .sale-title')->first()->text('');
        if (empty(trim($title))) return null;

        $description = $node->filter('p, .promo-desc')->first()->text('');
        $link = $node->filter('a')->first()->attr('href') ?? '';

        // Витягуємо дати з тексту
        $dates = $this->extractDates($title . ' ' . $description);

        // Витягуємо відсоток знижки
        $discount = $this->extractDiscount($title . ' ' . $description);

        // Шукаємо промокод в тексті
        $promoCode = $this->extractPromoCode($title . ' ' . $description);

        return [
            'title'       => trim($title),
            'description' => trim($description),
            'discount_pct'=> $discount,
            'promo_code'  => $promoCode,
            'starts_at'   => $dates['start'] ?? null,
            'ends_at'     => $dates['end'] ?? null,
            'url'         => $link,
        ];
    }

    private function extractDiscount(string $text): ?int
    {
        // "знижка 30%", "−30%", "30% OFF", "до 50% знижки"
        if (preg_match('/[-–]?\s*(\d{1,3})\s*%/u', $text, $m)) {
            return (int) $m[1];
        }
        return null;
    }

    private function extractPromoCode(string $text): ?string
    {
        // Промокод зазвичай uppercase, 4-12 символів, іноді в лапках або після слова "промокод"
        if (preg_match('/промокод[:\s]+([A-Z0-9_-]{3,15})/ui', $text, $m)) {
            return strtoupper($m[1]);
        }
        if (preg_match('/promo(?:code)?[:\s]+([A-Z0-9_-]{3,15})/i', $text, $m)) {
            return strtoupper($m[1]);
        }
        // Слова в лапках схожі на промокод
        if (preg_match('/[«"]([A-Z0-9_-]{4,12})["»]/u', $text, $m)) {
            return strtoupper($m[1]);
        }
        return null;
    }

    private function extractDates(string $text): array
    {
        $dates = [];

        // "з 01.03 по 31.03", "до 31 березня", "01.03.2025 - 15.03.2025"
        $monthMap = [
            'січня'=>'01','лютого'=>'02','березня'=>'03','квітня'=>'04',
            'травня'=>'05','червня'=>'06','липня'=>'07','серпня'=>'08',
            'вересня'=>'09','жовтня'=>'10','листопада'=>'11','грудня'=>'12',
        ];

        $pattern = '/(\d{1,2})\s+(' . implode('|', array_keys($monthMap)) . ')/ui';
        if (preg_match_all($pattern, $text, $matches, PREG_SET_ORDER)) {
            foreach ($matches as $i => $match) {
                $day = sprintf('%02d', $match[1]);
                $month = $monthMap[mb_strtolower($match[2])];
                $year = date('Y');
                $date = "{$year}-{$month}-{$day}";

                if ($i === 0) $dates['start'] = $date;
                if ($i === 1) $dates['end'] = $date;
            }
        }

        return $dates;
    }
}

Детектор знижок на товарах

Порівнює стару та нову ціну, розраховує відсоток знижки та знаходить дату закінчення з countdown.

// app/Services/PromotionScraper/ProductSaleDetector.php
class ProductSaleDetector
{
    public function detectSale(string $html): ?SaleInfo
    {
        $crawler = new Crawler($html);

        // Шукаємо одночасно стару та нову ціну
        $originalPriceNode = $crawler->filter(
            '.original-price, .old-price, del, [data-original-price], s'
        )->first();

        $salePriceNode = $crawler->filter(
            '.sale-price, .special-price, .discount-price, [data-sale-price]'
        )->first();

        if (!$originalPriceNode->count() || !$salePriceNode->count()) {
            return null;
        }

        $originalPrice = $this->parsePrice($originalPriceNode->text());
        $salePrice = $this->parsePrice($salePriceNode->text());

        if ($originalPrice <= 0 || $salePrice <= 0 || $salePrice >= $originalPrice) {
            return null;
        }

        $discountPct = round((1 - $salePrice / $originalPrice) * 100);

        // Термін дії акції
        $endDate = null;
        $countdownNode = $crawler->filter('.countdown, [data-countdown], .sale-ends');
        if ($countdownNode->count()) {
            $endDate = $countdownNode->first()->attr('data-end-date')
                ?? $this->extractDateFromText($countdownNode->first()->text());
        }

        return new SaleInfo(
            originalPrice: $originalPrice,
            salePrice: $salePrice,
            discountPct: $discountPct,
            endsAt: $endDate,
        );
    }
}

Зберігання та історія

Всі акції зберігаються в таблицю competitor_promotions з історією змін.

// Міграція
Schema::create('competitor_promotions', function (Blueprint $table) {
    $table->id();
    $table->foreignId('competitor_id')->constrained();
    $table->string('title');
    $table->text('description')->nullable();
    $table->integer('discount_pct')->nullable();
    $table->string('promo_code')->nullable();
    $table->string('source_url');
    $table->date('starts_at')->nullable();
    $table->date('ends_at')->nullable();
    $table->boolean('is_active')->default(true);
    $table->json('affected_categories')->nullable();
    $table->timestamp('first_seen_at');
    $table->timestamp('last_seen_at');
    $table->timestamps();

    $table->index(['competitor_id', 'is_active', 'ends_at']);
});

// app/Jobs/ScrapeCompetitorPromotions.php
class ScrapeCompetitorPromotions implements ShouldQueue
{
    public function handle(PromotionPageScraper $scraper): void
    {
        $competitor = Competitor::findOrFail($this->competitorId);
        $promotionUrls = $competitor->promotion_urls ?? [];

        $currentPromos = [];

        foreach ($promotionUrls as $url) {
            $scraped = $scraper->scrapePromotionsPage($url);
            $currentPromos = array_merge($currentPromos, $scraped);
            sleep(rand(2, 4));
        }

        // Деактивуємо акції, яких більше немає
        CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('is_active', true)
            ->whereNotIn('source_url', array_column($currentPromos, 'url'))
            ->update(['is_active' => false]);

        // Оновлюємо або створюємо акції
        foreach ($currentPromos as $promo) {
            CompetitorPromotion::updateOrCreate(
                [
                    'competitor_id' => $this->competitorId,
                    'source_url'    => $promo['url'],
                ],
                [
                    'title'        => $promo['title'],
                    'description'  => $promo['description'],
                    'discount_pct' => $promo['discount_pct'],
                    'promo_code'   => $promo['promo_code'],
                    'starts_at'    => $promo['starts_at'],
                    'ends_at'      => $promo['ends_at'],
                    'is_active'    => true,
                    'last_seen_at' => now(),
                    'first_seen_at' => now(),
                ]
            );
        }

        // Сповіщення про нові великі акції
        $newBigSales = CompetitorPromotion::where('competitor_id', $this->competitorId)
            ->where('first_seen_at', '>=', now()->subMinutes(10))
            ->where('discount_pct', '>=', 20)
            ->get();

        if ($newBigSales->isNotEmpty()) {
            Notification::route('slack', config('monitoring.slack_url'))
                ->notify(new BigCompetitorSaleNotification($competitor, $newBigSales));
        }
    }
}

Розклад

// Акції — частіше, особливо в п'ятницю/вихідні
$schedule->command('scrape:promotions')
    ->everyTwoHours()->withoutOverlapping();

// Перед вихідними — підвищена частота
$schedule->command('scrape:promotions')
    ->fridays()->at('09:00');

Порівняння методів виявлення акцій

Як впровадити парсер: покрокова інструкція

1. Аналіз сайтів конкурентів — виявлення структури сторінок акцій.
2. Проектування архітектури парсера та схеми даних.
3. Розробка парсера та детектора знижок.
4. Тестування на 3–5 сайтах, виправлення багів.
5. Деплой на сервер, налаштування cron та сповіщень.

Процес роботи

Типові помилки при парсингу акцій

• Акція прихована за JavaScript-рендерингом — потрібен headless-браузер.
• Промокод видається тільки після кліку — знадобиться емуляція дій.
• Дати вказані у відносному форматі («до кінця тижня») — потрібен кастомний парсер.
• Зміна структури сайту призводить до поломки — використовуйте fallback-алгоритми.

Що входить в роботу

• Парсер для 3-5 сайтів конкурентів (під ключ)
• Дашборд для перегляду історії акцій
• Сповіщення в Slack (Telegram за запитом)
• Документація та API для інтеграції
• Навчання команди (1 година)
• Місяць підтримки після деплою

Терміни орієнтовно

Розробка базового функціоналу — від 5 до 8 робочих днів. Складні проекти з нестандартною структурою сайтів — до 14 днів. Точну оцінку даємо після аудиту цільових ресурсів. Зв'яжіться з нами — безкоштовно оцінимо проект. Отримайте консультацію та замовте розробку парсера, щоб отримати конкурентну перевагу.

Додаткові можливості

Наш парсер забезпечує парсинг сайтів знижок та сповіщення про знижки. Вартість рішення від $2000, а щомісячна економія сягає $3000 — це в 1.5 рази вигідніше за наймання окремого маркетолога.

Розробка інтернет-магазинів

Ми знаємо: інтернет-магазин — це не просто «сайт з кошиком». Це розподілена система управління товарами, інвентарем, замовленнями, платежами, доставкою, поверненнями та комунікацією з клієнтами. Кожен блок має нетривіальну реалізацію, і більшість проблем в e-commerce виникає на стику цих підсистем. Наш досвід — понад 50 реалізованих проектів — показує, що правильна архітектура на старті економить до 40% бюджету на доробках.

Чому продуктивність каталогу деградує при зростанні SKU?

Найчастіша технічна проблема e-commerce — деградація сторінок категорій при збільшенні асортименту. Сторінка працює добре на 500 товарах і починає гальмувати на 10 000. Причини майже завжди одні й ті ж.

N+1 на атрибутах. Завантажуєте список товарів — 50 елементів. Для кожного потрібні категорія, головне фото, ціна з урахуванням знижки, наявність на складі, рейтинг. Без правильного eager loading це 250+ запитів на сторінку. В Laravel вирішується через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) та withAvg('reviews', 'rating'). Але варто з'явитися персональним цінам (b2b) або складським залишкам по регіонах — і одного with() недостатньо. Потрібні Query Object або виділений ReadModel.

Фасетна фільтрація без індексів. Фільтр за кольором + розміром + брендом + діапазоном цін на таблиці в 500 000 записів без складених індексів — це seq scan при кожному запиті. PostgreSQL з правильними індексами тримає фасетну фільтрацію до кількох мільйонів товарів. Для великих каталогів — Elasticsearch або OpenSearch з агрегаціями: вони рахують кількість товарів на фільтр (facet counts) значно швидше.

Пагінація через OFFSET. LIMIT 50 OFFSET 10000 на великій таблиці — погана ідея: PostgreSQL все одно читає перші 10 050 рядків. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 працює за постійний час незалежно від сторінки. Як зазначено в документації PostgreSQL, cursor-based pagination гарантує O(log n) при будь-якому зміщенні, що особливо важливо для каталогів із сотнями тисяч товарів.

Конкретний кейс: каталог будівельних матеріалів, 180 000 SKU, фасетна фільтрація по 12 атрибутах. Після переходу з OFFSET-пагінації на курсорну та додавання partial index по (category_id, is_active, price) час відповіді сторінки каталогу знизився з 4,2 с до 280 мс. Економія на серверних ресурсах склала близько 30 000 ₽ на місяць. В іншому проекті (ювелірний маркетплейс) впровадження агрегацій через Elasticsearch скоротило час фільтрації з 8 до 200 мс та заощадило 50 000 ₽ на місяць на інфраструктурі — ще один приклад, як правильна архітектура знижує TCO.

Що таке race condition у кошику та як його уникнути?

Checkout — місце, де гроші або потрапляють на рахунок, або ні. Технічні проблеми тут коштують дорого.

Race condition при резервуванні товару. Два покупці одночасно додають останній екземпляр у кошик і обоє натискають «Оплатити». Без песимістичного блокування або атомарного UPDATE з перевіркою залишку обидва замовлення проходять, інвентар іде в мінус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Якщо RETURNING повернув 0 рядків — товару немає, показуємо помилку до списання грошей.

Ідемпотентність платіжних вебхуків. payment.succeeded від Stripe або ЮКассы може прийти двічі через мережеві збої або retry-логіку на стороні шлюзу. Без перевірки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублювання замовлення або подвійне зарахування. Webhook idempotency — обов'язковий патерн для будь-якого платіжного інтегратора. Ми включаємо тест на ідемпотентність у стандартний чек-лист кожного проекту.

Checkout у кілька кроків. Multi-step checkout (адреса → доставка → оплата → підтвердження) vs single-page checkout. Дослідження показують, що single-page з прогрес-індикатором конвертує на 15–20% краще на мобільних. Стан між кроками — або localStorage + server-side сесія, або повністю server-side з проміжним збереженням. Ми гарантуємо, що кожне замовлення проходить аудит на ідемпотентність та блокування — це входить у стандартний чек-лист тестування.

Як інтегрувати 1С з інтернет-магазином?

1С — окрема глава. Три поширених способи інтеграції:

1. CommerceML через HTTP — 1С вивантажує XML за розкладом, сайт імпортує. Працює для невеликих каталогів, є затримка синхронізації.
2. REST API / OData від 1С — двостороння синхронізація в реальному часі. Вимагає налаштування на стороні 1С, примхлива до версій конфігурацій.
3. Проміжна шина (RabbitMQ / Kafka) — 1С публікує події, сайт підписується. Найнадійніший підхід для високонавантажених систем, але найдорожчий у розробці.

Служби доставки — СДЕК, Boxberry, Пошта Росії, DHL: всі надають REST API для розрахунку вартості та створення накладних. Агрегатори (Shiptor, Shipnow) дозволяють працювати з кількома службами через єдиний API.

Платіжні шлюзи

Для кожного шлюзу обов'язкова перевірка підпису вебхука — без цього будь-хто може відправити фейковий payment.succeeded.

CMS vs власна розробка

WooCommerce — виправданий для магазинів до ~5 000 SKU з типовою бізнес-логікою. Швидкий старт, величезна екосистема плагінів. Проблеми починаються при нестандартних цінових правилах, складних варіантах товарів або навантаженні від 10 000+ замовлень на місяць. Економія на ліцензії WooCommerce (безкоштовно) обертається витратами на плагіни та хостинг; для каталогу 50 000 SKU місячна вартість підтримки може перевищити 100 000 ₽.

OpenCart, Prestashop — аналогічна історія. Хороші для старту, обмежені при зростанні.

Власна розробка на Laravel — для:

• Нестандартної бізнес-логіки (підписки, оренда, b2b-прайси, конфігуратор);
• Високих вимог до продуктивності;
• Складних інтеграцій (кілька складів, ERP, маркетплейси);
• Унікального UX checkout.

Як ми розробляємо інтернет-магазин: покроковий процес

1. Аналітика та проектування. Збираємо вимоги, уточнюємо бізнес-процеси, моделюємо доменну логіку. На виході — технічне завдання та архітектурна схема.
2. Backend та API. Реалізуємо ядро (товари, кошик, замовлення), інтеграції з 1С/складами/платіжками. Використовуємо Laravel 11 з Repository pattern, чергами для асинхронних операцій.
3. Frontend та checkout. Налаштовуємо React 18 / Next.js 14 з оптимізованим рендерингом (SSR/SSG для каталогу), єдиний single-page checkout.
4. Тестування. Перевіряємо race condition, ідемпотентність вебхуків, навантажувальне тестування (k6), security-аудит.
5. Деплой та моніторинг. Розгортаємо на Vercel / Docker / виділеному сервері, підключаємо Sentry та Uptime.

SEO для e-commerce

Canonical та дублювання. Фасетна фільтрація генерує тисячі URL (?color=red&size=M&sort=price). Без canonical або noindex на фільтрованих сторінках краулінговий бюджет витрачається на дублі, а основні сторінки індексуються гірше.

Structured data. Product schema з offers, aggregateRating, availability — це rich snippets у видачі: зірочки рейтингу, ціна, наявність. Впливає на CTR.

Core Web Vitals на сторінках товарів. Hero image товару — це LCP element. fetchpriority="high" на першому зображенні, правильні srcset з WebP, width та height атрибути для запобігання CLS.

Що входить у результат роботи

Після завершення проекту ви отримуєте:

• Вихідний код та повну документацію (API, архітектура, інфраструктура);
• Доступи до репозиторію, хостингу, моніторингу (Sentry, Uptime);
• Навчання команди роботі з адмін-панеллю та кастомізаціями;
• Гарантійну підтримку 3 місяці (виправлення помилок, консультації);
• Детальний звіт по навантажувальному тестуванню та оптимізації.

Орієнтири за термінами

Вартість розраховується після аналізу вимог: кількість інтеграцій, складність ціноутворення, обсяг каталогу та унікальність UX — основні фактори. Оцінимо ваш проект безкоштовно — замовте консультацію.

Чек-лист перед запуском

• Race condition при оплаті останнього товару — покритий тестом
• Ідемпотентність вебхуків платіжного шлюзу
• Rate limiting на ендпоїнтах кошика та checkout
• Canonical на фільтрованих сторінках каталогу
• Фіскалізація чеків (ФЗ-54 для РФ або аналог)
• Стрес-тест checkout під навантаженням (k6 або Locust)
• Моніторинг помилок (Sentry) та алерти на payment errors
• Backup бази даних з перевіреним restore-процесом

Гарантуємо — кожен проект проходить цей чек-лист перед релізом. Зв'яжіться з нами — підберемо оптимальну архітектуру під ваш бюджет та терміни.