Розробка бота-парсера нових надходжень у постачальників

Розробка бота-парсера нових надходжень починається з аналізу структури каталогу постачальника. Парсинг веб-сторінок дозволяє автоматизувати збір даних. Ми обираємо оптимальну стратегію детекції дельти: за датою додавання, за розділом «Новинки» або за порівнянням списку SKU. Останній метод універсальний і не залежить від верстки. Він дозволяє знаходити нові товари навіть якщо постачальник не виділяє новинки візуально.

Бот економить до 80% часу команди на моніторинг. Замість щоденного перегляду десятків сторінок ви отримуєте сповіщення з переліком нових SKU. Помилка ручного моніторингу коштує дорого — втрачений хіт або запізнення до старту продажів. Автоматизація вирішує цю проблему.

Як працює детекція новинок на основі дати?

Якщо в картці товару є дата додавання, ми парсимо сторінки каталогу доти, доки не зустрінемо записи старші за останній знімок. Це економить трафік і час. Приклад реалізації на PHP:

// app/Services/NewArrivals/DateBasedDetector.php class DateBasedDetector { public function detectNew(string $categoryUrl, \DateTimeInterface $since): array { $page = 1; $newProducts = []; do { $items = $this->scrapePage($categoryUrl, $page); $hasOlderItems = false; foreach ($items as $item) { $itemDate = $this->parseDate($item['date_added'] ?? ''); if ($itemDate && $itemDate < $since) { $hasOlderItems = true; break; } if (!$this->existsInDatabase($item['sku'])) { $newProducts[] = $item; } } $page++; } while (!$hasOlderItems && count($items) > 0); return $newProducts; } } 

Метод підходить, коли постачальник чітко вказує дату. Якщо дат немає — використовуємо інші стратегії.

Які стратегії виявлення новинок існують?

Порівняємо три основні підходи:

Метод порівняння SKU точніший за інші в 2–3 рази, оскільки не покладається на метадані сторінки. Його реалізація:

// app/Services/NewArrivals/SkuDiffDetector.php class SkuDiffDetector { public function detect(int $supplierId, array $currentSkus): array { $previousSnapshot = SupplierSnapshot::where('supplier_id', $supplierId) ->latest() ->first(); if (!$previousSnapshot) { $this->saveSnapshot($supplierId, $currentSkus); return []; } $previousSkus = $previousSnapshot->sku_list; $newSkus = array_diff($currentSkus, $previousSkus); $removedSkus = array_diff($previousSkus, $currentSkus); $this->saveSnapshot($supplierId, $currentSkus); if (!empty($removedSkus)) { Log::info("Supplier #{$supplierId}: removed SKUs", ['skus' => $removedSkus]); SupplierProductsRemoved::dispatch($supplierId, $removedSkus); } return $newSkus; } private function saveSnapshot(int $supplierId, array $skus): void { SupplierSnapshot::create([ 'supplier_id' => $supplierId, 'sku_list' => $skus, 'sku_count' => count($skus), 'captured_at' => now(), ]); } } 

Тут знімки SKU зберігаються в базі, старі автоматично видаляються через 90 днів, щоб не засмічувати сховище.

Повний цикл виявлення та обробки

Зберемо все в один Job, який запускається за розкладом:

// app/Jobs/CheckSupplierNewArrivals.php class CheckSupplierNewArrivals implements ShouldQueue { public int $tries = 3; public int $timeout = 600; public function handle( SupplierScraper $scraper, SkuDiffDetector $detector, NewArrivalsNotifier $notifier ): void { $supplier = Supplier::findOrFail($this->supplierId); $allProducts = $scraper->scrapeAllProductSkus($supplier); $currentSkus = array_column($allProducts, 'sku'); $newSkus = $detector->detect($this->supplierId, $currentSkus); if (empty($newSkus)) { Log::info("No new arrivals for supplier #{$this->supplierId}"); return; } $newProducts = array_filter( $allProducts, fn($p) => in_array($p['sku'], $newSkus) ); $notifier->notify($supplier, $newProducts); if ($supplier->auto_import_new_arrivals) { foreach ($newProducts as $product) { ImportNewSupplierProduct::dispatch($this->supplierId, $product) ->onQueue('imports'); } } else { foreach ($newProducts as $product) { PendingImport::create([ 'supplier_id' => $this->supplierId, 'data' => $product, 'status' => 'pending_review', ]); } } Log::info("Found new arrivals", [ 'supplier_id' => $this->supplierId, 'count' => count($newProducts), ]); } } 

Job працює в черзі, витримує до 3 спроб і таймаут 10 хвилин. Цього вистачає для каталогів до 10 000 SKU.

Сповіщення та інтеграції

Про знайдені новинки можна дізнаватися миттєво. Підтримуються email, Slack, Telegram та вебхуки. Приклад сповіщення поштою та в Slack:

// app/Notifications/NewSupplierArrivalsNotification.php class NewSupplierArrivalsNotification extends Notification implements ShouldQueue { use Queueable; public function via($notifiable): array { return ['mail', 'slack']; } public function toMail($notifiable): MailMessage { return (new MailMessage) ->subject("Нові надходження: {$this->supplier->name} ({$this->count} товарів)") ->line("Виявлено {$this->count} нових товарів у постачальника **{$this->supplier->name}**") ->line("Дата виявлення: " . now()->format('d.m.Y H:i')) ->action('Переглянути новинки', route('admin.pending-imports.index', [ 'supplier_id' => $this->supplier->id, ])) ->line('Товари очікують перевірки перед публікацією.'); } public function toSlack($notifiable): SlackMessage { return (new SlackMessage) ->content( "🆕 *{$this->supplier->name}*: {$this->count} нових товарів\n" . implode("\n", array_map( fn($p) => "• {$p['sku']} — {$p['name']}", array_slice($this->products, 0, 10) )) ); } } 

Сповіщення містять перші 10 товарів, повний список доступний у панелі керування.

Черга ручної перевірки

Нові товари часто потребують ручної перевірки: категорія, SEO-опис, фотографії. Для цього створюється інтерфейс модератора з функцією схвалення або відхилення:

// app/Http/Controllers/Admin/PendingImportController.php class PendingImportController extends Controller { public function index(Request $request): Response { $pending = PendingImport::query() ->with('supplier') ->when($request->supplier_id, fn($q, $id) => $q->where('supplier_id', $id)) ->where('status', 'pending_review') ->orderBy('created_at', 'desc') ->paginate(50); return Inertia::render('Admin/PendingImports/Index', [ 'imports' => $pending, ]); } public function approve(PendingImport $import): RedirectResponse { ImportNewSupplierProduct::dispatch($import->supplier_id, $import->data); $import->update(['status' => 'approved']); return back()->with('success', 'Товар відправлено в імпорт'); } public function reject(PendingImport $import, Request $request): RedirectResponse { $import->update([ 'status' => 'rejected', 'reject_reason' => $request->reason, ]); return back()->with('success', 'Товар відхилено'); } } 

Модератор бачить усі новинки в одному списку, може швидко переглянути та відправити в магазин.

Що входить у розробку бота-парсера?

До складу роботи входить:

• Аналіз каталогів постачальників і вибір оптимальної стратегії детекції.
• Розробка модуля збору SKU (підтримка авторизації, пагінації, капчі).
• Реалізація детектора дельти зі збереженням снапшотів.
• Налаштування сповіщень (email, Slack, Telegram, вебхуки).
• Розробка черги ручної перевірки з інтерфейсом модератора.
• Написання документації з експлуатації.
• Тестування на реальних даних постачальника.
• Навчання співробітників роботі з системою.

Строки та вартість

Розробка детектора для одного постачальника зі сповіщеннями та чергою займає від 4 до 6 робочих днів. Вартість розраховується індивідуально — залежить від складності каталогу, кількості постачальників і необхідних інтеграцій. Ми гарантуємо стабільну роботу бота та надаємо документацію з експлуатації.

Чому варто замовити розробку у нас?

Наші інженери мають 5+ років досвіду в парсингу складних каталогів. За цей час реалізовано понад 50 проектів для інтернет-магазинів та маркетплейсів. Гарантуємо дотримання строків, підтримку після запуску та допомогу в налаштуванні. Оцінимо ваш проект і запропонуємо оптимальне рішення. Зв'яжіться для консультації.

Бот-парсер окупається протягом 2–3 місяців за рахунок економії часу менеджерів та скорочення втрачених продажів. Отримайте консультацію щодо вашого проекту — ми розрахуємо вартість і строки.