Розробка промислової системи парсингу веб-сайтів під ключ

Замовник звернувся із задачею: щодня збирати ціни та залишки з 20 сайтів конкурентів. Через тиждень після запуску першого скрипта на requests всі IP заблокувала захист Cloudflare, а ще через місяць змінилася верстка — дані перестали збиратися взагалі. Так виглядає типовий провал без промислового підходу. Ми розробляємо системи, які не ламаються: планувальник з пріоритетами, ротація резидентних проксі, обхід антибот-захистів, нормалізація та моніторинг. Наш досвід — 15+ проектів для e-commerce, агрегаторів та дослідницьких задач. Економія бюджету на зборі даних досягає 60%, окупність системи — 2-3 місяці. Якщо вам потрібна надійна система збору даних, зв'яжіться з нами для консультації.

Як обійти Cloudflare Bot Management?

Найскладніший кейс — Cloudflare з Bot Fight Mode. Рішення: Playwright з реальним fingerprint браузера, обхід через puppeteer-extra-plugin-stealth, імітація мишачих рухів через CDP. Для особливо стійких — ротація IP через резидентні проксі від BrightData або Oxylabs.

Чому парсер ламається через місяць?

Веб-сайти змінюють структуру кожні 3-4 тижні. Без системи моніторингу ви дізнаєтеся про поломку тільки коли дані перестануть оновлюватися. Ми вбудовуємо автоматичні перевірки: порівняння DOM-схеми з еталоном, відсоток успішних вилучень, тести на фікстурах. Типовий показник стабільної роботи — 95%+ успішних парсингів.

Архітектура масштабованої системи парсингу

Планувальник і черга завдань

Celery з Redis або RabbitMQ — перевірений вибір. Кожен URL — завдання з пріоритетом, retry-політикою та TTL. Scrapy-cluster або власний оркестратор координує воркери. Використовуємо Python 3.12, Celery 5.3, Redis 7.

Завантажувач сторінок

Два режими:

• Статичні — httpx з async, connection pooling, keep-alive
• JavaScript-рендеринг — Playwright 1.40 (переважно) або Puppeteer, headless Chromium з управлінням профілями

Ротація ідентифікаторів

Пул проксі (residential або datacenter), зміна User-Agent з реальних fingerprint-датасетів, випадкові затримки з нормальним розподілом, управління кукі-сесіями.

Вилучення даних

CSS-селектори або XPath для стабільних структур. Для складної логіки — parsel (обгортка над lxml). Якщо структура нестабільна — LLM-екстракція через OpenAI або локальну Ollama з few-shot промптами.

Зберігання та нормалізація

Raw HTML в S3/MinIO для повторної обробки. Вилучені дані — PostgreSQL 16 або ClickHouse (для аналітики по мільярдах записів). Дедуплікація за URL-хешем + content-hash.

Порівняння підходів: Celery vs Argo Workflows

Для більшості проектів Celery — оптимальний вибір: швидше впроваджується, легше підтримувати. Argo — для Kubernetes-інфраструктур з жорсткими SLA.

Архітектура для високонавантаженого парсингу

[Scheduler] -> [Redis Queue] -> [Fetcher Workers x N]
                                        |
                              [Parser Workers x M]
                                        |
                          [Raw Store S3] + [DB Writer]
                                        |
                              [Monitor / Dashboard]

Fetcher і Parser — різні воркери. Fetcher I/O bound (100+ async задач на процес), Parser CPU bound (1 процес на ядро).

Як налаштувати парсер за 5 кроків

1. Аналіз джерел: вивчіть структуру цільових сайтів, визначте обсяг даних та частоту оновлення.
2. Вибір стеку: визначте, чи потрібен JS-рендеринг, який тип проксі, яку СУБД.
3. Реалізація вилучення: напишіть селектори або XPath для кожного поля, протестуйте на фікстурах.
4. Налаштування моніторингу: додайте алерти на падіння відсотка успішних парсингів та зміну DOM.
5. Деплой та обкатка: розгорніть систему на сервері, проганяйте тестовий період 2-3 дні.

Правові та етичні аспекти

Перед запуском: перевірка robots.txt, аналіз ToS сайту, оцінка навантаження. Для публічних даних це зазвичай прийнятно. Для закритих розділів — потрібен дозвіл. Ми завжди консультуємо з legal-ризиків.

Процес роботи та терміни

Що входить в роботу

• Архітектура системи під ваші джерела
• Реалізація коду з документацією
• Налаштування моніторингу та алертів
• Навчання вашої команди
• Підтримка 1 місяць після запуску
• Гарантія стабільної роботи (згідно з SLA)

Терміни реалізації

Сценарії використання та обслуговування

Моніторинг конкурентів. Ціни, асортимент, наявність — збір раз на годину з історією. Економія до 60% часу ваших аналітиків.

Агрегація оголошень. OLX, Avito-подібні майданчики: десятки тисяч записів на добу, дедуплікація, геокодування.

Дослідницькі задачі. Збір датасетів для ML, моніторинг тональності, аналіз SEO-позицій.

Контентні проекти. Синдикація новин, агрегація вакансій, каталоги з відкритих джерел.

Обслуговування системи

Добре спроектована система — не разова розробка, а інфраструктура з життєвим циклом. Закладайте 20% часу від розробки на рік на підтримку. Ми гарантуємо швидку реакцію на поломки.

Оцінимо ваш проект за 1 день — напишіть нам. Замовте розробку системи парсингу під ключ та отримайте консультацію з архітектури.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.