Scrapy Python: масштабований парсинг з пайплайнами та мідлварами

Реалізація парсингу через Scrapy (Python)

Є задача зібрати 100 000 сторінок товарів за добу. Requests + BeautifulSoup справляються за тиждень, і то з перервами. Scrapy вирішує її за день — це промисловий фреймворк для веб-скрапінгу на Python. На відміну від саморобних рішень, Scrapy дає вбудовану чергу запитів, middleware-систему, pipeline для обробки даних, підтримку robots.txt, авторотацію user-agent та кешування. Наша команда використовує його в продакшені понад 5 років і реалізувала понад 30 проєктів парсингу для інтернет-магазинів, агрегаторів та маркетплейсів. Ми гарантуємо стабільний збір даних навіть при складних захистах — досвід показує, що 95% сесій проходять без помилок.

Чому Scrapy кращий за готові парсери-агрегатори?

Готові сервіси на кшталт Octoparse або Parsehub гарні для разових задач, але при промислових обсягах упираються в обмеження: ліміт на кількість сторінок, закритий код, неможливість тонкого налаштування. Scrapy дає повний контроль: ви самі вирішуєте, як обробляти капчу, як часто міняти проксі, як зберігати дані. В одному з проєктів ми збільшили швидкість збору в 4 рази, замінивши саморобний скрипт на requests+bs4 на Scrapy з паралельними запитами. Середній інженер налаштовує павука за 2 дні, а не за тиждень — це скорочує витрати на 60%.

Архітектура Scrapy

Spider (логіка обходу)
    ↓
Scrapy Engine
    ↓
Scheduler (черга URL)
    ↓
Downloader (HTTP-запити)
    ↓ (через Downloader Middlewares)
Response → Spider
    ↓
Items → Item Pipeline
    ↓
Storage (DB, CSV, JSON, S3)

Кожен компонент замінний: можна вбудувати свою чергу (Redis через scrapy-redis), свій downloader (Playwright через scrapy-playwright) або свій pipeline. Це робить фреймворк придатним для задач будь-якої складності.

Як масштабувати Scrapy за допомогою Redis?

Для розподіленого збору на кількох серверах:

# settings.py
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
REDIS_URL = 'redis://redis:6379'
SCHEDULER_PERSIST = True  # черга не скидається при перезапуску

З scrapy-redis кілька воркерів читають із загальної Redis-черги — горизонтальне масштабування без змін коду spider. Це дозволяє обробляти мільйони URL за добу.

Чому варто налаштувати middleware для обходу захисту?

class RotateUserAgentMiddleware:
    agents = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...',
    ]

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.agents)

Додатково підключаємо scrapy-rotating-proxies для автоматичної ротації проксі з відстеженням статусу кожного адреса. У складних сценаріях використовуємо scrapy-playwright з headless-браузером — це дає 95% успішних запитів навіть під Cloudflare. Один клієнт після впровадження такої схеми скоротив час збору на 70%.

Pipeline для PostgreSQL

class PostgreSQLPipeline:
    def open_spider(self, spider):
        self.conn = psycopg2.connect(DATABASE_URL)
        self.cur = self.conn.cursor()

    def process_item(self, item, spider):
        self.cur.execute(
            'INSERT INTO products (title, price, url) VALUES (%s, %s, %s) '
            'ON CONFLICT (url) DO UPDATE SET price = EXCLUDED.price',
            (item['title'], item['price'], item['url'])
        )
        self.conn.commit()
        return item

ON CONFLICT DO UPDATE вирішує дедуплікацію на рівні БД без додаткових перевірок у коді. В одному з проєктів це скоротило обсяг збережених даних на 30%.

Моніторинг і статистика

Scrapy пише детальну статистику кожного запуску: кількість запитів, оброблених елементів, помилок, середній час відповіді. Через scrapy-prometheus ці метрики експортуються в Prometheus і візуалізуються в Grafana. Ми додаємо алерти на падіння швидкості збору або зростання кількості помилок — так ви завжди будете знати про проблеми.

Що входить у розробку парсера на Scrapy?

• Проектування архітектури павуків під ваші джерела даних
• Налаштування middleware: ротація проксі, User-Agent, cookies
• Реалізація пайплайнів для очищення, валідації та збереження даних
• Інтеграція з вашою БД або хмарним сховищем
• Підготовка моніторингу (Grafana, алерти)
• Документація щодо запуску та підтримки
• Навчання вашого розробника роботі з системою

Порівняння Scrapy з іншими підходами

Терміни

Зв'яжіться з нами

Отримайте консультацію щодо вашого проєкту парсингу. Ми оцінимо задачу за 1 робочий день і запропонуємо оптимальне рішення. Замовте розробку — обговоримо деталі.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.