Реалізація обходу захисту від парсингу (CAPTCHA, rate limiting)

Промислові захисти від парсингу — DataDome, Cloudflare Bot Management, PerimeterX, Akamai Bot Manager — аналізують поведінку користувачів за десятками сигналів: від відхилення WebGL-рендерингу до мікротаймінгів між кліками. Кожна система використовує власні ML-моделі, які оновлюються щотижня. Нещодавно ми вирішили задачу для клієнта з e-commerce: потрібно було парсити каталог конкурента, захищений DataDome та reCAPTCHA v3. Ми застосували ротацію резидентних проксі, доопрацьований Playwright з маскуванням 30+ сигнатур та кастомний CAPTCHA-солвер — стабільність склала 97% при 500 тис. сторінок на добу. Такі результати вимагають глибокого розуміння конкретного захисту та комбінування кількох технік. Ми реалізуємо обхід під ключ: від базового stealth до повної системи з моніторингом за 12–18 днів. Звертайтеся — оцінимо ваш проєкт.

У цій статті розберемо основні типи захистів, методи обходу rate limiting та CAPTCHA, організацію проксі-інфраструктури та способи підтримки стабільності при зміні алгоритмів. Подібний результат вимагає постійного моніторингу та адаптації — ми включаємо це в підтримку.

Як захисти класифікуються і що з цим робити?

Рівень 1 — Rate limiting. Простий захист по IP: більше N запитів на секунду → блокування. Вирішується проксі-ротацією та зниженням частоти запитів.

Рівень 2 — Fingerprinting браузера. Перевірка navigator.webdriver, canvas fingerprint, WebGL рендеринг, аудіо контекст, список плагінів. Детектує headless-браузери без маскування.

Рівень 3 — Поведінковий аналіз. ML-моделі на стороні захисту: патерни руху миші, таймінги між діями, порядок подій. Відрізняє бота від людини навіть при правильному fingerprint.

Рівень 4 — CAPTCHA. Візуальні або поведінкові завдання. Google reCAPTCHA v2/v3, hCaptcha, Arkose Labs (FunCaptcha), Cloudflare Turnstile.

Ми працювали з кожним із цих захистів на десятках проєктів. Наш досвід — понад 5 років на ринку та 30+ успішних інтеграцій. Гарантуємо стабільність парсингу навіть при оновленні алгоритмів захисту. На практиці найчастіше зустрічається комбінація кількох рівнів, наприклад, Cloudflare Bot Management + reCAPTCHA v3.

Обхід rate limiting

import asyncio
import random
from aiohttp import ClientSession

async def fetch_with_delay(session, url, semaphore):
    async with semaphore:
        await asyncio.sleep(2 + random.gauss(1, 0.5))  # нормальний розподіл
        async with session.get(url) as resp:
            return await resp.text()

semaphore = asyncio.Semaphore(3)  # максимум 3 одночасних запити

Випадкові затримки з нормальним розподілом значно ефективніші за фіксовані: патерн ближчий до людського.

Stealth для Playwright

const { chromium } = require('playwright');
const { stealth } = require('playwright-stealth');

const browser = await chromium.launch({
  args: [
    '--disable-blink-features=AutomationControlled',
    '--no-sandbox',
  ]
});
const context = await browser.newContext({
  userAgent: getRandomUserAgent(),
  locale: 'ru-RU',
  timezoneId: 'Europe/Moscow',
  geolocation: { longitude: 37.6173, latitude: 55.7558 },
  permissions: ['geolocation'],
});
await stealth(context);

playwright-stealth патчить більше 30 детектованих полів: navigator.webdriver, window.chrome, navigator.languages, canvas noise та інші. Використання stealth-режиму обов'язкове для сайтів із поведінковим аналізом.

Чому якість проксі критична для парсингу?

Захисти аналізують чистоту IP та його поведінку. Резидентні проксі (Bright Data, Oxylabs) — реальні IP домашніх користувачів, практично не блокуються. Мобільні проксі (4G/5G) мають високий trust score. Дата-центр IP (AWS, DigitalOcean) часто в чорних списках і не підходять для складних захистів. Для великих проєктів окупається використання резидентних IP — ціна помилки при блокуванні висока.

class ProxyRotator:
    def __init__(self, proxies: list):
        self.proxies = proxies
        self.stats = {p: {'success': 0, 'fail': 0} for p in proxies}

    def get_best_proxy(self):
        # вибираємо проксі з найбільшим відсотком успіху
        return max(
            self.proxies,
            key=lambda p: self.stats[p]['success'] /
                          max(self.stats[p]['success'] + self.stats[p]['fail'], 1)
        )

    def report_success(self, proxy):
        self.stats[proxy]['success'] += 1

    def report_fail(self, proxy):
        self.stats[proxy]['fail'] += 1

Як обійти CAPTCHA без ризику блокування?

Автоматичне рішення через сервіси: 2captcha, Anti-Captcha, CapSolver, NopeCHA. Для CAPTCHA v2/v3 використовуються токени від сервісів. Для reCAPTCHA v3 потрібен високий score, що досягається якісним профілем браузера. (Google reCAPTCHA documentation)

from twocaptcha import TwoCaptcha

solver = TwoCaptcha(API_KEY)

# reCAPTCHA v2
result = solver.recaptcha(
    sitekey='6LfXXXXXXXXXXXXXXXXXXXXX',
    url='https://example.com/page'
)
token = result['code']  # вставляємо у форму

Робота з куками та сесіями

Сесійні куки — важливий сигнал для захистів. Бот, який не накопичує куки через кілька сторінок, виглядає підозріло.

# Збереження та відновлення контексту Playwright
await context.storage_state(path='session.json')

# У наступному запуску
context = await browser.new_context(storage_state='session.json')

Для складних сайтів: спочатку «прогріваємо» сесію — відвідуємо головну, пару випадкових сторінок, імітуємо скрол — потім переходимо до цільових URL.

Виявлення зміни алгоритму захисту

Захисти оновлюють алгоритми. Потрібен моніторинг:

• Трекінг HTTP-статусів: зростання 403/429/503 → тригер перевірки
• Порівняння fingerprint-запитів (JavaScript, який завантажує DataDome)
• Алерти при падінні відсотка успішних парсингів нижче порогу

Що входить у нашу роботу

• Аналіз цільового сайту та визначення типу захисту
• Розробка та налаштування обходу (stealth, проксі, CAPTCHA)
• Інтеграція з вашим парсером (API, SDK)
• Моніторинг стабільності та автоматична адаптація
• Документація та навчання вашої команди

Терміни

Базовий обхід rate limiting + stealth: 3–5 днів. Повна система з CAPTCHA-солвером, проксі-ротатором та моніторингом: 12–18 днів.

Зв'яжіться з нами для консультації — оцінимо ваш проєкт і запропонуємо оптимальне рішення.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.