Реализация обхода защиты от парсинга (CAPTCHA, rate limiting)

Промышленные защиты от парсинга — DataDome, Cloudflare Bot Management, PerimeterX, Akamai Bot Manager — анализируют поведение пользователей по десяткам сигналов: от отклонения WebGL-рендеринга до микротаймингов между кликами. Каждая система использует собственные ML-модели, которые обновляются еженедельно. Недавно мы решили задачу для клиента из e-commerce: нужно было парсить каталог конкурента, защищённый DataDome и reCAPTCHA v3. Мы применили ротацию резидентных прокси, доработанный Playwright с маскировкой 30+ сигнатур и кастомный CAPTCHA-солвер — стабильность составила 97% при 500 тыс. страниц в сутки. Такие результаты требуют глубокого понимания конкретной защиты и комбинирования нескольких техник. Мы реализуем обход под ключ: от базового stealth до полной системы с мониторингом за 12–18 дней. Обращайтесь — оценим ваш проект.

В этой статье разберём основные типы защит, методы обхода rate limiting и CAPTCHA, организацию прокси-инфраструктуры и способы поддержания стабильности при смене алгоритмов. Подобный результат требует постоянного мониторинга и адаптации — мы включаем это в поддержку.

Как защиты классифицируются и что с этим делать?

Уровень 1 — Rate limiting. Простая защита по IP: более N запросов в секунду → блокировка. Решается прокси-ротацией и снижением частоты запросов.

Уровень 2 — Fingerprinting браузера. Проверка navigator.webdriver, canvas fingerprint, WebGL рендеринг, аудио контекст, список плагинов. Детектирует headless-браузеры без маскировки.

Уровень 3 — Поведенческий анализ. ML-модели на стороне защиты: паттерны движения мыши, тайминги между действиями, порядок событий. Отличает бота от человека даже при правильном fingerprint.

Уровень 4 — CAPTCHA. Визуальные или поведенческие задачи. Google reCAPTCHA v2/v3, hCaptcha, Arkose Labs (FunCaptcha), Cloudflare Turnstile.

Мы работали с каждой из этих защит на десятках проектов. Наш опыт — 5+ лет на рынке и 30+ успешных интеграций. Гарантируем стабильность парсинга даже при обновлении алгоритмов защиты. На практике чаще всего встречается комбинация нескольких уровней, например, Cloudflare Bot Management + reCAPTCHA v3.

Обход rate limiting

import asyncio
import random
from aiohttp import ClientSession

async def fetch_with_delay(session, url, semaphore):
    async with semaphore:
        await asyncio.sleep(2 + random.gauss(1, 0.5))  # нормальное распределение
        async with session.get(url) as resp:
            return await resp.text()

semaphore = asyncio.Semaphore(3)  # максимум 3 одновременных запроса

Случайные задержки с нормальным распределением значительно эффективнее фиксированных: паттерн ближе к человеческому.

Stealth для Playwright

const { chromium } = require('playwright');
const { stealth } = require('playwright-stealth');
const browser = await chromium.launch({
  args: [
    '--disable-blink-features=AutomationControlled',
    '--no-sandbox',
  ]
});
const context = await browser.newContext({
  userAgent: getRandomUserAgent(),
  locale: 'ru-RU',
  timezoneId: 'Europe/Moscow',
  geolocation: {
    longitude: 37.6173,
    latitude: 55.7558
  },
  permissions: ['geolocation'],
});
await stealth(context);

playwright-stealth патчит более 30 детектируемых полей: navigator.webdriver, window.chrome, navigator.languages, canvas noise и другие. Использование stealth-режима обязательно для сайтов с поведенческим анализом.

Почему качество прокси критично для парсинга?

Защиты анализируют чистоту IP и его поведение. Резидентные прокси (Bright Data, Oxylabs) — реальные IP домашних пользователей, практически не блокируются. Мобильные прокси (4G/5G) имеют высокий trust score. Дата-центр IP (AWS, DigitalOcean) часто в чёрных списках и не подходят для сложных защит. Для крупных проектов окупается использование резидентных IP — цена ошибки при блокировке высока.

class ProxyRotator:
    def __init__(self, proxies: list):
        self.proxies = proxies
        self.stats = {p: {'success': 0, 'fail': 0} for p in proxies}

    def get_best_proxy(self):
        # выбираем прокси с наибольшим процентом успеха
        return max(
            self.proxies,
            key=lambda p: self.stats[p]['success'] / max(self.stats[p]['success'] + self.stats[p]['fail'], 1)
        )

    def report_success(self, proxy):
        self.stats[proxy]['success'] += 1

    def report_fail(self, proxy):
        self.stats[proxy]['fail'] += 1

Как обойти CAPTCHA без риска блокировки?

Автоматическое решение через сервисы: 2captcha, Anti-Captcha, CapSolver, NopeCHA. Для CAPTCHA v2/v3 используются токены от сервисов. Для reCAPTCHA v3 нужен высокий score, что достигается качественным профилем браузера. (Google reCAPTCHA documentation)

from twocaptcha import TwoCaptcha
solver = TwoCaptcha(API_KEY)

# reCAPTCHA v2
result = solver.recaptcha(
    sitekey='6LfXXXXXXXXXXXXXXXXXXXXX',
    url='https://example.com/page'
)

token = result['code']
# вставляем в форму

Работа с куками и сессиями

Сессионные куки — важный сигнал для защит. Бот, который не накапливает куки через несколько страниц, выглядит подозрительно.

# Сохранение и восстановление контекста Playwright
await context.storage_state(path='session.json')
# В следующем запуске
context = await browser.new_context(storage_state='session.json')

Для сложных сайтов: сначала «греем» сессию — посещаем главную, пару случайных страниц, имитируем скролл — затем переходим к целевым URL.

Обнаружение смены алгоритма защиты

Защиты обновляют алгоритмы. Нужен мониторинг:

• Трекинг HTTP-статусов: рост 403/429/503 → триггер проверки
• Сравнение fingerprint-запросов (JavaScript, который загружает DataDome)
• Алерты при падении процента успешных парсингов ниже порога

Что входит в нашу работу

• Анализ целевого сайта и определение типа защиты
• Разработка и настройка обхода (stealth, прокси, CAPTCHA)
• Интеграция с вашим парсером (API, SDK)
• Мониторинг стабильности и автоматическая адаптация
• Документация и обучение вашей команды

Сроки

Базовый обход rate limiting + stealth: 3–5 дней. Полная система с CAPTCHA-солвером, прокси-ротатором и мониторингом: 12–18 дней.

Свяжитесь с нами для консультации — оценим ваш проект и предложим оптимальное решение.