Настройка обхода защиты от парсинга для 1С-Битрикс

Настройка обхода защиты от парсинга для 1С-Битрикс становится необходимой, когда источник данных обновляет защиту — и парсер, работавший месяцами, перестаёт получать контент. Вместо HTML с ценами приходит страница с капчей, JavaScript-челленджем или пустым body. Это реальность промышленного парсинга: защитные системы развиваются, и парсер нужно адаптировать. Мы решаем эту задачу под ключ — от диагностики до настройки ротации отпечатков и headless-браузера. Ниже разберём основные типы защит и технические подходы к их обработке.

Как настроить обход защиты от парсинга в 1С-Битрикс?

JavaScript Challenge (Cloudflare, DataDome) — настройка обхода защиты

Сервер отдаёт HTTP 503 с JS-кодом, который должен выполниться в браузере и установить cookie cf_clearance или datadome. Признак: body содержит <noscript> и window._cf_chl_opt или аналогичный обфусцированный скрипт.

Наш подход: headless-браузер (Puppeteer/Playwright) на Node.js запускается как микросервис. Парсер на PHP отправляет URL на http://localhost:3000/render?url=..., получает готовый HTML и cookies, и использует их в обычном HttpClient. Как отмечают разработчики Puppeteer, headless-браузер полностью эмулирует поведение реального пользователя, что позволяет не прогонять каждый запрос через браузер — cookies живут 15–30 минут, за которые можно сделать сотни обычных запросов.

Rate Limiting и Browser Fingerprinting

HTTP 429 или 403 после N запросов — классический rate limiting. Fingerprinting проверяет TLS fingerprint (JA3), порядок заголовков, наличие JavaScript API. Обычный cURL с дефолтными настройками имеет характерный JA3, отличающийся от браузерного.

Мы используем curl-impersonate — форк cURL, который эмулирует TLS fingerprint Chrome или Firefox. В PHP-парсере настраиваем CURLOPT_SSL_CIPHER_LIST и CURLOPT_SSLVERSION для имитации реального браузера. Ротация прокси (SOCKS5, резидентные) дополняет картину.

Honeypot-ссылки

Скрытые через CSS ссылки (display:none, visibility:hidden), на которые кликает только бот. Переход по такой — мгновенный бан IP. Проверяем computed styles элемента перед любым кликом: display, visibility, opacity, position вне viewport. Если парсер через DOMDocument — анализируем inline-стили и классы.

Почему headless-браузер быстрее и надёжнее обычного cURL?

Стандартный HTTP-запрос без обхода защиты возвращает 503 за 0.1 сек; headless-браузер выполняет JS за 2–3 сек и возвращает реальный HTML. Разница в скорости в 20–30 раз компенсируется стабильностью — один раз получив качественный HTML, парсер не тратит время на повторные попытки. Для больших объёмов (1000+ страниц) headless-браузер используется только для получения cookies, а данные выкачиваются обычным HttpClient — это снижает нагрузку на сервер в 5 раз.

Как мы обрабатываем капчу?

Если источник показывает CAPTCHA, применяем сервис распознавания вроде 2Captcha или Anti-Captcha — отправляем изображение и получаем ответ через API. Распознавание одной капчи стоит небольшую плату, задержка 10–30 секунд. Часто капча возникает как реакция на rate limiting; уменьшение частоты и ротация прокси могут убрать капчу полностью без внешних сервисов.

Интеграция с 2Captcha из PHP-парсера:

$taskId = file_get_contents("http://2captcha.com/in.php?key={$apiKey}&method=base64&body=" . base64_encode($captchaImage));
// Ожидание решения (polling)
$result = file_get_contents("http://2captcha.com/res.php?key={$apiKey}&action=get&id={$taskId}");

Какие инструменты мы используем для обхода защиты?

Для каждого типа защиты применяем целевую комбинацию инструментов. Cloudflare требует headless-браузер с имитацией отпечатков, DataDome — аналогично. Rate limiting обходим резидентными прокси и кастомными заголовками. Honeypot исключаем анализом стилей.

Что входит в работу

1. Диагностика защиты — определяем тип и версию защиты на вашем источнике.
2. Настройка headless-рендерера — если требуется JS-челлендж, разворачиваем сервис на Puppeteer/Playwright с маскировкой.
3. Интеграция с парсером Битрикс — подключаем получение cookies/HTML через HTTP API, настраиваем автоматическое обновление.
4. Тестирование на реальном источнике — подбираем задержки, ротацию прокси, проверяем стабильность в течение 48 часов.
5. Документирование — описываем поведение защиты, алгоритм обновления, рекомендации при изменениях.

Свяжитесь с нами для оценки вашего проекта — мы пришлём тест-драйв за 24 часа. Полный цикл с адаптацией под специфику источника занимает 2–3 дня. Если вы столкнулись с капчей или JS-челленджем, получите консультацию — опишите вашу задачу, и мы предложим решение. Опыт 100+ проектов по парсингу в 1С-Битрикс гарантирует быструю адаптацию к изменениям защиты. Закажите оценку прямо сейчас.

Безопасность сайта на 1С-Битрикс: аудит, защита, мониторинг

Последний серьёзный массовый взлом Битриксов — через уязвимость в модуле vote (BDU:2022-05127). Через неё заливали веб-шеллы пачками. Причина? Владельцы не обновляли ядро по полгода, а модуль голосований стоял «на всякий случай». С тех пор мало что изменилось в подходе: Битрикс выпускает патч, а его ставят через три месяца. Мы выстраиваем комплексную безопасность сайта так, чтобы между выходом патча и его применением проходили дни, а не месяцы. И чтобы даже без патча сайт не лёг от типовой атаки.

Закажите аудит безопасности сайта — получите отчёт с приоритетами и план закрытия уязвимостей за 1-2 дня.

Модуль «Проактивная защита» — мощный, но не из коробки

Модуль security установлен почти на каждом Битриксе, но настроен правильно — от силы на каждом пятом. Что конкретно нужно включить и подкрутить:

• WAF (Веб-антивирус) — фильтрует SQL-инъекции, XSS, CSRF, path traversal на уровне OnPageStart. Ключевая настройка — режим «Активная реакция»: не просто логировать, а блокировать. В /bitrix/admin/security_filter.php проверяем, что все типы атак включены, а исключения — минимальны.
• Контроль активности (/bitrix/admin/security_iprule.php) — лимиты на количество запросов с одного IP. По умолчанию 100 запросов в минуту. Для API-эндпоинтов, куда стучат мобильные приложения, нужны исключения — иначе заблокируете своих же пользователей.
• 2FA — OTP через Google Authenticator. Включается в настройках пользователя. Для группы «Администраторы» делаем обязательным через OnAfterUserAuthorize — без второго фактора в админку не пускаем.
• Контроль целостности (/bitrix/admin/security_file_verifier.php) — хэши системных файлов. Если кто-то изменил файл в /bitrix/modules/ — система заметит. Запускаем проверку по cron ежедневно через агент CSecurityFileVerifier::Verify().
• Стоп-лист — b_security_filter_stoplist. Автоматическая блокировка IP при срабатывании WAF. Ручное добавление подсетей — когда видим сканеры.
• Журнал безопасности — b_event_log. Кто, когда и что менял в админке. Хранение минимум 90 дней. При расследовании инцидента — бесценно.

Что включает аудит безопасности сайта Битрикс?

Серверный уровень — тут чаще всего и дыры:

• phpinfo() доступен по /info.php или /phpinfo.php — встречается на каждом третьем проекте. Атакующий получает версию PHP, пути, модули, конфигурацию. Удаляем.
• display_errors = On на продакшне — стектрейсы с путями к файлам и именами таблиц улетают пользователю в браузер.
• PHP-функции exec, system, passthru, proc_open не отключены в php.ini. Если веб-шелл всё-таки зальют — с этими функциями он получит полный контроль над сервером.
• Версия PHP < 8.1 — без security-апдейтов. PHP 7.4 больше не поддерживается, но до сих пор живёт на четверти проектов.

Уровень приложения:

• Устаревшие модули: vote, forum, blog — часто стоят неиспользуемые, но с активными обработчиками. Деактивируем и удаляем.
• Кастомный код: grep по $DB->Query( с конкатенацией $_REQUEST — классическая SQL-инъекция. Должны быть $DB->ForSql() или D7 ORM.
• Загрузка файлов: если CFile::CheckFile() не вызывается или проверяет только расширение без MIME-типа — через форму обратной связи зальют .php файл.
• dbconn.php и .env — должны быть закрыты правилами веб-сервера. Проверяем: curl https://site.ru/bitrix/.settings.php не должен отдавать ничего кроме 403.

SSL/TLS:

• Проверка через SSL Labs — рейтинг A или выше.
• HSTS с max-age от 31536000 (год).
• Редирект HTTP -> HTTPS на уровне Nginx, не на уровне Битрикса.

Результат аудита — отчёт с приоритетами: Critical / High / Medium / Low. Критические закрываем в первый день. Свяжитесь с нами — оценим ваш проект за 1-2 дня.

Лечение взломанных сайтов — протокол действий

Сайт уже скомпрометирован — SEO-спам, редиректы на казино, веб-шелл в /upload/. Порядок действий:

1. Изоляция — снимаем сайт, ставим заглушку. Если вредонос шифрует файлы или распространяется — каждая минута на счету.
2. Определение вектора — логи доступа (access.log), логи ошибок, b_event_log. Ищем POST-запросы к нетипичным файлам, обращения к /upload/*.php, подозрительные user-agent.
3. Поиск вредоносного кода — grep -r "eval(base64_decode" /home/bitrix/www/ — классика. Также ищем assert(, preg_replace с модификатором e, ${"_GET"}, обфусцированные переменные вида $GLOBALS['x46x65'].
4. Проверка БД — b_iblock_element_property и b_iblock_element на инъектированные скрипты и скрытые ссылки. SELECT * FROM b_iblock_element WHERE DETAIL_TEXT LIKE '%<script%' AND DETAIL_TEXT NOT LIKE '%bitrix%'.
5. Чистка или восстановление — если заражение масштабное, проще восстановить из чистого бэкапа и накатить только контентные изменения из БД.
6. Закрытие уязвимости — обновление ядра, удаление неиспользуемых модулей, правка кастомного кода.
7. Запрос пересканирования — Google Search Console → «Запросить проверку», Яндекс.Вебмастер → «Я всё исправил».

Средняя стоимость восстановления после взлома — от 40 000 до 100 000 руб., а профилактический аудит обходится в 2-3 раза дешевле. Вложив 30 000 руб. в аудит, вы можете сэкономить до 200 000 руб. на ликвидации последствий.

Как защитить сайт на Битриксе от DDoS?

• Cloudflare / DDoS-Guard / Qrator — проксирование трафика. L3/L4 атаки фильтруются на их стороне. L7 — через правила и challenge-страницы. Важно: после подключения скрыть реальный IP сервера, иначе смысл теряется.
• Rate limiting на Nginx: limit_req_zone для /bitrix/admin/, /api/, форм. Отдельные лимиты для авторизованных и анонимных пользователей.
• CAPTCHA — \Bitrix\Main\Captcha\CaptchaManager для форм Битрикса или reCAPTCHA v3 для кастомных. v3 не раздражает пользователей — работает в фоне.
• Bot management — пропускаем Googlebot, YandexBot (проверка через reverse DNS), блокируем сканеры и скрейперы по User-Agent и поведению.

Сравнение: rate limiting на Nginx в 5 раз эффективнее стандартной защиты от перебора паролей в Битриксе, так как срезает атаку до того, как она дойдёт до PHP.

Резервное копирование — последний рубеж

• Ежедневные бэкапы: файлы через rsync + дамп PostgreSQL/MySQL через pg_dump/mysqldump.
• Хранение в изолированном S3-совместимом хранилище. Ключевое слово — изолированном. Если бэкапы лежат на том же сервере, что и сайт, взломщик удалит и их.
• Ротация: daily × 7, weekly × 4, monthly × 12.
• Тестирование восстановления — раз в квартал разворачиваем бэкап на тестовом сервере. Бэкап, из которого невозможно восстановиться, — просто файл на диске.
• Мониторинг: если бэкап не прошёл — алерт в Telegram в течение часа.

Мониторинг — обнаружить до того, как позвонит клиент

• Uptime — проверка каждые 60 секунд через UptimeRobot / Zabbix / кастомный скрипт. Алерт в Telegram + звонок при даунтайме > 5 минут.
• Файловый мониторинг — inotify (Linux) или cron + md5sum по критичным директориям. Новый .php в /upload/? Алерт немедленно.
• Сканирование на малварь — AI-BOLIT или ClamAV по расписанию. Проверка и файлов, и базы.
• SSL-сертификат — предупреждение за 30/14/7 дней до истечения. Let's Encrypt обновляется автоматически через certbot, но certbot тоже может сломаться.
• Блэклисты — проверка домена и IP в Google Safe Browsing, PhishTank, Spamhaus. Попадание = потеря трафика.

152-ФЗ и персональные данные

• HTTPS everywhere — редирект на уровне Nginx.
• Шифрование в БД: пароли через \Bitrix\Main\Security\Password::hash() (bcrypt), токены — через openssl_encrypt.
• Политика конфиденциальности + cookie-баннер (модуль main поддерживает из коробки через COption::SetOptionString("main", "cookie_agreement", "Y")).
• Журналирование доступа к ПД — кто и когда просматривал данные клиентов.

Что входит в работу (deliverables)

Сроки

Работаем разово и на абоненте с фиксированным SLA. Для абонентских клиентов — выделенный инженер, который знает проект. Получите консультацию — оценим риски и составим смету за 1-2 дня.

Чек-лист: 15 пунктов, которые проверяем на каждом проекте

1. Ядро 1С-Битрикс и модули — актуальная версия, неиспользуемые модули удалены.
2. Модуль security активен, WAF в режиме «Активная реакция».
3. 2FA включена для всех учёток с доступом к админке.
4. /bitrix/admin/ закрыт по IP или за дополнительной HTTP-авторизацией.
5. Политика паролей: от 12 символов, mixed case, цифры, спецсимволы.
6. SSL/TLS: рейтинг A+ на SSL Labs, HSTS включён.
7. Служебные файлы (dbconn.php, .settings.php, .env, бэкапы, логи) — 403 из браузера.
8. Права: 644 файлы, 755 директории. Веб-сервер не owner системных файлов.
9. Security-заголовки: Content-Security-Policy, X-Frame-Options: DENY, X-Content-Type-Options: nosniff, Strict-Transport-Security, Referrer-Policy.
10. Контроль целостности файлов — ежедневная проверка через агент.
11. Бэкапы: ежедневные, изолированное хранение, проверка восстановимости.
12. b_event_log — хранение от 90 дней, регулярный просмотр.
13. PHP 8.1+, display_errors = Off, опасные функции отключены.
14. Мониторинг uptime + алерты при изменении файлов в /upload/.
15. Reverse proxy или CDN с DDoS-защитой для высоконагруженных проектов.

Оценка уязвимостей проводится в соответствии с методологией OWASP Top 10 – Web Application Security Risks (см. Wikipedia). Комплексная безопасность сайта на Битрикс — это не разовая акция, а непрерывный процесс. Закажите полный аудит безопасности сайта сегодня, чтобы завтра не тратить бюджет на экстренное восстановление. Получите консультацию — мы ответим на любые вопросы.