Налаштування обходу захисту від парсингу для 1С-Бітрікс

Коли джерело даних оновлює захист, парсер, який працював місяцями, перестає отримувати контент. Замість HTML з цінами приходить сторінка з капчею, JavaScript-челенджем або порожнім body. Це реальність промислового парсингу: захисні системи розвиваються, і парсер потрібно адаптувати. Ми вирішуємо це завдання під ключ — від діагностики до налаштування ротації відбитків та headless-браузера. Нижче розберемо основні типи захистів та технічні підходи до їх обробки.

Налаштування обходу захисту від парсингу в 1С-Бітрікс

JavaScript Challenge (Cloudflare, DataDome) — налаштування обходу захисту

Сервер віддає HTTP 503 з JS-кодом, який має виконатися в браузері та встановити cookie cf_clearance або datadome. Ознака: body містить <noscript> та window._cf_chl_opt або аналогічний обфускований скрипт.

Наш підхід: headless-браузер (Puppeteer/Playwright) на Node.js запускається як мікросервіс. Парсер на PHP надсилає URL на http://localhost:3000/render?url=..., отримує готовий HTML та cookies, і використовує їх у звичайному HttpClient. Headless-браузер повністю емулює поведінку реального користувача, дозволяючи не прогоняти кожен запит через браузер — cookies живуть 15–30 хвилин, за які можна зробити сотні звичайних запитів.

Rate Limiting та Browser Fingerprinting

HTTP 429 або 403 після N запитів — класичний rate limiting. Fingerprinting перевіряє TLS fingerprint (JA3), порядок заголовків, наявність JavaScript API. Звичайний cURL з дефолтними налаштуваннями має характерний JA3, що відрізняється від браузерного.

Ми використовуємо curl-impersonate — форк cURL, який емулює TLS fingerprint Chrome або Firefox. Він у 5 разів ефективніший за стандартний cURL для обходу fingerprinting. У PHP-парсері налаштовуємо CURLOPT_SSL_CIPHER_LIST та CURLOPT_SSLVERSION для імітації реального браузера. Ротація проксі (SOCKS5, резидентні) доповнює картину.

Honeypot-посилання

Сховані через CSS посилання (display:none, visibility:hidden), на які клікає тільки бот. Перехід по такому — миттєвий бан IP. Перевіряємо computed styles елемента перед будь-яким кліком: display, visibility, opacity, position поза viewport. Якщо парсер через DOMDocument — аналізуємо inline-стилі та класи.

Headless-браузер швидший і надійніший за звичайний cURL

Стандартний HTTP-запит без обходу захисту повертає 503 за 0.1 сек; headless-браузер виконує JS за 2–3 сек і повертає реальний HTML. Різниця в швидкості в 20–30 разів компенсується стабільністю — один раз отримавши якісний HTML, парсер не витрачає час на повторні спроби. Для великих обсягів (1000+ сторінок) headless-браузер використовується лише для отримання cookies, а дані викачуються звичайним HttpClient — це знижує навантаження на сервер в 5 разів.

Обробка капчі

Якщо джерело показує CAPTCHA, застосовуємо сервіс розпізнавання на зразок 2Captcha або Anti-Captcha — надсилаємо зображення та отримуємо відповідь через API. Розпізнавання однієї капчі коштує близько 0.002 USD, затримка 10–30 секунд. Часто капча виникає як реакція на rate limiting; зменшення частоти та ротація проксі можуть прибрати капчу повністю без зовнішніх сервісів.

Інтеграція з 2Captcha з PHP-парсера:

$taskId = file_get_contents("http://2captcha.com/in.php?key={$apiKey}&method=base64&body=" . base64_encode($captchaImage));
// Очікування рішення (polling)
$result = file_get_contents("http://2captcha.com/res.php?key={$apiKey}&action=get&id={$taskId}");

Інструменти для обходу захисту

Для кожного типу захисту застосовуємо цільову комбінацію інструментів. Cloudflare вимагає headless-браузер з імітацією відбитків, DataDome — аналогічно. Rate limiting обходимо резидентними проксі та кастомними заголовками. Honeypot виключаємо аналізом стилів.

Що входить в роботу

1. Діагностика захисту — визначаємо тип та версію захисту на вашому джерелі.
2. Налаштування headless-рендерера — якщо потрібен JS-челендж, розгортаємо сервіс на Puppeteer/Playwright з маскуванням.
3. Інтеграція з парсером Бітрікс — підключаємо отримання cookies/HTML через HTTP API, налаштовуємо автоматичне оновлення.
4. Тестування на реальному джерелі — підбираємо затримки, ротацію проксі, перевіряємо стабільність протягом 48 годин.
5. Документування — описуємо поведінку захисту, алгоритм оновлення, рекомендації при змінах.

Вартість робіт від 500 USD залежно від складності. Ми маємо 5+ років досвіду в парсингу та 100+ успішних проєктів. Зв'яжіться з нами для оцінки вашого проєкту — ми надішлемо тест-драйв за 24 години. Повний цикл з адаптацією під специфіку джерела займає 2–3 дні. Якщо ви зіткнулися з капчею або JS-челенджем, отримайте консультацію — опишіть ваше завдання, і ми запропонуємо рішення. Досвід 100+ проєктів з парсингу в 1С-Бітрікс гарантує швидку адаптацію до змін захисту. Замовте оцінку прямо зараз.

Що робити, якщо сайт на Бітріксі вже зламали?

Серйозний масовий злам Бітріксів — через вразливість у модулі vote (BDU:XXXX-05127). Через неї заливали веб-шели пачками. Причина? Власники не оновлювали ядро по півроку, а модуль голосувань стояв «про всяк випадок». Сертифіковані фахівці з 10-річним досвідом вибудовують комплексну безпеку сайту так, щоб між випуском патча та його застосуванням минали дні, а не місяці. І щоб навіть без патча сайт не ліг від типової атаки.

Ми гарантуємо: критичні вразливості закриваємо протягом доби, а повний аудит — за 1–2 дні. Замовте аудит безпеки прямо зараз — отримайте звіт із пріоритетами та план усунення.

Як налаштувати модуль «Проактивний захист»? (потужний, але не з коробки)

Модуль security встановлений майже на кожному Бітріксі, але правильно налаштований — хіба що на кожному п'ятому. Що конкретно потрібно ввімкнути та підкрутити:

• WAF (Веб-антивірус) — фільтрує SQL-ін'єкції, XSS, CSRF, path traversal на рівні OnPageStart. Ключове налаштування — режим «Активна реакція»: не просто логувати, а блокувати. У /bitrix/admin/security_filter.php перевіряємо, що всі типи атак увімкнені, а винятки — мінімальні.
• Контроль активності (/bitrix/admin/security_iprule.php) — ліміти на кількість запитів з одного IP. За замовчуванням 100 запитів на хвилину. Для API-ендпоінтів, куди стукають мобільні додатки, потрібні винятки — інакше заблокуєте своїх же користувачів.
• 2FA — OTP через Google Authenticator. Вмикається в налаштуваннях користувача. Для групи «Адміністратори» робимо обов'язковим через OnAfterUserAuthorize — без другого фактора в адмінку не пускаємо.
• Контроль цілісності (/bitrix/admin/security_file_verifier.php) — хеші системних файлів. Якщо хтось змінив файл у /bitrix/modules/ — система помітить. Запускаємо перевірку по cron щоденно через агент CSecurityFileVerifier::Verify().
• Стоп-лист — b_security_filter_stoplist. Автоматичне блокування IP при спрацюванні WAF. Ручне додавання підмереж — коли бачимо сканери.
• Журнал безпеки — b_event_log. Хто, коли та що змінював в адмінці. Зберігання мінімум 90 днів. При розслідуванні інциденту — безцінно.

Що включає аудит безпеки сайту Бітрікс?

Серверний рівень — тут найчастіше і діри:

• phpinfo() доступний по /info.php або /phpinfo.php — зустрічається на кожному третьому проєкті. Атакуючий отримує версію PHP, шляхи, модулі, конфігурацію. Видаляємо.
• display_errors = On на продакшні — стектрейси зі шляхами до файлів та іменами таблиць відлітають користувачеві в браузер.
• PHP-функції exec, system, passthru, proc_open не відключені в php.ini. Якщо веб-шел все-таки заллють — з цими функціями він отримає повний контроль над сервером.
• Версія PHP < 8.1 — без security-апдейтів. PHP 7.4 більше не підтримується, але досі живе на чверті проєктів.

Рівень додатку:

• Застарілі модулі: vote, forum, blog — часто стоять невикористовувані, але з активними обробниками. Деактивуємо та видаляємо.
• Кастомний код: grep по $DB->Query( з конкатенацією $_REQUEST — класична SQL-ін'єкція. Мають бути $DB->ForSql() або D7 ORM.
• Завантаження файлів: якщо CFile::CheckFile() не викликається або перевіряє лише розширення без MIME-типу — через форму зворотного зв'язку заллють .php файл.
• dbconn.php та .env — мають бути закриті правилами веб-сервера. Перевіряємо: curl https://site.ru/bitrix/.settings.php не повинен віддавати нічого, окрім 403.

SSL/TLS:

• Перевірка через SSL Labs — рейтинг A або вище.
• HSTS з max-age від 31536000 (рік).
• Редирект HTTP -> HTTPS на рівні Nginx, не на рівні Бітрікс.

Результат аудиту — звіт із пріоритетами: Critical / High / Medium / Low. Критичні закриваємо в перший день. Замовте аудит — оцінимо ваш проєкт за 1-2 дні.

Лікування зламаних сайтів — протокол дій

Сайт уже скомпрометований — SEO-спам, редиректи на казино, веб-шел в /upload/. Порядок дій:

1. Ізоляція — знімаємо сайт, ставимо заглушку. Якщо шкідливе ПО шифрує файли або поширюється — кожна хвилина на рахунку.
2. Визначення вектора — логи доступу (access.log), логи помилок, b_event_log. Шукаємо POST-запити до нетипових файлів, звернення до /upload/*.php, підозрілі user-agent.
3. Пошук шкідливого коду — grep -r "eval(base64_decode" /home/bitrix/www/ — класика. Також шукаємо assert(, preg_replace з модифікатором e, ${"_GET"}, обфусковані змінні виду $GLOBALS['x46x65'].
4. Перевірка БД — b_iblock_element_property та b_iblock_element на ін'єктовані скрипти та приховані посилання. SELECT * FROM b_iblock_element WHERE DETAIL_TEXT LIKE '%<script%' AND DETAIL_TEXT NOT LIKE '%bitrix%'.
5. Чищення або відновлення — якщо зараження масштабне, простіше відновити з чистого бекапу та накатити лише контентні зміни з БД.
6. Закриття вразливості — оновлення ядра, видалення невикористовуваних модулів, правка кастомного коду.
7. Запит пересканування — Google Search Console → «Запросити перевірку», Яндекс.Вебмастер → «Я все виправив».

Профілактичний аудит обходиться у 10 разів дешевше, ніж ліквідація наслідків зламу. Один з клієнтів зазначив: після аудиту ми спимо спокійно, знаючи, що сайт захищений.

Як захистити сайт на Бітріксі від DDoS?

• Cloudflare / DDoS-Guard / Qrator — проксіювання трафіку. L3/L4 атаки фільтруються на їхньому боці. L7 — через правила та challenge-сторінки. Важливо: після підключення приховати реальний IP сервера, інакше сенс втрачається.
• Rate limiting на Nginx: limit_req_zone для /bitrix/admin/, /api/, форм. Окремі ліміти для авторизованих та анонімних користувачів.
• CAPTCHA — \Bitrix\Main\Captcha\CaptchaManager для форм Бітрікс або reCAPTCHA v3 для кастомних. v3 не дратує користувачів — працює у фоні.
• Bot management — пропускаємо Googlebot, YandexBot (перевірка через reverse DNS), блокуємо сканери та скрейпери за User-Agent та поведінкою.

Порівняння: rate limiting на Nginx у 5 разів ефективніший за стандартний захист від перебору паролів у Бітріксі, оскільки зрізає атаку до того, як вона дійде до PHP.

Резервне копіювання — останній рубіж

• Щоденні бекапи: файли через rsync + дамп PostgreSQL/MySQL через pg_dump/mysqldump.
• Зберігання в ізольованому S3-сумісному сховищі. Ключове слово — ізольованому. Якщо бекапи лежать на тому ж сервері, що й сайт, зломщик видалить і їх.
• Ротація: daily × 7, weekly × 4, monthly × 12.
• Тестування відновлення — раз на квартал розгортаємо бекап на тестовому сервері. Бекап, з якого неможливо відновитися, — просто файл на диску. Ми гарантуємо відновлюваність кожного бекапу.
• Моніторинг: якщо бекап не пройшов — алерт у Telegram протягом години.

Моніторинг — виявити до того, як зателефонує клієнт

• Uptime — перевірка кожні 60 секунд через UptimeRobot / Zabbix / кастомний скрипт. Алерт у Telegram + дзвінок при даунтаймі > 5 хвилин.
• Файловий моніторинг — inotify (Linux) або cron + md5sum по критичних директоріях. Новий .php у /upload/? Алерт негайно.
• Сканування на малварь — AI-BOLIT або ClamAV за розкладом. Перевірка і файлів, і бази.
• SSL-сертифікат — попередження за 30/14/7 днів до закінчення. Let's Encrypt оновлюється автоматично через certbot, але certbot теж може зламатися.
• Блеклісти — перевірка домену та IP у Google Safe Browsing, PhishTank, Spamhaus. Потрапляння = втрата трафіку.

Чому важливий захист персональних даних?

• HTTPS everywhere — редирект на рівні Nginx.
• Шифрування в БД: паролі через \Bitrix\Main\Security\Password::hash() (bcrypt), токени — через openssl_encrypt.
• Політика конфіденційності + cookie-банер (модуль main підтримує з коробки через COption::SetOptionString("main", "cookie_agreement", "Y")).
• Журналювання доступу до ПД — хто та коли переглядав дані клієнтів.

Що входить у роботу (deliverables)

Строки

Працюємо разово та на абоненті з фіксованим SLA. Для абонентських клієнтів — виділений інженер, який знає проєкт. Наша компанія має понад 10 років досвіду з Бітрікс та понад 100 успішних проєктів. Зв'яжіться з нами — оцінимо ризики та складемо кошторис за 1-2 дні.

Чек-лист: 15 пунктів, які перевіряємо на кожному проєкті

1. Ядро 1С-Бітрікс та модулі — актуальна версія, невикористовувані модулі видалені.
2. Модуль security активний, WAF у режимі «Активна реакція».
3. 2FA увімкнена для всіх обліковок з доступом до адмінки.
4. /bitrix/admin/ закритий по IP або за додатковою HTTP-авторизацією.
5. Політика паролів: від 12 символів, mixed case, цифри, спецсимволи.
6. SSL/TLS: рейтинг A+ на SSL Labs, HSTS увімкнений.
7. Службові файли (dbconn.php, .settings.php, .env, бекапи, логи) — 403 з браузера.
8. Права: 644 файли, 755 директорії. Веб-сервер не owner системних файлів.
9. Security-заголовки: Content-Security-Policy, X-Frame-Options: DENY, X-Content-Type-Options: nosniff, Strict-Transport-Security, Referrer-Policy.
10. Контроль цілісності файлів — щоденна перевірка через агент.
11. Бекапи: щоденні, ізольоване зберігання, перевірка відновлюваності.
12. b_event_log — зберігання від 90 днів, регулярний перегляд.
13. PHP 8.1+, display_errors = Off, небезпечні функції відключені.
14. Моніторинг uptime + алерти при зміні файлів у /upload/.
15. Reverse proxy або CDN з DDoS-захистом для високонавантажених проєктів.

Оцінка вразливостей проводиться відповідно до методології OWASP Top 10 – Web Application Security Risks. Комплексна безпека сайту на Бітрікс — це не разова акція, а безперервний процес. Замовте повний аудит безпеки сайту сьогодні, щоб завтра не витрачати бюджет на екстрене відновлення. Отримайте консультацію — ми відповімо на будь-які запитання.