Представьте: нужно собрать каталог товаров с сайта конкурента, а Selenium грузит страницу 30 секунд и потребляет 200 МБ памяти. Мы решаем эту задачу за долю секунды — статический HTML-парсинг без браузера. Просто HTTP-запрос и разбор полученного HTML. Никаких лишних ресурсов, никаких ожиданий. Один HTTP-запрос — и HTML-документ готов к разбору.
Мы используем Cheerio (Node.js) и BeautifulSoup (Python) — проверенные инструменты, на которых реализовали более 50 проектов. Гарантируем работоспособность парсера после сдачи и предоставляем сопровождение в течение месяца. Оценим проект бесплатно за 1–2 дня.
Когда это работает
Статический парсинг подходит для сайтов на WordPress, 1C-Bitrix, классических PHP/Ruby-приложениях, где контент присутствует в HTML-ответе сервера без JavaScript-рендеринга. Проверить просто: открыть DevTools → Network → найти основной HTML-документ → посмотреть в Preview, есть ли там нужные данные. Если да — статический парсинг сработает. Для динамических сайтов с JS-рендерингом нужен браузерный парсер — мы комбинируем подходы.
Проблемы, которые мы решаем
Типичные трудности при парсинге:
- N+1 запросы при извлечении данных с детальных страниц. Мы используем пагинацию и параллельные запросы с ограничением concurrency.
- Антибот-защита (Cloudflare, reCAPTCHA). Для таких случаев комбинируем статический парсинг с браузерным обходом по необходимости.
- Большие объёмы данных — парсинг десятков тысяч страниц. Используем очереди (Bull, Celery) и распределённые воркеры. Обрабатываем до 1000 страниц за 10 минут без блокировки.
Как мы это делаем
Кейс: парсинг каталога интернет-магазина на 1C-Bitrix.
Нужно было извлечь 15 000 товаров с SKU, ценами, остатками и изображениями. Использовали Cheerio + axios с ротацией User-Agent и задержкой 500 мс между запросами. Каждый товар находился в div.product-item с атрибутом data-id. Данные записывали в PostgreSQL через batch-insert по 100 записей за раз. Весь парсинг занял 2 дня, включая настройку CI/CD для ежедневного обновления. С помощью Cheerio API мы извлекаем данные по селекторам.
Пример кода парсера на Cheerio
const axios = require('axios'); const cheerio = require('cheerio'); async function parseCatalog(url) { const { data } = await axios.get(url, { headers: { 'User-Agent': 'Mozilla/5.0' } }); const $ = cheerio.load(data); const items = []; $('.product-item').each((i, el) => { items.push({ id: $(el).attr('data-id'), name: $(el).find('.name').text(), price: $(el).find('.price').text() }); }); return items; } Как выбрать между Cheerio и BeautifulSoup?
| Критерий | Cheerio (Node.js) | BeautifulSoup (Python) |
|---|---|---|
| Язык | JavaScript/TypeScript | Python |
| Скорость разбора | Высокая (jQuery-подобный движок) | Средняя (lxml быстрее в 3–5 раз) |
| Синтаксис | jQuery-селекторы | CSS-селекторы, методы .find() |
| Экосистема | axios, puppeteer для гибрида | httpx, requests, Selenium |
| Когда использовать | Проекты на Node.js, микросервисы | Аналитика, машинное обучение, Jupyter |
Для простого сбора данных с одного сайта выбирайте тот язык, который ближе вашей команде. Для высоконагруженных систем Cheerio предпочтительнее благодаря асинхронности.
Почему статический парсинг быстрее браузерного?
Браузерный парсер (Puppeteer, Playwright) запускает полноценный браузер, рендерит JavaScript, загружает стили и скрипты. Это увеличивает время загрузки страницы в 5–10 раз и потребление памяти на 200–500 МБ на один экземпляр. Статический парсинг делает только HTTP-запрос и разбирает HTML — скорость измеряется миллисекундами. На 1000 страниц разница может составлять часы против дней.
| Параметр | Статический парсинг | Браузерный парсинг |
|---|---|---|
| Скорость | 100-500 мс на страницу | 2-10 секунд на страницу |
| Память | ~50 МБ | 200-500 МБ |
| Работа с JS | Нет | Полная поддержка |
| Сложность обхода блокировок | Ниже | Выше |
| Идеален для | WordPress, Bitrix, каталоги | SPA, динамические интерфейсы |
Процесс работы
- Аналитика — изучаем структуру сайта, определяем источники данных, проверяем наличие антибот-защиты.
- Проектирование — выбираем инструмент (Cheerio/BeautifulSoup), проектируем схему данных, планируем пагинацию.
- Реализация — пишем парсер с обработкой ошибок, ретраями, логированием.
- Тестирование — запускаем на тестовой выборке, проверяем полноту и корректность данных.
- Деплой — разворачиваем на сервере (Docker, cron-задачи), настраиваем мониторинг.
Что входит в работу
- Код парсера с комментариями и обработкой ошибок.
- Документация по запуску и поддерживаемым селекторам.
- Настройка автоматического обновления данных (по расписанию).
- Поддержка в течение 1 месяца после сдачи (исправление багов, адаптация под изменения сайта).
Сроки ориентировочно
- Простой парсер (один сайт, несколько полей) — от 1 рабочего дня.
- Средний (пагинация, несколько страниц, авторизация) — 2–4 дня.
- Сложный (антибот, обход, интеграция с БД) — до 5 дней.
Стоимость рассчитывается индивидуально после анализа целевого сайта. Закажите парсер под ключ — получите консультацию в течение часа. Напишите нам в Telegram или через форму на сайте. Экономия времени на парсинге может достигать 90% по сравнению с ручным сбором.
Более 5 лет опыта в веб-парсинге, более 50 реализованных проектов. Гарантируем работоспособность парсера после сдачи.