Парсинг HTML через Cheerio та BeautifulSoup (статичний парсинг)

Уявіть: потрібно зібрати каталог товарів з сайту конкурента, а Selenium завантажує сторінку 30 секунд і споживає 200 МБ пам'яті. Ми вирішуємо це завдання за частку секунди — статичний HTML-парсинг без браузера. Просто HTTP-запит і розбір отриманого HTML. Жодних зайвих ресурсів, жодних очікувань. Один HTTP-запит — і HTML-документ готовий до розбору.

Ми використовуємо Cheerio (Node.js) і BeautifulSoup (Python) — перевірені інструменти, на яких реалізували понад 50 проєктів. Гарантуємо працездатність парсера після здачі та надаємо супровід протягом місяця. Оцінимо проєкт безкоштовно за 1–2 дні.

Коли це працює

Статичний парсинг підходить для сайтів на WordPress, 1C-Bitrix, класичних PHP/Ruby-додатках, де контент присутній у HTML-відповіді сервера без JavaScript-рендерингу. Перевірити просто: відкрити DevTools → Network → знайти основний HTML-документ → подивитися в Preview, чи є там потрібні дані. Якщо так — статичний парсинг спрацює. Для динамічних сайтів з JS-рендерингом потрібен браузерний парсер — ми комбінуємо підходи.

Проблеми, які ми вирішуємо

Типові труднощі при парсингу:

• N+1 запити при вилученні даних з детальних сторінок. Ми використовуємо пагінацію та паралельні запити з обмеженням concurrency.
• Антибот-захист (Cloudflare, reCAPTCHA). Для таких випадків комбінуємо статичний парсинг з браузерним обходом за необхідності.
• Великі обсяги даних — парсинг десятків тисяч сторінок. Використовуємо черги (Bull, Celery) та розподілені воркери. Обробляємо до 1000 сторінок за 10 хвилин без блокування.

Як ми це робимо

Кейс: парсинг каталогу інтернет-магазину на 1C-Bitrix.

Потрібно було вилучити 15 000 товарів з SKU, цінами, залишками та зображеннями. Використовували Cheerio + axios з ротацією User-Agent і затримкою 500 мс між запитами. Кожен товар знаходився в div.product-item з атрибутом data-id. Дані записували в PostgreSQL через batch-insert по 100 записів за раз. Весь парсинг зайняв 2 дні, включаючи налаштування CI/CD для щоденного оновлення. За допомогою Cheerio API ми вилучаємо дані за селекторами.

const axios = require('axios');
const cheerio = require('cheerio');

async function parseCatalog(url) {
  const { data } = await axios.get(url, {
    headers: { 'User-Agent': 'Mozilla/5.0' }
  });
  const $ = cheerio.load(data);
  const items = [];
  $('.product-item').each((i, el) => {
    items.push({
      id: $(el).attr('data-id'),
      name: $(el).find('.name').text(),
      price: $(el).find('.price').text()
    });
  });
  return items;
}

Як вибрати між Cheerio та BeautifulSoup?

Для простого збору даних з одного сайту обирайте ту мову, яка ближча вашій команді. Для високонавантажених систем Cheerio кращий завдяки асинхронності.

Чому статичний парсинг швидший за браузерний?

Браузерний парсер (Puppeteer, Playwright) запускає повноцінний браузер, рендерить JavaScript, завантажує стилі та скрипти. Це збільшує час завантаження сторінки в 5–10 разів і споживання пам'яті на 200–500 МБ на один екземпляр. Статичний парсинг робить лише HTTP-запит і розбирає HTML — швидкість вимірюється мілісекундами. На 1000 сторінок різниця може становити години проти днів.

Процес роботи

1. Аналітика — вивчаємо структуру сайту, визначаємо джерела даних, перевіряємо наявність антибот-захисту.
2. Проєктування — обираємо інструмент (Cheerio/BeautifulSoup), проєктуємо схему даних, плануємо пагінацію.
3. Реалізація — пишемо парсер з обробкою помилок, ретраями, логуванням.
4. Тестування — запускаємо на тестовій вибірці, перевіряємо повноту та коректність даних.
5. Деплой — розгортаємо на сервері (Docker, cron-завдання), налаштовуємо моніторинг.

Що входить в роботу

• Код парсера з коментарями та обробкою помилок.
• Документація щодо запуску та підтримуваних селекторів.
• Налаштування автоматичного оновлення даних (за розкладом).
• Підтримка протягом 1 місяця після здачі (виправлення багів, адаптація під зміни сайту).

Строки орієнтовно

• Простий парсер (один сайт, декілька полів) — від 1 робочого дня.
• Середній (пагінація, декілька сторінок, авторизація) — 2–4 дні.
• Складний (антибот, обхід, інтеграція з БД) — до 5 днів.

Вартість розраховується індивідуально після аналізу цільового сайту. Замовте парсер під ключ — отримайте консультацію протягом години. Напишіть нам у Telegram або через форму на сайті. Економія часу на парсингу може сягати 90% порівняно з ручним збором.

Понад 5 років досвіду у веб-парсингу, понад 50 реалізованих проєктів. Гарантуємо працездатність парсера після здачі.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.