Реалізація парсинга через Cheerio/BeautifulSoup (HTML-parsing)
Статичний HTML-парсинг—найшвидший та найресурсоефективніший спосіб збору даних із сайтів, які рендерять контент на сервері. Без запуску браузера, без лишного споживання пам'яті—просто HTTP-запит та розбір HTML.
Коли це працює
Підходить для сайтів на WordPress, 1C-Bitrix, класичних PHP/Ruby-додатках, де контент присутній у HTML-відповіді сервера без JavaScript-рендерингу. Перевірити просто: відкрити DevTools → Network → знайти основний HTML-документ → подивитися в Preview, є там необхідні дані.
Cheerio (Node.js)
jQuery-сумісний синтаксис для роботи з DOM:
const { load } = require('cheerio');
const axios = require('axios');
const { data } = await axios.get('https://example.com/catalog', {
headers: { 'User-Agent': 'Mozilla/5.0 ...' }
});
const $ = load(data);
const products = [];
$('.product-item').each((i, el) => {
products.push({
title: $(el).find('.product-title').text().trim(),
price: parseFloat($(el).find('.price').attr('data-value')),
sku: $(el).attr('data-sku')
});
});
BeautifulSoup (Python)
import httpx
from bs4 import BeautifulSoup
resp = httpx.get('https://example.com/catalog', headers={'User-Agent': '...'})
soup = BeautifulSoup(resp.text, 'lxml') # lxml швидше за html.parser
products = [
{
'title': card.select_one('.product-title').get_text(strip=True),
'price': card.select_one('.price')['data-value'],
}
for card in soup.select('.product-item')
]
Парсер lxml—швидше вбудованого html.parser в 3–5 разів на великих сторінках.
Терміни
Готовий парсер одного сайту з записом у БД: 1–2 робочих дня.