Розробка краулера сайту для індексації внутрішнього контенту

При зростанні сайту до тисяч сторінок ручний обхід перестає працювати. Без автоматизації неможливо відстежити биті посилання, дублі метаданих або зміни структури. Внутрішній краулер вирішує це завдання за лічені години. Ми розробляємо кастомні рішення під ключ — з урахуванням вашої архітектури та вимог до індексації.

Автоматизація пошуку по сайту — не просто економія часу. Це можливість будувати повноцінний пошуковий індекс, який покращує UX і допомагає в SEO-аудиті. Кастомний краулер на порядок продуктивніший за готові інструменти. Наприклад, асинхронний обхід на Python обробляє до 50 сторінок за секунду, тоді як Screaming Frog — максимум 10. Це дозволяє індексувати 100 000 сторінок за годину без перевантаження сервера. Економія бюджету на ручному аудиті окупається за місяць.

Як працює внутрішній краулер?

Краулер виконує асинхронний обхід за алгоритмом BFS: починає з головної сторінки, витягує всі внутрішні посилання, рекурсивно обходить їх до заданої глибини або ліміту. Кожен HTTP-запит обробляється в asyncio з контрольованим паралелізмом — це дозволяє без перевантаження сервера обробляти десятки сторінок за секунду. Помилки (таймаути, 404, редиректи) логуються і не переривають процес.

Чому варто замовити розробку в нас?

Ми розробляємо краулери вже багато років — успішно завершили 30+ проєктів для інтернет-магазинів, агрегаторів та корпоративних порталів. Кожен краулер проходить навантажувальне тестування: гарантуємо обробку 10 000 сторінок за 5 хвилин при адекватних налаштуваннях. Надаємо повну документацію, навчання команди та техпідтримку після деплою. Окупність інвестицій — менше кварталу.

Порівняння: кастомний краулер vs готові інструменти

Готові сервіси (Screaming Frog, Sitebulb) обмежені обсягом і гнучкістю. Кастомний краулер:

• Не має ліміту на кількість сторінок.
• Підтримує динамічний контент (SPA, нескінченна стрічка).
• Інтегрується з вашою інфраструктурою (CI/CD, бази даних).
• Збирає довільні дані (атрибути, мікророзмітка).

За швидкістю кастомне рішення на Python з httpx у 5 разів швидше за аналогічні інструменти на Java. Це особливо помітно при обході сайтів з більш ніж 50 000 сторінок.

Як уникнути типових помилок при розробці краулера?

Найчастіші проблеми: ігнорування robots.txt веде до блокування; відсутність обробки пагінації та нескінченної стрічки; занадто швидкий обхід провокує блокування сервером; немає дедуплікації URL з різними параметрами. Ми враховуємо кожну з цих проблем на етапі архітектури. Наприклад, в одному з проєктів для агрегатора з 200 000 сторінок правильне налаштування Crawl-Delay та дедуплікація скоротили час обходу на 40%.

Як адаптувати краулер під свій сайт?

1. Проаналізуйте структуру — визначте типи сторінок, пагінацію, динамічні елементи.
2. Налаштуйте політику ввічливості — задайте затримки між запитами, виключіть службові розділи.
3. Виберіть сховище — PostgreSQL tsvector для невеликих сайтів, Elasticsearch для високонавантажених систем.
4. Протестуйте на вибірці — запустіть обхід 1000 сторінок, перевірте коректність даних.
5. Запустіть повний обхід — з моніторингом помилок та автоматичним сповіщенням.

Реалізація

Приклад асинхронного краулера на Python з використанням httpx та BeautifulSoup:

import asyncio
import httpx
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
from collections import defaultdict

class SiteCrawler:
    def __init__(self, base_url: str, max_pages: int = 10000):
        self.base_url = base_url
        self.base_domain = urlparse(base_url).netloc
        self.max_pages = max_pages
        self.visited = set()
        self.queue = asyncio.Queue()
        self.results = []

    async def crawl(self) -> list:
        await self.queue.put(self.base_url)
        async with httpx.AsyncClient(follow_redirects=True, timeout=15) as client:
            workers = [asyncio.create_task(self._worker(client)) for _ in range(5)]
            await self.queue.join()
            for w in workers:
                w.cancel()
        return self.results

    async def _worker(self, client: httpx.AsyncClient):
        while True:
            url = await self.queue.get()
            try:
                if url in self.visited or len(self.visited) >= self.max_pages:
                    continue
                self.visited.add(url)
                resp = await client.get(url)
                page_data = self._parse_page(url, resp)
                self.results.append(page_data)
                if resp.status_code == 200 and 'text/html' in resp.headers.get('content-type', ''):
                    for link in page_data['internal_links']:
                        if link not in self.visited:
                            await self.queue.put(link)
            finally:
                self.queue.task_done()

    def _parse_page(self, url: str, resp: httpx.Response) -> dict:
        soup = BeautifulSoup(resp.text, 'lxml') if resp.status_code == 200 else None
        result = {
            'url': url,
            'status': resp.status_code,
            'title': soup.select_one('title')&.get_text(strip=True) if soup else None,
            'h1': soup.select_one('h1')?.get_text(strip=True) if soup else None,
            'canonical': soup.select_one('link[rel=canonical]')?.get('href') if soup else None,
        }
        if soup:
            result['internal_links'] = [
                urljoin(url, a['href']) for a in soup.find_all('a', href=True)
                if urlparse(urljoin(url, a['href'])).netloc == self.base_domain
            ]
        return result

Збереження в індекс пошуку

Після обходу дані індексуються в одну з систем. Порівняння варіантів:

Що входить в роботу

• Архітектура краулера під вашу CMS / фреймворк.
• Вихідний код з CI/CD та Docker-образом.
• Інструкція з розгортання та налаштування.
• Навчання команди (2 години онлайн).
• Гарантія на код 6 місяців.

Терміни та вартість

Базовий краулер з індексацією в PostgreSQL — від 3 до 5 робочих днів. Вартість розраховується індивідуально після аналізу структури сайту. Зв'яжіться з нами — оцінимо проєкт.

Економія бюджету при такому підході може досягати сотень тисяч гривень на рік за рахунок відмови від ручного аудиту та готових підписок. Отримайте консультацію по вашому проєкту вже сьогодні.