Оптимізація краулінгового бюджету (Crawl Budget) сайту

Оптимізація краулінгового бюджету (Crawl Budget) сайту

Нові сторінки не індексуються тижнями, а Googlebot застряє у фільтрах каталогу — типова проблема інтернет-магазинів. Crawl Budget — ліміт URL, який пошуковик готовий обробити за добу. Якщо бюджет витрачається на сміття (параметри сесій, дублі, службові сторінки), важливий контент залишається непоміченим. Оптимізація бюджету здатна збільшити кількість проіндексованих сторінок на 40–60% всього за 2–3 дні — це підтверджують наші проекти. Наприклад, інтернет-магазин з 50 000 товарів втрачав 70% краулінгового бюджету на сторінки фільтрів. Після блокування параметрів та налаштування canonical індексація нових товарів прискорилася з 14 днів до 2 днів — зростання проіндексованих сторінок на 45%.

Чому Googlebot не індексує важливі сторінки?

Перевантаження краулінгового бюджету непотрібними URL — головна причина. Типовий інтернет-магазин втрачає до 70% бюджету на сторінки з параметрами сортування, фільтрації та UTM-мітками. В результаті товари-новинки не потрапляють в індекс, а старі дублі займають місце. Аналіз логів 50 сайтів показав: в середньому 80% запитів Googlebot припадають на URL, які не приносять трафіку. За даними Google, ефективне використання краулінгового бюджету — один з ключових факторів швидкої індексації нового контенту. Детальніше про концепцію можна дізнатися в документації Google.

Як звільнити краулінговий бюджет за один день?

Вручну аналізувати логи — день роботи, але автоматизований скрипт справляється за 10 хвилин. Аналіз поточного бюджету — перший крок. Використовуємо Google Search Console (Crawl Stats) та лог-аналізатор на кшталт Screaming Frog. Команда для вилучення краулерів з access.log:

grep "Googlebot" /var/log/nginx/access.log | \
  awk '{print $7}' | sort | uniq -c | sort -rn | head -50 | \
  grep "?" | sed 's/=.*/=X/g' | sort | uniq -c | sort -rn | head -30

Цей скрипт показує, які URL з параметрами краулить бот. На основі звіту ми визначаємо, що блокувати. За його допомогою ми економимо до 10 годин ручного аналізу.

robots.txt: перша лінія оборони

Забороняємо незначні розділи:

User-agent: *
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /admin/
Disallow: /*?session_id=
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?ref=
Disallow: /wp-json/
Disallow: /wp-admin/
Disallow: /*.pdf$

Allow: /sitemap.xml
Allow: /robots.txt

Важно не перестаратися — випадково не заблокувати важливі сторінки. Ми перевіряємо coverage після кожної зміни.

Canonical для дублюючого контенту

Дублі з параметрами, trailing slash та http/https — канонічні посилання вирішують все:

<!-- /catalog/shoes?color=red&size=42 -->
<link rel="canonical" href="https://site.com/catalog/shoes">

Після розстановки canonical бюджет перестає витрачатися на варіанти фільтрів. У поєднанні з robots.txt економія бюджету збільшується в 2 рази порівняно з використанням кожного методу окремо.

Sitemap.xml оптимізація

У sitemap включаємо тільки індексовані сторінки з датою оновлення < 2 років. Приклад генерації на Python:

def generate_optimized_sitemap(db):
    pages = db.query("""
        SELECT url, updated_at, priority
        FROM pages
        WHERE status = 'published'
        AND noindex = false
        AND updated_at > NOW() - INTERVAL '2 years'
        ORDER BY priority DESC, updated_at DESC
    """)
    # ... (повний код у статті)

Не додаємо сторінки з noindex, 404, редиректи.

Порівняння методів блокування краулінгу

Canonical у поєднанні з robots.txt дає найкращий результат: robots.txt блокує доступ, а canonical вказує кращу версію ззовні.

Покрокова інструкція: аналіз логів за 10 хвилин

1. Завантажте access.log з сервера (за останні 7 днів).
2. Запустіть grep-команду з розділу вище.
3. Відсортуйте URL за частотою та виявіть сміттєві патерни.
4. Додайте заборони в robots.txt або налаштуйте canonical.
5. Повторно проаналізуйте логи через тиждень — переконайтеся в зниженні краулінгу сміття.

Що входить в роботу

Ми надаємо документацію та навчання вашої команди. Гарантуємо, що через 2–3 дні ви побачите зростання проіндексованих сторінок. Зв'яжіться з нами для аудиту вашого краулінгового бюджету — ми проаналізуємо ситуацію та запропонуємо конкретні кроки.

Строки

Аудит та оптимізація — від 1 до 2 робочих днів. Вартість розраховується індивідуально, залежить від обсягу сайту. Замовте консультацію — ми підберемо оптимальний план.

Типові помилки

• Занадто агресивний robots.txt: випадково блокуєте розділи, які потрібно індексувати
• Забули про sitemap: після блокувань важливо оновити карту сайту
• Не врахували мобільну версію: якщо сайт на m.domain.com, правила застосовуються окремо

Ми — команда з 5-річним досвідом, реалізували понад 100 проектів з оптимізації індексації. Не припускайтеся цих помилок — отримайте консультацію з налаштування краулінгового бюджету та прискорте індексацію важливих сторінок.

Чому Core Web Vitals критичні для технічного SEO

PageSpeed показує 34/100 на мобільних. У Search Console — червоні метрики по всіх сторінках категорій. Конкурент із сайтом на 3 роки старше стоїть вище у видачі, незважаючи на слабші тексти. Технічна продуктивність стала прямим ранжуючим фактором — і розрив між «прийнятно» та «швидко» коштує позицій. Ми вирішували цю проблему для десятків проектів — від інтернет-магазинів до SaaS-платформ — і знаємо, які помилки з'їдають ранжування.

Як досягти хороших показників Core Web Vitals?

Core Web Vitals: що реально впливає на позиції

Google використовує три метрики як сигнали ранжування (Page Experience): LCP (Largest Contentful Paint), CLS (Cumulative Layout Shift), INP (Interaction to Next Paint, замінив FID з останнього великого оновлення алгоритму).

LCP: чому 8 секунд — це не проблема зображення

LCP вимірює час відмальовки найбільшого видимого елемента сторінки. Найчастіше — hero image або H1. Пороги: добре < 2.5s, погано > 4s.

Типовий діагноз на реальному проекті: інтернет-магазин одягу, LCP 7.8s на мобільних. Елемент — hero image категорії, 4.2MB JPEG без srcset, завантажується через CSS background-image (не <img>). Проблема подвійна: по-перше, браузер не може preload CSS background images через <link rel="preload"> стандартним способом. По-друге, 4.2MB на мобільному з'єднанні — це фізично повільно.

Рішення по кроках:

1. Переносимо hero з CSS background в <img> з fetchpriority="high" та loading="eager"
2. Конвертуємо в WebP, додаємо srcset: 800w для мобільних, 1400w для десктопа
3. <link rel="preload" as="image" href="hero-800.webp" media="(max-width: 768px)"> в <head>
4. Прибираємо всі render-blocking скрипти вище hero через defer

Підсумок: LCP 7.8s → 1.9s. Без зміни хостингу, без CDN.

Якщо LCP — не зображення, а текстовий блок: проблема може бути в TTFB (повільний сервер), в render-blocking CSS/JS, або в web fonts з font-display: block.

CLS: зсуви, які дратують користувача і Google

CLS вимірює сумарний зсув елементів в процесі завантаження. Пороги: добре < 0.1, погано > 0.25. CLS 0.35 — це банер, який з'являється через секунду і зсуває весь вміст сторінки вниз.

Джерела CLS:

• Зображення без заданих розмірів. <img src="photo.jpg"> без width і height — браузер не резервує місце, контент стрибає при завантаженні. Фікс: явні width/height або aspect-ratio в CSS.
• Рекламні блоки та віджети. Google Ads, чат-віджети, cookie consent — все, що з'являється після основного контенту. Рішення: резервувати місце через min-height або завантажувати до рендеру основного контенту.
• Web fonts. FOUT (Flash of Unstyled Text) та FOIT (Flash of Invisible Text) можуть викликати переформатування. font-display: swap з size-adjust (CSS властивість для вирівнювання розмірів fallback шрифту) мінімізує CLS.
• Динамічний контент. Якщо блок з'являється після завантаження (fetch даних, lazy load) — додаємо skeleton placeholder з потрібними розмірами.

INP: чому інтерфейс «зависає» на 500ms

INP вимірює затримку відповіді на будь-яку взаємодію користувача: клік, тап, введення. Пороги: добре < 200ms, погано > 500ms. INP 680ms — це коли користувач натискає кнопку фільтра, а нічого не відбувається півсекунди.

Головна причина високого INP — заблокований main thread. JavaScript-бандл 2.1MB парситься і виконується синхронно. Поки виконується, користувацькі події не обробляються.

Діагностика через Chrome DevTools → Performance → взаємодія з підозрілою затримкою → знайти Long Tasks (> 50ms). Типові винуватці:

• Безперервна обробка великого списку без requestIdleCallback або requestAnimationFrame
• Важкі event listeners без debounce/throttle
• Синхронний setState в React, який тригерить повний ре-рендер складного дерева компонентів
• Third-party scripts: livechat, аналітика, віджети — вони виконуються в тому ж main thread

Рішення: code splitting через динамічний import(), перенесення важких обчислень в Web Workers, React.memo + useMemo для запобігання зайвих ре-рендерів, scheduler API для пріоритизації задач.

Schema.org: розмітка, яку читають роботи

Структуровані дані через JSON-LD — не прямий ранжуючий фактор, але дають rich snippets у видачі (зірки рейтингів, ціни, дата публікації), що збільшує CTR на 20–30%.

Типи розмітки за сценаріями:

• E-commerce: Product з offers (ціна, наявність, валюта), aggregateRating (рейтинг з відгуків), brand. BreadcrumbList для навігації. ItemList для сторінок категорій.
• Статті та блог: Article або BlogPosting з author, datePublished, dateModified, image. Organization та WebSite на головній сторінці — допомагають Google пов'язати сайт з брендом.
• Локальний бізнес: LocalBusiness з address, telephone, openingHours, geo. Критично для локального SEO.
• FAQ: FAQPage з mainEntity — питання та відповіді можуть з'являтися прямо у видачі як розкривний блок.

Валідація: Google Rich Results Test та Schema Markup Validator. Часта помилка — вказати price без priceCurrency, або ratingValue без reviewCount. Google ігнорує неповну розмітку.

Як проводити технічний SEO-аудит

Сканованість. robots.txt блокує потрібні сторінки (або навпаки, не блокує службові). Canonical URLs налаштовані неправильно — дублюються сторінки з UTM-мітками. Sitemap містить сторінки з noindex. Все це Screaming Frog або Sitebulb покажуть за годину сканування.

Core Web Vitals в масштабі. Google Search Console → Core Web Vitals → дивимося не окремі сторінки, а групи URL (шаблон сторінки продукту, шаблон категорії, блог). Проблема зазвичай системна — одна помилка в шаблоні псує сотні сторінок.

JavaScript SEO. Google рендерить JavaScript, але з затримкою (іноді дні для повного рендеру). Для критичного контенту — SSR або SSG обов'язкові. Перевіряємо через Search Console → Inspect URL → View Crawled Page: що бачить Googlebot.

Internal linking. Орфанні сторінки (немає вхідних внутрішніх посилань) втрачають PageRank. Бите посилання (404) — сигнал якості.

Що входить в роботу

• Документація: звіт зі знайденими проблемами, roadmap за пріоритетами, таймінги для кожного етапу.
• Доступи: налаштування моніторингу (SpeedCurve, Sentry Search Console), передача dashboard.
• Навчання: розбір типових помилок для вашої команди (1–2 дзвінки).
• Підтримка: супровід протягом місяця після деплою — перевірка метрик, фікс регресій.

Зв'яжіться з нами — ми оцінимо ваш проект за 2 дні і покажемо, скільки позицій можна повернути за рахунок технічного SEO. Досвід роботи з проектами рівня сотень тисяч відвідувань на місяць — гарантуємо вимірний результат в Core Web Vitals до/після. Замовте аудит у цій формі — отримайте персональний чек-лист з 15 пунктів.