Налаштування автоматичної перевірки індексації нових сторінок

Ми розробляємо систему автоматичної перевірки індексації, яка при появі нової сторінки надсилає її на індексацію, відстежує статус і сповіщає про проблеми. Інженери нашої команди мають 7+ років досвіду в SEO-інженерії та налаштовували індексацію для проектів від 100 до 1 млн сторінок. Використовуємо Google Indexing API та Search Console API, гарантуємо стабільність і прозору звітність.

Нова сторінка опублікована — це не означає, що Google її знайшов. Бот може обійти її через 3 години, а може через 3 тижні: залежить від crawl budget сайту, структури sitemap, частоти оновлень. На великих проектах з десятками нових сторінок на день ручна перевірка через «site:» або GSC не масштабується.

Як працює Google Indexing API?

Офіційний спосіб форсувати перевірку індексації. Спочатку створений для сторінок з розміткою JobPosting/BroadcastEvent, але на практиці працює для будь-яких URL і значно прискорює потрапляння в індекс. За нашими даними, Google Indexing API скорочує час до першої індексації в середньому в 3–5 разів порівняно з пасивним очікуванням обходу.

Налаштування сервісного акаунта:

1. Google Cloud Console → IAM → Service Accounts → Create
2. Створити ключ JSON
3. У Google Search Console додати сервісний акаунт як Owner (не Viewer — інакше API поверне 403)

Код надсилання запиту на індексацію:

from google.oauth2 import service_account
from googleapiclient.discovery import build

SCOPES = ['https://www.googleapis.com/auth/indexing']
KEY_FILE = 'service-account-key.json'

credentials = service_account.Credentials.from_service_account_file(
    KEY_FILE, scopes=SCOPES
)
service = build('indexing', 'v3', credentials=credentials)

def request_indexing(url: str, update_type: str = 'URL_UPDATED') -> dict:
    response = service.urlNotifications().publish(
        body={'url': url, 'type': update_type}
    ).execute()
    return response

Врахуйте квоту: 200 запитів/день для звичайних сайтів. При необхідності можна запросити розширення через Google Search Console.

Чому Sitemap ping недостатній?

Простий пінг https://www.google.com/ping?sitemap=... повідомляє Google про наявність нової карти сайту, але не гарантує, що всі нові сторінки будуть оброблені. Bing, Yandex підтримують протокол IndexNow, але для Google він не працює. Однак Sitemap ping залишається базовим заходом, який ми завжди включаємо в систему як обов'язковий шар.

Для ефективності важливо, щоб lastmod у Sitemap оновлювався при кожній зміні сторінки — інакше Google ігнорує його як статичний. Ми автоматизуємо це на стороні CMS.

Перевірка статусу індексації

Надіслати URL — половина завдання. Потрібно знати, чи потрапила сторінка в індекс. Для цього використовуємо GSC URL Inspection API:

def check_indexing_status(site_url: str, page_url: str) -> dict:
    service = build('searchconsole', 'v1', credentials=credentials)
    result = service.urlInspection().index().inspect(
        body={'inspectionUrl': page_url, 'siteUrl': site_url}
    ).execute()
    inspection = result.get('inspectionResult', {})
    index_status = inspection.get('indexStatusResult', {})
    return {
        'verdict': index_status.get('verdict'),
        'coverage_state': index_status.get('coverageState'),
        'last_crawl_time': index_status.get('lastCrawlTime'),
        'robots_txt_state': index_status.get('robotsTxtState'),
    }

Ключові coverageState: Submitted and indexed (успіх), Crawled - currently not indexed (бот обходив, але не додав), Discovered - currently not indexed (знайдена, але не оброблена).

Кожну з цих проблем ми відстежуємо в логах і виводимо рекомендації.

Автоматизація повного циклу

Система працює за ланцюжком: публікація → черга → надсилання Indexing API → пауза 48 год → перевірка статусу → повторне надсилання при невдачі → сповіщення. Для зберігання черги використовуємо PostgreSQL:

CREATE TABLE indexing_queue (
    id SERIAL PRIMARY KEY,
    url TEXT NOT NULL UNIQUE,
    submitted_at TIMESTAMPTZ,
    last_checked_at TIMESTAMPTZ,
    status VARCHAR(64),
    coverage_state TEXT,
    attempts INT DEFAULT 0,
    created_at TIMESTAMPTZ DEFAULT NOW()
);

Сповіщення про проблеми надсилаються в Telegram або Slack. Якщо сторінка не проіндексована за 7 днів, генерується alert із зазначенням причини.

Інтеграція з CMS

На WordPress — хук publish_post:

add_action('publish_post', function($post_id) {
    $url = get_permalink($post_id);
    // Відправка в Indexing API через чергу
    wp_schedule_single_event(time() + 60, 'submit_url_to_indexing_api', [$url]);
});

Для Laravel використовуємо Events/Listeners з відкладеними завданнями. Система підтримує кастомні CMS за вашим API. Замовте інтеграцію під вашу CMS — ми налаштуємо систему за 1–5 днів.

Що входить у роботу

• Аудит поточної схеми індексації (Sitemap, robots.txt, швидкість обходу)
• Підключення Google Indexing API та налаштування сервісного акаунта
• Розробка черги надсилання з моніторингом статусу
• Інтеграція з вашою CMS через хуки або API
• Налаштування сповіщень (Telegram, Slack, e-mail)
• Документація з експлуатації та передача доступів
• Технічна підтримка протягом місяця після запуску

Терміни та вартість

Базове налаштування (Sitemap ping + Indexing API при публікації) — 1–2 робочих дні. Повноцінна система з моніторингом, чергою та алертами — 3–5 днів. Вартість розраховується індивідуально залежно від складності інтеграції та кількості сторінок. Оцінимо ваш проект за один робочий день — отримайте консультацію з автоматизації індексації та дізнайтеся, як прискорити потрапляння сторінок у пошук.

Чому Core Web Vitals критичні для технічного SEO

PageSpeed показує 34/100 на мобільних. У Search Console — червоні метрики по всіх сторінках категорій. Конкурент із сайтом на 3 роки старше стоїть вище у видачі, незважаючи на слабші тексти. Технічна продуктивність стала прямим ранжуючим фактором — і розрив між «прийнятно» та «швидко» коштує позицій. Ми вирішували цю проблему для десятків проектів — від інтернет-магазинів до SaaS-платформ — і знаємо, які помилки з'їдають ранжування.

Як досягти хороших показників Core Web Vitals?

Core Web Vitals: що реально впливає на позиції

Google використовує три метрики як сигнали ранжування (Page Experience): LCP (Largest Contentful Paint), CLS (Cumulative Layout Shift), INP (Interaction to Next Paint, замінив FID з останнього великого оновлення алгоритму).

LCP: чому 8 секунд — це не проблема зображення

LCP вимірює час відмальовки найбільшого видимого елемента сторінки. Найчастіше — hero image або H1. Пороги: добре < 2.5s, погано > 4s.

Типовий діагноз на реальному проекті: інтернет-магазин одягу, LCP 7.8s на мобільних. Елемент — hero image категорії, 4.2MB JPEG без srcset, завантажується через CSS background-image (не <img>). Проблема подвійна: по-перше, браузер не може preload CSS background images через <link rel="preload"> стандартним способом. По-друге, 4.2MB на мобільному з'єднанні — це фізично повільно.

Рішення по кроках:

1. Переносимо hero з CSS background в <img> з fetchpriority="high" та loading="eager"
2. Конвертуємо в WebP, додаємо srcset: 800w для мобільних, 1400w для десктопа
3. <link rel="preload" as="image" href="hero-800.webp" media="(max-width: 768px)"> в <head>
4. Прибираємо всі render-blocking скрипти вище hero через defer

Підсумок: LCP 7.8s → 1.9s. Без зміни хостингу, без CDN.

Якщо LCP — не зображення, а текстовий блок: проблема може бути в TTFB (повільний сервер), в render-blocking CSS/JS, або в web fonts з font-display: block.

CLS: зсуви, які дратують користувача і Google

CLS вимірює сумарний зсув елементів в процесі завантаження. Пороги: добре < 0.1, погано > 0.25. CLS 0.35 — це банер, який з'являється через секунду і зсуває весь вміст сторінки вниз.

Джерела CLS:

• Зображення без заданих розмірів. <img src="photo.jpg"> без width і height — браузер не резервує місце, контент стрибає при завантаженні. Фікс: явні width/height або aspect-ratio в CSS.
• Рекламні блоки та віджети. Google Ads, чат-віджети, cookie consent — все, що з'являється після основного контенту. Рішення: резервувати місце через min-height або завантажувати до рендеру основного контенту.
• Web fonts. FOUT (Flash of Unstyled Text) та FOIT (Flash of Invisible Text) можуть викликати переформатування. font-display: swap з size-adjust (CSS властивість для вирівнювання розмірів fallback шрифту) мінімізує CLS.
• Динамічний контент. Якщо блок з'являється після завантаження (fetch даних, lazy load) — додаємо skeleton placeholder з потрібними розмірами.

INP: чому інтерфейс «зависає» на 500ms

INP вимірює затримку відповіді на будь-яку взаємодію користувача: клік, тап, введення. Пороги: добре < 200ms, погано > 500ms. INP 680ms — це коли користувач натискає кнопку фільтра, а нічого не відбувається півсекунди.

Головна причина високого INP — заблокований main thread. JavaScript-бандл 2.1MB парситься і виконується синхронно. Поки виконується, користувацькі події не обробляються.

Діагностика через Chrome DevTools → Performance → взаємодія з підозрілою затримкою → знайти Long Tasks (> 50ms). Типові винуватці:

• Безперервна обробка великого списку без requestIdleCallback або requestAnimationFrame
• Важкі event listeners без debounce/throttle
• Синхронний setState в React, який тригерить повний ре-рендер складного дерева компонентів
• Third-party scripts: livechat, аналітика, віджети — вони виконуються в тому ж main thread

Рішення: code splitting через динамічний import(), перенесення важких обчислень в Web Workers, React.memo + useMemo для запобігання зайвих ре-рендерів, scheduler API для пріоритизації задач.

Schema.org: розмітка, яку читають роботи

Структуровані дані через JSON-LD — не прямий ранжуючий фактор, але дають rich snippets у видачі (зірки рейтингів, ціни, дата публікації), що збільшує CTR на 20–30%.

Типи розмітки за сценаріями:

• E-commerce: Product з offers (ціна, наявність, валюта), aggregateRating (рейтинг з відгуків), brand. BreadcrumbList для навігації. ItemList для сторінок категорій.
• Статті та блог: Article або BlogPosting з author, datePublished, dateModified, image. Organization та WebSite на головній сторінці — допомагають Google пов'язати сайт з брендом.
• Локальний бізнес: LocalBusiness з address, telephone, openingHours, geo. Критично для локального SEO.
• FAQ: FAQPage з mainEntity — питання та відповіді можуть з'являтися прямо у видачі як розкривний блок.

Валідація: Google Rich Results Test та Schema Markup Validator. Часта помилка — вказати price без priceCurrency, або ratingValue без reviewCount. Google ігнорує неповну розмітку.

Як проводити технічний SEO-аудит

Сканованість. robots.txt блокує потрібні сторінки (або навпаки, не блокує службові). Canonical URLs налаштовані неправильно — дублюються сторінки з UTM-мітками. Sitemap містить сторінки з noindex. Все це Screaming Frog або Sitebulb покажуть за годину сканування.

Core Web Vitals в масштабі. Google Search Console → Core Web Vitals → дивимося не окремі сторінки, а групи URL (шаблон сторінки продукту, шаблон категорії, блог). Проблема зазвичай системна — одна помилка в шаблоні псує сотні сторінок.

JavaScript SEO. Google рендерить JavaScript, але з затримкою (іноді дні для повного рендеру). Для критичного контенту — SSR або SSG обов'язкові. Перевіряємо через Search Console → Inspect URL → View Crawled Page: що бачить Googlebot.

Internal linking. Орфанні сторінки (немає вхідних внутрішніх посилань) втрачають PageRank. Бите посилання (404) — сигнал якості.

Що входить в роботу

• Документація: звіт зі знайденими проблемами, roadmap за пріоритетами, таймінги для кожного етапу.
• Доступи: налаштування моніторингу (SpeedCurve, Sentry Search Console), передача dashboard.
• Навчання: розбір типових помилок для вашої команди (1–2 дзвінки).
• Підтримка: супровід протягом місяця після деплою — перевірка метрик, фікс регресій.

Зв'яжіться з нами — ми оцінимо ваш проект за 2 дні і покажемо, скільки позицій можна повернути за рахунок технічного SEO. Досвід роботи з проектами рівня сотень тисяч відвідувань на місяць — гарантуємо вимірний результат в Core Web Vitals до/після. Замовте аудит у цій формі — отримайте персональний чек-лист з 15 пунктів.