Настройка автоматической проверки индексации новых страниц

Мы разрабатываем систему автоматической проверки индексации, которая при появлении новой страницы отправляет её на индексацию, отслеживает статус и уведомляет о проблемах. Инженеры нашей команды имеют 7+ лет опыта в SEO-инженерии и настраивали индексацию для проектов от 100 до 1 млн страниц. Используем Google Indexing API и Search Console API, гарантируем стабильность и прозрачную отчётность.

Новая страница опубликована — это не значит, что Google её нашёл. Бот может обойти её через 3 часа, а может через 3 недели: зависит от crawl budget сайта, структуры sitemap, частоты обновлений. На крупных проектах с десятками новых страниц в день ручная проверка через «site:» или GSC не масштабируется.

Как работает Google Indexing API?

Официальный способ форсировать проверку индексации. Изначально создан для страниц с разметкой JobPosting/BroadcastEvent, но на практике работает для любых URL и значительно ускоряет попадание в индекс. По нашим данным, Google Indexing API сокращает время до первой индексации в среднем в 3–5 раз по сравнению с пассивным ожиданием обхода.

Настройка сервисного аккаунта:

1. Google Cloud Console → IAM → Service Accounts → Create
2. Создать ключ JSON
3. В Google Search Console добавить сервисный аккаунт как Owner (не Viewer — иначе API вернёт 403)

Код отправки запроса на индексацию:

from google.oauth2 import service_account
from googleapiclient.discovery import build

SCOPES = ['https://www.googleapis.com/auth/indexing']
KEY_FILE = 'service-account-key.json'

credentials = service_account.Credentials.from_service_account_file(
    KEY_FILE, scopes=SCOPES
)
service = build('indexing', 'v3', credentials=credentials)

def request_indexing(url: str, update_type: str = 'URL_UPDATED') -> dict:
    response = service.urlNotifications().publish(
        body={'url': url, 'type': update_type}
    ).execute()
    return response

Учтите квоту: 200 запросов/день для обычных сайтов. При необходимости можно запросить расширение через Google Search Console.

Почему Sitemap ping недостаточен?

Простой пинг https://www.google.com/ping?sitemap=... сообщает Google о наличии новой карты сайта, но не гарантирует, что все новые страницы будут обработаны. Bing, Yandex поддерживают протокол IndexNow, но для Google он не работает. Однако Sitemap ping остаётся базовой мерой, которую мы всегда включаем в систему как обязательный слой.

Для эффективности важно, чтобы lastmod в Sitemap обновлялся при каждом изменении страницы — иначе Google игнорирует его как статичный. Мы автоматизируем это на стороне CMS.

Проверка статуса индексации

Отправить URL — половина задачи. Нужно знать, попала ли страница в индекс. Для этого используем GSC URL Inspection API:

def check_indexing_status(site_url: str, page_url: str) -> dict:
    service = build('searchconsole', 'v1', credentials=credentials)
    result = service.urlInspection().index().inspect(
        body={'inspectionUrl': page_url, 'siteUrl': site_url}
    ).execute()
    inspection = result.get('inspectionResult', {})
    index_status = inspection.get('indexStatusResult', {})
    return {
        'verdict': index_status.get('verdict'),
        'coverage_state': index_status.get('coverageState'),
        'last_crawl_time': index_status.get('lastCrawlTime'),
        'robots_txt_state': index_status.get('robotsTxtState'),
    }

Ключевые coverageState: Submitted and indexed (успех), Crawled - currently not indexed (бот обходил, но не добавил), Discovered - currently not indexed (найдена, но не обработана).

Каждую из этих проблем мы отслеживаем в логах и выводим рекомендации.

Автоматизация полного цикла

Система работает по цепочке: публикация → очередь → отправка Indexing API → пауза 48 ч → проверка статуса → повторная отправка при неудаче → уведомление. Для хранения очереди используем PostgreSQL:

CREATE TABLE indexing_queue (
    id SERIAL PRIMARY KEY,
    url TEXT NOT NULL UNIQUE,
    submitted_at TIMESTAMPTZ,
    last_checked_at TIMESTAMPTZ,
    status VARCHAR(64),
    coverage_state TEXT,
    attempts INT DEFAULT 0,
    created_at TIMESTAMPTZ DEFAULT NOW()
);

Уведомления о проблемах отправляются в Telegram или Slack. Если страница не проиндексирована за 7 дней, генерируется alert с указанием причины.

Интеграция с CMS

На WordPress — хук publish_post:

add_action('publish_post', function($post_id) {
    $url = get_permalink($post_id);
    // Отправка в Indexing API через очередь
    wp_schedule_single_event(time() + 60, 'submit_url_to_indexing_api', [$url]);
});

Для Laravel используем Events/Listeners с отложенными заданиями. Система поддерживает кастомные CMS по вашему API. Закажите интеграцию под вашу CMS — мы настроим систему за 1–5 дней.

Что входит в работу

• Аудит текущей схемы индексации (Sitemap, robots.txt, скорость обхода)
• Подключение Google Indexing API и настройка сервисного аккаунта
• Разработка очереди отправки с мониторингом статуса
• Интеграция с вашей CMS через хуки или API
• Настройка уведомлений (Telegram, Slack, e-mail)
• Документация по эксплуатации и передача доступов
• Техническая поддержка в течение месяца после запуска

Сроки и стоимость

Базовая настройка (Sitemap ping + Indexing API при публикации) — 1–2 рабочих дня. Полноценная система с мониторингом, очередью и алертами — 3–5 дней. Стоимость рассчитывается индивидуально в зависимости от сложности интеграции и количества страниц. Оценим ваш проект за один рабочий день — получите консультацию по автоматизации индексации и узнайте, как ускорить попадание страниц в поиск.

Почему Core Web Vitals критичны для технического SEO

PageSpeed показывает 34/100 на мобильных. В Search Console — красные метрики по всем страницам категорий. Конкурент с сайтом на 3 года старше стоит выше в выдаче, несмотря на более слабые тексты. Техническая производительность стала прямым ранжирующим фактором — и разрыв между «приемлемо» и «быстро» стоит позиций. Мы решали эту проблему для десятков проектов — от интернет-магазинов до SaaS-платформ — и знаем, какие ошибки съедают ранжирование.

Core Web Vitals: что реально влияет на позиции

Google использует три метрики как сигналы ранжирования (Page Experience): LCP (Largest Contentful Paint), CLS (Cumulative Layout Shift), INP (Interaction to Next Paint, заменил FID с последнего крупного обновления алгоритма).

LCP: почему 8 секунд — это не проблема изображения

LCP измеряет время отрисовки самого большого видимого элемента страницы. Чаще всего — hero image или H1. Пороги: хорошо < 2.5s, плохо > 4s.

Типичный диагноз на реальном проекте: интернет-магазин одежды, LCP 7.8s на мобильных. Элемент — hero image категории, 4.2MB JPEG без srcset, загружается через CSS background-image (не <img>). Проблема здесь двойная: во-первых, браузер не может preload CSS background images через <link rel="preload"> стандартным способом. Во-вторых, 4.2MB на мобильном соединении — это физически медленно.

Решение по шагам:

1. Переносим hero из CSS background в <img> с fetchpriority="high" и loading="eager"
2. Конвертируем в WebP, добавляем srcset: 800w для мобильных, 1400w для десктопа
3. <link rel="preload" as="image" href="hero-800.webp" media="(max-width: 768px)"> в <head>
4. Убираем все render-blocking скрипты выше hero через defer

Итог: LCP 7.8s → 1.9s. Без смены хостинга, без CDN.

Если LCP — не изображение, а текстовый блок: проблема может быть в TTFB (медленный сервер), в render-blocking CSS/JS, или в web fonts с font-display: block.

CLS: смещения, которые раздражают пользователя и Google

CLS измеряет суммарный сдвиг элементов в процессе загрузки. Пороги: хорошо < 0.1, плохо > 0.25. CLS 0.35 — это баннер, который появляется через секунду и сдвигает всё содержимое страницы вниз.

Источники CLS:

• Изображения без заданных размеров. <img src="photo.jpg"> без width и height — браузер не резервирует место, контент прыгает при загрузке. Фикс: явные width/height или aspect-ratio в CSS.
• Рекламные блоки и виджеты. Google Ads, чат-виджеты, cookie consent — всё, что появляется после основного контента. Решение: резервировать место через min-height или загружать до рендера основного контента.
• Web fonts. FOUT (Flash of Unstyled Text) и FOIT (Flash of Invisible Text) могут вызывать переформатирование. font-display: swap с size-adjust (CSS свойство для выравнивания размеров fallback шрифта) минимизирует CLS.
• Динамический контент. Если блок появляется после загрузки (fetch данных, lazy load) — добавляем skeleton placeholder с нужными размерами.

INP: почему интерфейс «зависает» на 500ms

INP измеряет задержку ответа на любое взаимодействие пользователя: клик, тап, ввод. Пороги: хорошо < 200ms, плохо > 500ms. INP 680ms — это когда пользователь нажимает кнопку фильтра, а ничего не происходит полсекунды.

Главная причина высокого INP — заблокированный main thread. JavaScript-бандл 2.1MB парсируется и выполняется синхронно. Пока выполняется, пользовательские события не обрабатываются.

Диагностика через Chrome DevTools → Performance → взаимодействие с подозрительной задержкой → найти Long Tasks (> 50ms). Типичные виновники:

• Непрерывная обработка большого списка без requestIdleCallback или requestAnimationFrame
• Тяжёлые event listeners без debounce/throttle
• Синхронный setState в React, который триггерит полный ре-рендер сложного дерева компонентов
• Third-party scripts: livechat, аналитика, виджеты — они исполняются в том же main thread

Решения: code splitting через динамический import(), перенос тяжёлых вычислений в Web Workers, React.memo + useMemo для предотвращения лишних ре-рендеров, scheduler API для приоритизации задач.

Schema.org: разметка, которую читают роботы

Структурированные данные через JSON-LD — не прямой ранжирующий фактор, но дают rich snippets в выдаче (звёзды рейтингов, цены, дата публикации), что увеличивает CTR на 20–30%.

Типы разметки по сценариям:

• E-commerce: Product с offers (цена, наличие, валюта), aggregateRating (рейтинг из отзывов), brand. BreadcrumbList для навигации. ItemList для страниц категорий.
• Статьи и блог: Article или BlogPosting с author, datePublished, dateModified, image. Organization и WebSite на главной странице — помогают Google связать сайт с брендом.
• Локальный бизнес: LocalBusiness с address, telephone, openingHours, geo. Критично для локального SEO.
• FAQ: FAQPage с mainEntity — вопросы и ответы могут появляться прямо в выдаче как раскрывающийся блок.

Валидация: Google Rich Results Test и Schema Markup Validator. Частая ошибка — указать price без priceCurrency, или ratingValue без reviewCount. Google игнорирует неполную разметку.

Как проводить технический SEO-аудит

Сканируемость. robots.txt блокирует нужные страницы (или наоборот, не блокирует служебные). Canonical URLs настроены неправильно — дублируются страницы с UTM-метками. Sitemap содержит страницы с noindex. Всё это Screaming Frog или Sitebulb покажут за час сканирования.

Core Web Vitals в масштабе. Google Search Console → Core Web Vitals → смотрим не отдельные страницы, а группы URL (шаблон страницы продукта, шаблон категории, блог). Проблема обычно системная — одна ошибка в шаблоне портит сотни страниц.

JavaScript SEO. Google рендерит JavaScript, но с задержкой (иногда дни для полного рендера). Для критичного контента — SSR или SSG обязательны. Проверяем через Search Console → Inspect URL → View Crawled Page: что видит Googlebot.

Internal linking. Орфанные страницы (нет входящих внутренних ссылок) теряют PageRank. Битые ссылки (404) — сигнал качества.

Что входит в работу

• Документация: отчёт с найденными проблемами, roadmap по приоритетам, тайминги для каждого этапа.
• Доступы: настройка мониторинга (SpeedCurve, Sentry Search Console), передача dashboard.
• Обучение: разбор типичных ошибок для вашей команды (1–2 созвона).
• Поддержка: сопровождение в течение месяца после деплоя — проверка метрик, фикс регрессий.

Свяжитесь с нами — мы оценим ваш проект за 2 дня и покажем, сколько позиций можно вернуть за счёт технического SEO. Опыт работы с проектами уровня сотен тысяч посещений в месяц — гарантируем измеримый результат в Core Web Vitals до/после. Закажите аудит в этой форме — получите персональный чек-лист из 15 пунктов.