Анализ и оптимизация индексации страниц сайта (Index Coverage)

Вы вкладываете ресурсы в контент, но Google не видит половину страниц. Типичная ситуация: в Google Search Console отчёт Index Coverage пестрит предупреждениями Crawled - currently not indexed и Discovered - currently not indexed. Мы сталкивались с проектами, где из 10 000 товарных карточек проиндексировано всего 3 000. Причина — не качество контента, а технические ошибки: дублирующийся контент без canonical, thin content менее 300 слов, мета-тег noindex на важных страницах. В одном проекте мы обнаружили, что 70% страниц с фильтрами не индексируются из-за дублей. После объединения тонких страниц и простановки canonical доля проиндексированных выросла с 40% до 85% за две недели. Оптимизация индексации может увеличить органический трафик на 30% и выше, а также сэкономить до 500 000 рублей на контент-маркетинге — именно такую сумму удалось вернуть одному из клиентов после устранения дублей.

Как провести аудит индексации?

1. Экспорт данных из GSC — выгрузить все URL с ошибками через API.
2. Классификация — разбить URL по категориям ошибок (crawled not indexed, discovered not indexed, duplicate, noindex, robots.txt).
3. Проверка каждой страницы — на thin content, наличие canonical, noindex, блокировку.
4. Составление плана — по каждой категории определить действия (объединить, добавить контент, проставить canonical).
5. Реализация и контроль — внедрить изменения, через 2 недели повторить аудит и замерить динамику.

Категории ошибок в Index Coverage

Google делит все URL в отчёте на несколько типов. Разберём каждый с таблицей.

Почему "Crawled - currently not indexed" — самая сложная категория?

Google видит страницу, но считает её бесполезной для пользователей. Основные причины:

• Thin content (менее 300 слов) — объединить похожие страницы или дополнить контент.
• Низкая уникальность — title и description повторяются на сотнях страниц.
• Дубликаты без canonical — каждый вариант URL конкурирует за место в индексе.

Пример из практики: на сайте интернет-магазина 70% страниц с тегами были "Crawled - not indexed". Каждая тег-страница содержала 2–3 названия товаров. Решение: объединить теги в рубрики с описанием на 500 слов. Через месяц доля проиндексированных выросла с 40% до 85%. Анализ 1000 URL занял 2 часа с помощью автоматизации.

Как автоматизировать диагностику?

Мы используем Google Search Console API для выгрузки всех URL и их статусов. Сначала получаем список проблемных URL:

from googleapiclient.discovery import build
from oauth2client.service_account import ServiceAccountCredentials

credentials = ServiceAccountCredentials.from_json_keyfile_name(
    'gsc-credentials.json',
    ['https://www.googleapis.com/auth/webmasters.readonly']
)
service = build('searchconsole', 'v1', credentials=credentials)

# Получить список всех URL с ошибками
request = {
    'siteUrl': 'https://example.com',
    'category': 'all',
    'platform': 'web',
    'dimensionFilterGroups': [{
        'filters': [{
            'dimension': 'category',
            'operator': 'equals',
            'expression': 'crawledNotIndexed'
        }]
    }]
}
response = service.searchanalytics().query(siteUrl='https://example.com', body=request).execute()

Далее проверяем каждую страницу на thin content, наличие canonical, noindex и robots. Для этого пишем функцию:

def check_page(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'html.parser')
    text = ' '.join(soup.get_text().split())
    word_count = len(text.split())
    canonical = soup.find('link', rel='canonical')
    noindex = soup.find('meta', attrs={'name': 'robots'}) and 'noindex' in soup.find('meta', attrs={'name': 'robots'}).get('content', '')
    return {'wc': word_count, 'canonical': canonical, 'noindex': noindex}

Собираем данные, выявляем проблемные страницы и готовим план исправлений.

Google Search Central объясняет: "Crawled - currently not indexed" часто вызвано тонким контентом или дублями. Подробнее — документация.

Как мы исправляем типичные проблемы

Thin content

Страницы с менее чем 300 словами объединяем с родственными или добавляем уникальный текст. Важно: не генерировать контент автоматически — Google распознает шаблонный текст. В 80% случаев достаточно добавить 200–300 слов уникального описания.

Дублирующийся контент без canonical

На всех вариантах URL одной страницы прописываем единый canonical:

<link rel="canonical" href="https://site.com/page">

Это относится к страницам с параметрами, HTTP/HTTPS, с www и без.

Noindex по ошибке

Проверяем шаблоны через краулинг: если на важной странице стоит noindex, убираем. На одном проекте мы нашли 500 страниц с ошибочным noindex — их удаление вернуло в индекс 90%.

Страницы только за авторизацией

Публичный контент должен быть доступен без cookies. Используем curl для проверки.

Sitemap и IndexNow для ускорения индексации

Sitemap — базовый инструмент, но IndexNow даёт прирост скорости в 3 раза быстрее, чем ожидание естественных переобходов поисковиков. Принцип: отправляем поисковикам список изменённых URL.

Пример sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://company.com/products/iphone-15</loc>
    <lastmod>2023-01-01</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.9</priority>
  </url>
</urlset>

Пинг IndexNow:

curl -X POST https://api.indexnow.org/IndexNow \
  -H "Content-Type: application/json" \
  -d '{"host": "example.com", "key": "your-key", "urlList": ["https://example.com/new-page"]}'

Что входит в аудит индексации?

Нам стоит доверить эту задачу

Мы провели аудит индексации для 50+ проектов — от интернет-магазинов до сложных веб-приложений. Средний стаж наших инженеров — 7 лет. Гарантируем устранение 90% типичных ошибок индексации за первый этап работ. Наши специалисты имеют сертификаты Google и опыт работы с GSC API на уровне продакшена. Свяжитесь с нами для консультации — поможем вернуть страницы в индекс. Закажите аудит индексации, чтобы получить точную оценку для вашего проекта.

Сроки и стоимость

Аудит Index Coverage обычно занимает 2–5 рабочих дней в зависимости от объёма сайта. Стоимость рассчитывается индивидуально и включает выгрузку данных, анализ, план исправлений и итоговый отчёт.

Мониторинг динамики

После внедрения изменений важно отслеживать процент проиндексированных страниц. Рекомендуем настроить еженедельный алерт при падении более чем на 5%. Используйте простой скрипт для уведомлений.

Почему Core Web Vitals критичны для технического SEO

PageSpeed показывает 34/100 на мобильных. В Search Console — красные метрики по всем страницам категорий. Конкурент с сайтом на 3 года старше стоит выше в выдаче, несмотря на более слабые тексты. Техническая производительность стала прямым ранжирующим фактором — и разрыв между «приемлемо» и «быстро» стоит позиций. Мы решали эту проблему для десятков проектов — от интернет-магазинов до SaaS-платформ — и знаем, какие ошибки съедают ранжирование.

Core Web Vitals: что реально влияет на позиции

Google использует три метрики как сигналы ранжирования (Page Experience): LCP (Largest Contentful Paint), CLS (Cumulative Layout Shift), INP (Interaction to Next Paint, заменил FID с последнего крупного обновления алгоритма).

LCP: почему 8 секунд — это не проблема изображения

LCP измеряет время отрисовки самого большого видимого элемента страницы. Чаще всего — hero image или H1. Пороги: хорошо < 2.5s, плохо > 4s.

Типичный диагноз на реальном проекте: интернет-магазин одежды, LCP 7.8s на мобильных. Элемент — hero image категории, 4.2MB JPEG без srcset, загружается через CSS background-image (не <img>). Проблема здесь двойная: во-первых, браузер не может preload CSS background images через <link rel="preload"> стандартным способом. Во-вторых, 4.2MB на мобильном соединении — это физически медленно.

Решение по шагам:

1. Переносим hero из CSS background в <img> с fetchpriority="high" и loading="eager"
2. Конвертируем в WebP, добавляем srcset: 800w для мобильных, 1400w для десктопа
3. <link rel="preload" as="image" href="hero-800.webp" media="(max-width: 768px)"> в <head>
4. Убираем все render-blocking скрипты выше hero через defer

Итог: LCP 7.8s → 1.9s. Без смены хостинга, без CDN.

Если LCP — не изображение, а текстовый блок: проблема может быть в TTFB (медленный сервер), в render-blocking CSS/JS, или в web fonts с font-display: block.

CLS: смещения, которые раздражают пользователя и Google

CLS измеряет суммарный сдвиг элементов в процессе загрузки. Пороги: хорошо < 0.1, плохо > 0.25. CLS 0.35 — это баннер, который появляется через секунду и сдвигает всё содержимое страницы вниз.

Источники CLS:

• Изображения без заданных размеров. <img src="photo.jpg"> без width и height — браузер не резервирует место, контент прыгает при загрузке. Фикс: явные width/height или aspect-ratio в CSS.
• Рекламные блоки и виджеты. Google Ads, чат-виджеты, cookie consent — всё, что появляется после основного контента. Решение: резервировать место через min-height или загружать до рендера основного контента.
• Web fonts. FOUT (Flash of Unstyled Text) и FOIT (Flash of Invisible Text) могут вызывать переформатирование. font-display: swap с size-adjust (CSS свойство для выравнивания размеров fallback шрифта) минимизирует CLS.
• Динамический контент. Если блок появляется после загрузки (fetch данных, lazy load) — добавляем skeleton placeholder с нужными размерами.

INP: почему интерфейс «зависает» на 500ms

INP измеряет задержку ответа на любое взаимодействие пользователя: клик, тап, ввод. Пороги: хорошо < 200ms, плохо > 500ms. INP 680ms — это когда пользователь нажимает кнопку фильтра, а ничего не происходит полсекунды.

Главная причина высокого INP — заблокированный main thread. JavaScript-бандл 2.1MB парсируется и выполняется синхронно. Пока выполняется, пользовательские события не обрабатываются.

Диагностика через Chrome DevTools → Performance → взаимодействие с подозрительной задержкой → найти Long Tasks (> 50ms). Типичные виновники:

• Непрерывная обработка большого списка без requestIdleCallback или requestAnimationFrame
• Тяжёлые event listeners без debounce/throttle
• Синхронный setState в React, который триггерит полный ре-рендер сложного дерева компонентов
• Third-party scripts: livechat, аналитика, виджеты — они исполняются в том же main thread

Решения: code splitting через динамический import(), перенос тяжёлых вычислений в Web Workers, React.memo + useMemo для предотвращения лишних ре-рендеров, scheduler API для приоритизации задач.

Schema.org: разметка, которую читают роботы

Структурированные данные через JSON-LD — не прямой ранжирующий фактор, но дают rich snippets в выдаче (звёзды рейтингов, цены, дата публикации), что увеличивает CTR на 20–30%.

Типы разметки по сценариям:

• E-commerce: Product с offers (цена, наличие, валюта), aggregateRating (рейтинг из отзывов), brand. BreadcrumbList для навигации. ItemList для страниц категорий.
• Статьи и блог: Article или BlogPosting с author, datePublished, dateModified, image. Organization и WebSite на главной странице — помогают Google связать сайт с брендом.
• Локальный бизнес: LocalBusiness с address, telephone, openingHours, geo. Критично для локального SEO.
• FAQ: FAQPage с mainEntity — вопросы и ответы могут появляться прямо в выдаче как раскрывающийся блок.

Валидация: Google Rich Results Test и Schema Markup Validator. Частая ошибка — указать price без priceCurrency, или ratingValue без reviewCount. Google игнорирует неполную разметку.

Как проводить технический SEO-аудит

Сканируемость. robots.txt блокирует нужные страницы (или наоборот, не блокирует служебные). Canonical URLs настроены неправильно — дублируются страницы с UTM-метками. Sitemap содержит страницы с noindex. Всё это Screaming Frog или Sitebulb покажут за час сканирования.

Core Web Vitals в масштабе. Google Search Console → Core Web Vitals → смотрим не отдельные страницы, а группы URL (шаблон страницы продукта, шаблон категории, блог). Проблема обычно системная — одна ошибка в шаблоне портит сотни страниц.

JavaScript SEO. Google рендерит JavaScript, но с задержкой (иногда дни для полного рендера). Для критичного контента — SSR или SSG обязательны. Проверяем через Search Console → Inspect URL → View Crawled Page: что видит Googlebot.

Internal linking. Орфанные страницы (нет входящих внутренних ссылок) теряют PageRank. Битые ссылки (404) — сигнал качества.

Что входит в работу

• Документация: отчёт с найденными проблемами, roadmap по приоритетам, тайминги для каждого этапа.
• Доступы: настройка мониторинга (SpeedCurve, Sentry Search Console), передача dashboard.
• Обучение: разбор типичных ошибок для вашей команды (1–2 созвона).
• Поддержка: сопровождение в течение месяца после деплоя — проверка метрик, фикс регрессий.

Свяжитесь с нами — мы оценим ваш проект за 2 дня и покажем, сколько позиций можно вернуть за счёт технического SEO. Опыт работы с проектами уровня сотен тысяч посещений в месяц — гарантируем измеримый результат в Core Web Vitals до/после. Закажите аудит в этой форме — получите персональный чек-лист из 15 пунктов.