Вы вкладываете ресурсы в контент, но Google не видит половину страниц. Типичная ситуация: в Google Search Console отчёт Index Coverage пестрит предупреждениями Crawled - currently not indexed и Discovered - currently not indexed. Мы сталкивались с проектами, где из 10 000 товарных карточек проиндексировано всего 3 000. Причина — не качество контента, а технические ошибки: дублирующийся контент без canonical, thin content менее 300 слов, мета-тег noindex на важных страницах. В одном проекте мы обнаружили, что 70% страниц с фильтрами не индексируются из-за дублей. После объединения тонких страниц и простановки canonical доля проиндексированных выросла с 40% до 85% за две недели. Оптимизация индексации может увеличить органический трафик на 30% и выше, а также сэкономить до 500 000 рублей на контент-маркетинге — именно такую сумму удалось вернуть одному из клиентов после устранения дублей.
Как провести аудит индексации?
- Экспорт данных из GSC — выгрузить все URL с ошибками через API.
- Классификация — разбить URL по категориям ошибок (crawled not indexed, discovered not indexed, duplicate, noindex, robots.txt).
- Проверка каждой страницы — на thin content, наличие canonical, noindex, блокировку.
- Составление плана — по каждой категории определить действия (объединить, добавить контент, проставить canonical).
- Реализация и контроль — внедрить изменения, через 2 недели повторить аудит и замерить динамику.
Категории ошибок в Index Coverage
Google делит все URL в отчёте на несколько типов. Разберём каждый с таблицей.
| Категория | Причина | Решение |
|---|---|---|
| Indexed | Всё в порядке | Поддерживать качество |
| Crawled - currently not indexed | Google просканировал, но не проиндексировал из-за низкого качества или дублей | Убрать thin content, проставить canonical |
| Discovered - currently not indexed | URL найден, но краулер не дошел | Увеличить crawl budget через sitemap, убрать битые ссылки |
| Not indexed — noindex | Стоит запрещающий мета-тег | Проверить и убрать noindex |
| Duplicate | Google выбрал каноническую версию | Добавить canonical на все варианты |
| Excluded by robots.txt | Заблокировано в robots.txt | Отредактировать robots.txt |
Почему "Crawled - currently not indexed" — самая сложная категория?
Google видит страницу, но считает её бесполезной для пользователей. Основные причины:
- Thin content (менее 300 слов) — объединить похожие страницы или дополнить контент.
- Низкая уникальность — title и description повторяются на сотнях страниц.
- Дубликаты без canonical — каждый вариант URL конкурирует за место в индексе.
Пример из практики: на сайте интернет-магазина 70% страниц с тегами были "Crawled - not indexed". Каждая тег-страница содержала 2–3 названия товаров. Решение: объединить теги в рубрики с описанием на 500 слов. Через месяц доля проиндексированных выросла с 40% до 85%. Анализ 1000 URL занял 2 часа с помощью автоматизации.
Как автоматизировать диагностику?
Мы используем Google Search Console API для выгрузки всех URL и их статусов. Сначала получаем список проблемных URL:
from googleapiclient.discovery import build from oauth2client.service_account import ServiceAccountCredentials credentials = ServiceAccountCredentials.from_json_keyfile_name( 'gsc-credentials.json', ['https://www.googleapis.com/auth/webmasters.readonly'] ) service = build('searchconsole', 'v1', credentials=credentials) # Получить список всех URL с ошибками request = { 'siteUrl': 'https://example.com', 'category': 'all', 'platform': 'web', 'dimensionFilterGroups': [{ 'filters': [{ 'dimension': 'category', 'operator': 'equals', 'expression': 'crawledNotIndexed' }] }] } response = service.searchanalytics().query(siteUrl='https://example.com', body=request).execute() Далее проверяем каждую страницу на thin content, наличие canonical, noindex и robots. Для этого пишем функцию:
def check_page(url): r = requests.get(url) soup = BeautifulSoup(r.text, 'html.parser') text = ' '.join(soup.get_text().split()) word_count = len(text.split()) canonical = soup.find('link', rel='canonical') noindex = soup.find('meta', attrs={'name': 'robots'}) and 'noindex' in soup.find('meta', attrs={'name': 'robots'}).get('content', '') return {'wc': word_count, 'canonical': canonical, 'noindex': noindex} Собираем данные, выявляем проблемные страницы и готовим план исправлений.
Google Search Central объясняет: "Crawled - currently not indexed" часто вызвано тонким контентом или дублями. Подробнее — документация.
Как мы исправляем типичные проблемы
Thin content
Страницы с менее чем 300 словами объединяем с родственными или добавляем уникальный текст. Важно: не генерировать контент автоматически — Google распознает шаблонный текст. В 80% случаев достаточно добавить 200–300 слов уникального описания.
Дублирующийся контент без canonical
На всех вариантах URL одной страницы прописываем единый canonical:
<link rel="canonical" href="https://site.com/page"> Это относится к страницам с параметрами, HTTP/HTTPS, с www и без.
Noindex по ошибке
Проверяем шаблоны через краулинг: если на важной странице стоит noindex, убираем. На одном проекте мы нашли 500 страниц с ошибочным noindex — их удаление вернуло в индекс 90%.
Страницы только за авторизацией
Публичный контент должен быть доступен без cookies. Используем curl для проверки.
Sitemap и IndexNow для ускорения индексации
Sitemap — базовый инструмент, но IndexNow даёт прирост скорости в 3 раза быстрее, чем ожидание естественных переобходов поисковиков. Принцип: отправляем поисковикам список изменённых URL.
Пример sitemap:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://company.com/products/iphone-15</loc> <lastmod>2023-01-01</lastmod> <changefreq>weekly</changefreq> <priority>0.9</priority> </url> </urlset> Пинг IndexNow:
curl -X POST https://api.indexnow.org/IndexNow \ -H "Content-Type: application/json" \ -d '{"host": "example.com", "key": "your-key", "urlList": ["https://example.com/new-page"]}' Что входит в аудит индексации?
| Документ | Описание |
|---|---|
| Выгрузка всех URL и статусов | CSV/Excel с каждым URL и ошибкой |
| Анализ причин неиндексации | Группировка по типу и решению |
| План устранения | Приоритетные действия, примеры кода |
| Чек-лист для разработчиков | 10 пунктов с пояснениями |
| Контрольный замер через 2 недели | Отчёт об изменениях |
Нам стоит доверить эту задачу
Мы провели аудит индексации для 50+ проектов — от интернет-магазинов до сложных веб-приложений. Средний стаж наших инженеров — 7 лет. Гарантируем устранение 90% типичных ошибок индексации за первый этап работ. Наши специалисты имеют сертификаты Google и опыт работы с GSC API на уровне продакшена. Свяжитесь с нами для консультации — поможем вернуть страницы в индекс. Закажите аудит индексации, чтобы получить точную оценку для вашего проекта.
Сроки и стоимость
Аудит Index Coverage обычно занимает 2–5 рабочих дней в зависимости от объёма сайта. Стоимость рассчитывается индивидуально и включает выгрузку данных, анализ, план исправлений и итоговый отчёт.
Мониторинг динамики
После внедрения изменений важно отслеживать процент проиндексированных страниц. Рекомендуем настроить еженедельный алерт при падении более чем на 5%. Используйте простой скрипт для уведомлений.