Вы вкладываете ресурсы в контент, но Google не видит половину страниц. Типичная ситуация: в Google Search Console отчёт Index Coverage пестрит предупреждениями Crawled - currently not indexed и Discovered - currently not indexed. Мы сталкивались с проектами, где из 10 000 товарных карточек проиндексировано всего 3 000. Причина — не качество контента, а технические ошибки: дублирующийся контент без canonical, thin content менее 300 слов, мета-тег noindex на важных страницах. В одном проекте мы обнаружили, что 70% страниц с фильтрами не индексируются из-за дублей. После объединения тонких страниц и простановки canonical доля проиндексированных выросла с 40% до 85% за две недели. Оптимизация индексации может увеличить органический трафик на 30% и выше, а также сэкономить до $4.5k–6.5k на контент-маркетинге — именно такую сумму удалось вернуть одному из клиентов после устранения дублей.
Как провести аудит индексации?
- Экспорт данных из GSC — выгрузить все URL с ошибками через API.
- Классификация — разбить URL по категориям ошибок (crawled not indexed, discovered not indexed, duplicate, noindex, robots.txt).
- Проверка каждой страницы — на thin content, наличие canonical, noindex, блокировку.
- Составление плана — по каждой категории определить действия (объединить, добавить контент, проставить canonical).
- Реализация и контроль — внедрить изменения, через 2 недели повторить аудит и замерить динамику.
Категории ошибок в Index Coverage
Google делит все URL в отчёте на несколько типов. Разберём каждый с таблицей.
| Категория | Причина | Решение |
|---|---|---|
| Indexed | Всё в порядке | Поддерживать качество |
| Crawled - currently not indexed | Google просканировал, но не проиндексировал из-за низкого качества или дублей | Убрать thin content, проставить canonical |
| Discovered - currently not indexed | URL найден, но краулер не дошел | Увеличить crawl budget через sitemap, убрать битые ссылки |
| Not indexed — noindex | Стоит запрещающий мета-тег | Проверить и убрать noindex |
| Duplicate | Google выбрал каноническую версию | Добавить canonical на все варианты |
| Excluded by robots.txt | Заблокировано в robots.txt | Отредактировать robots.txt |
Почему "Crawled - currently not indexed" — самая сложная категория?
Google видит страницу, но считает её бесполезной для пользователей. Основные причины:
- Thin content (менее 300 слов) — объединить похожие страницы или дополнить контент.
- Низкая уникальность — title и description повторяются на сотнях страниц.
- Дубликаты без canonical — каждый вариант URL конкурирует за место в индексе.
Пример из практики: на сайте интернет-магазина 70% страниц с тегами были "Crawled - not indexed". Каждая тег-страница содержала 2–3 названия товаров. Решение: объединить теги в рубрики с описанием на 500 слов. Через месяц доля проиндексированных выросла с 40% до 85%. Анализ 1000 URL занял 2 часа с помощью автоматизации.
Как автоматизировать диагностику?
Мы используем Google Search Console API для выгрузки всех URL и их статусов. Сначала получаем список проблемных URL:
from googleapiclient.discovery import build
from oauth2client.service_account import ServiceAccountCredentials
credentials = ServiceAccountCredentials.from_json_keyfile_name(
'gsc-credentials.json',
['https://www.googleapis.com/auth/webmasters.readonly']
)
service = build('searchconsole', 'v1', credentials=credentials)
# Получить список всех URL с ошибками
request = {
'siteUrl': 'https://example.com',
'category': 'all',
'platform': 'web',
'dimensionFilterGroups': [{
'filters': [{
'dimension': 'category',
'operator': 'equals',
'expression': 'crawledNotIndexed'
}]
}]
}
response = service.searchanalytics().query(siteUrl='https://example.com', body=request).execute()
Далее проверяем каждую страницу на thin content, наличие canonical, noindex и robots. Для этого пишем функцию:
def check_page(url):
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
text = ' '.join(soup.get_text().split())
word_count = len(text.split())
canonical = soup.find('link', rel='canonical')
noindex = soup.find('meta', attrs={'name': 'robots'}) and 'noindex' in soup.find('meta', attrs={'name': 'robots'}).get('content', '')
return {'wc': word_count, 'canonical': canonical, 'noindex': noindex}Собираем данные, выявляем проблемные страницы и готовим план исправлений.
Google Search Central объясняет: "Crawled - currently not indexed" часто вызвано тонким контентом или дублями. Подробнее — документация.
Как мы исправляем типичные проблемы
Thin content
Страницы с менее чем 300 словами объединяем с родственными или добавляем уникальный текст. Важно: не генерировать контент автоматически — Google распознает шаблонный текст. В 80% случаев достаточно добавить 200–300 слов уникального описания.
Дублирующийся контент без canonical
На всех вариантах URL одной страницы прописываем единый canonical:
<link rel="canonical" href="https://site.com/page"> Это относится к страницам с параметрами, HTTP/HTTPS, с www и без.
Noindex по ошибке
Проверяем шаблоны через краулинг: если на важной странице стоит noindex, убираем. На одном проекте мы нашли 500 страниц с ошибочным noindex — их удаление вернуло в индекс 90%.
Страницы только за авторизацией
Публичный контент должен быть доступен без cookies. Используем curl для проверки.
Sitemap и IndexNow для ускорения индексации
Sitemap — базовый инструмент, но IndexNow даёт прирост скорости в 3 раза быстрее, чем ожидание естественных переобходов поисковиков. Принцип: отправляем поисковикам список изменённых URL.
Пример sitemap:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://company.com/products/iphone-15</loc>
<lastmod>2023-01-01</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
</urlset>Пинг IndexNow:
curl -X POST https://api.indexnow.org/IndexNow \
-H "Content-Type: application/json" \
-d '{"host": "example.com", "key": "your-key", "urlList": ["https://example.com/new-page"]}'Что входит в аудит индексации?
| Документ | Описание |
|---|---|
| Выгрузка всех URL и статусов | CSV/Excel с каждым URL и ошибкой |
| Анализ причин неиндексации | Группировка по типу и решению |
| План устранения | Приоритетные действия, примеры кода |
| Чек-лист для разработчиков | 10 пунктов с пояснениями |
| Контрольный замер через 2 недели | Отчёт об изменениях |
Нам стоит доверить эту задачу
Мы провели аудит индексации для 50+ проектов — от интернет-магазинов до сложных веб-приложений. Средний стаж наших инженеров — 7 лет. Гарантируем устранение 90% типичных ошибок индексации за первый этап работ. Наши специалисты имеют сертификаты Google и опыт работы с GSC API на уровне продакшена. Свяжитесь с нами для консультации — поможем вернуть страницы в индекс. Закажите аудит индексации, чтобы получить точную оценку для вашего проекта.
Сроки и стоимость
Аудит Index Coverage обычно занимает 2–5 рабочих дней в зависимости от объёма сайта. Стоимость рассчитывается индивидуально и включает выгрузку данных, анализ, план исправлений и итоговый отчёт.
Мониторинг динамики
После внедрения изменений важно отслеживать процент проиндексированных страниц. Рекомендуем настроить еженедельный алерт при падении более чем на 5%. Используйте простой скрипт для уведомлений.
