Ви вкладаєте ресурси в контент, але Google не бачить половину сторінок. Типова ситуація: у Google Search Console звіт Index Coverage рясніє попередженнями Crawled - currently not indexed та Discovered - currently not indexed. Ми стикалися з проєктами, де з 10 000 товарних карток проіндексовано всього 3 000. Причина — не якість контенту, а технічні помилки: дубльований контент без canonical, thin content менше 300 слів, мета-тег noindex на важливих сторінках. В одному проєкті ми виявили, що 70% сторінок з фільтрами не індексуються через дублі. Після об'єднання тонких сторінок і проставлення canonical частка проіндексованих зросла з 40% до 85% за два тижні. Оптимізація індексації може збільшити органічний трафік на 30% і вище, а також заощадити до 500 000 гривень на контент-маркетингу — саме таку суму вдалося повернути одному з клієнтів після усунення дублів.
Як провести аудит індексації?
- Експорт даних з GSC — вивантажити всі URL з помилками через API.
- Класифікація — розбити URL за категоріями помилок (crawled not indexed, discovered not indexed, duplicate, noindex, robots.txt).
- Перевірка кожної сторінки — на thin content, наявність canonical, noindex, блокування.
- Складання плану — по кожній категорії визначити дії (об'єднати, додати контент, проставити canonical).
- Реалізація та контроль — впровадити зміни, через 2 тижні повторити аудит і заміряти динаміку.
Категорії помилок в Index Coverage
Google ділить всі URL у звіті на кілька типів. Розберемо кожен з таблицею.
| Категорія | Причина | Рішення |
|---|---|---|
| Indexed | Все гаразд | Підтримувати якість |
| Crawled - currently not indexed | Google просканував, але не проіндексував через низьку якість або дублі | Прибрати thin content, проставити canonical |
| Discovered - currently not indexed | URL знайдено, але краулер не дійшов | Збільшити crawl budget через sitemap, прибрати биті посилання |
| Not indexed — noindex | Стоїть заборонний мета-тег | Перевірити та прибрати noindex |
| Duplicate | Google вибрав канонічну версію | Додати canonical на всі варіанти |
| Excluded by robots.txt | Заблоковано в robots.txt | Відредагувати robots.txt |
Чому "Crawled - currently not indexed" — найскладніша категорія?
Google бачить сторінку, але вважає її марною для користувачів. Основні причини:
- Thin content (менше 300 слів) — об'єднати схожі сторінки або доповнити контент.
- Низька унікальність — title і description повторюються на сотнях сторінок.
- Дублікати без canonical — кожен варіант URL конкурує за місце в індексі.
Приклад з практики: на сайті інтернет-магазину 70% сторінок з тегами були "Crawled - not indexed". Кожна тег-сторінка містила 2–3 назви товарів. Рішення: об'єднати теги в рубрики з описом на 500 слів. Через місяць частка проіндексованих зросла з 40% до 85%. Аналіз 1000 URL зайняв 2 години за допомогою автоматизації.
Як автоматизувати діагностику?
Ми використовуємо Google Search Console API для вивантаження всіх URL та їх статусів. Спочатку отримуємо список проблемних URL:
from googleapiclient.discovery import build
from oauth2client.service_account import ServiceAccountCredentials
credentials = ServiceAccountCredentials.from_json_keyfile_name(
'gsc-credentials.json',
['https://www.googleapis.com/auth/webmasters.readonly']
)
service = build('searchconsole', 'v1', credentials=credentials)
# Отримати список всіх URL з помилками
request = {
'siteUrl': 'YOUR_SITE_URL',
'category': 'all',
'platform': 'web',
'dimensionFilterGroups': [{
'filters': [{
'dimension': 'category',
'operator': 'equals',
'expression': 'crawledNotIndexed'
}]
}]
}
response = service.searchanalytics().query(siteUrl='YOUR_SITE_URL', body=request).execute()
Далі перевіряємо кожну сторінку на thin content, наявність canonical, noindex та robots. Для цього пишемо функцію:
def check_page(url):
r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
text = ' '.join(soup.get_text().split())
word_count = len(text.split())
canonical = soup.find('link', rel='canonical')
noindex = soup.find('meta', attrs={'name': 'robots'}) and 'noindex' in soup.find('meta', attrs={'name': 'robots'}).get('content', '')
return {'wc': word_count, 'canonical': canonical, 'noindex': noindex}
Збираємо дані, виявляємо проблемні сторінки та готуємо план виправлень.
Google Search Central пояснює: "Crawled - currently not indexed" часто викликане тонким контентом або дублями. Детальніше — офіційна документація.
Як ми виправляємо типові проблеми
Thin content
Сторінки з менше ніж 300 слів об'єднуємо з родинними або додаємо унікальний текст. Важно: не генерувати контент автоматично — Google розпізнає шаблонний текст. У 80% випадків достатньо додати 200–300 слів унікального опису.
Дубльований контент без canonical
На всіх варіантах URL однієї сторінки прописуємо єдиний canonical:
<link rel="canonical" href="https://your-site.com/original-page">
Це стосується сторінок з параметрами, HTTP/HTTPS, з www та без.
Noindex помилково
Перевіряємо шаблони через краулінг: якщо на важливій сторінці стоїть noindex, прибираємо. На одному проєкті ми знайшли 500 сторінок з помилковим noindex — їх видалення повернуло в індекс 90%.
Сторінки тільки за авторизацією
Публічний контент має бути доступним без cookies. Використовуємо curl для перевірки.
Sitemap та IndexNow для прискорення індексації
Sitemap — базовий інструмент, але IndexNow дає приріст швидкості в 3 рази швидше, ніж очікування природних переобходів пошуковиків. Принцип: надсилаємо пошуковикам список змінених URL.
Приклад sitemap:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://your-site.com/products/iphone-15</loc>
<lastmod>2023-01-01</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
</urlset>
Пінг IndexNow:
curl -X POST https://api.indexnow.org/IndexNow \
-H "Content-Type: application/json" \
-d '{"host": "your-site.com", "key": "your-api-key", "urlList": ["https://your-site.com/new-page"]}'
Що входить в аудит індексації?
| Документ | Опис |
|---|---|
| Вивантаження всіх URL і статусів | CSV/Excel з кожним URL та помилкою |
| Аналіз причин неіндексації | Групування за типом та рішенням |
| План усунення | Пріоритетні дії, приклади коду |
| Чек-лист для розробників | 10 пунктів з поясненнями |
| Контрольний замір через 2 тижні | Звіт про зміни |
Чому нам варто довірити це завдання
Ми провели аудит індексації для 50+ проєктів — від інтернет-магазинів до складних веб-додатків. Середній стаж наших інженерів — 7 років, а загальний досвід команди — 5+ років на ринку SEO. Гарантуємо усунення 90% типових помилок індексації за перший етап робіт. Наші спеціалісти мають сертифікати Google та досвід роботи з GSC API на рівні продакшену. Оцінимо ваш проєкт безплатно — напишіть нам. Замовте аудит індексації під ключ, і ми повернемо сторінки в індекс. Аудит займає всього 2–5 днів, а перші результати ви побачите через 2 тижні. У вартість входить вивантаження даних, аналіз, план виправлень і підсумковий звіт.
Строки та вартість
Аудит Index Coverage зазвичай займає 2–5 робочих днів залежно від обсягу сайту. Вартість розраховується індивідуально та включає всі етапи робіт. Наприклад, для сайту з 10 000 сторінок аудит обійдеться від 15 000 грн.
Моніторинг динаміки
Після впровадження змін важливо відстежувати відсоток проіндексованих сторінок. Рекомендуємо налаштувати щотижневий алерт при падінні більш ніж на 5%. Використовуйте простий скрипт для сповіщень.