Ми розробляємо систему автоматичної перевірки індексації, яка при появі нової сторінки надсилає її на індексацію, відстежує статус і сповіщає про проблеми. Інженери нашої команди мають 7+ років досвіду в SEO-інженерії та налаштовували індексацію для проектів від 100 до 1 млн сторінок. Використовуємо Google Indexing API та Search Console API, гарантуємо стабільність і прозору звітність.
Нова сторінка опублікована — це не означає, що Google її знайшов. Бот може обійти її через 3 години, а може через 3 тижні: залежить від crawl budget сайту, структури sitemap, частоти оновлень. На великих проектах з десятками нових сторінок на день ручна перевірка через «site:» або GSC не масштабується.
Як працює Google Indexing API?
Офіційний спосіб форсувати перевірку індексації. Спочатку створений для сторінок з розміткою JobPosting/BroadcastEvent, але на практиці працює для будь-яких URL і значно прискорює потрапляння в індекс. За нашими даними, Google Indexing API скорочує час до першої індексації в середньому в 3–5 разів порівняно з пасивним очікуванням обходу.
Налаштування сервісного акаунта:
- Google Cloud Console → IAM → Service Accounts → Create
- Створити ключ JSON
- У Google Search Console додати сервісний акаунт як Owner (не Viewer — інакше API поверне 403)
Код надсилання запиту на індексацію:
from google.oauth2 import service_account from googleapiclient.discovery import build SCOPES = ['https://www.googleapis.com/auth/indexing'] KEY_FILE = 'service-account-key.json' credentials = service_account.Credentials.from_service_account_file( KEY_FILE, scopes=SCOPES ) service = build('indexing', 'v3', credentials=credentials) def request_indexing(url: str, update_type: str = 'URL_UPDATED') -> dict: response = service.urlNotifications().publish( body={'url': url, 'type': update_type} ).execute() return response Врахуйте квоту: 200 запитів/день для звичайних сайтів. При необхідності можна запросити розширення через Google Search Console.
Чому Sitemap ping недостатній?
Простий пінг https://www.google.com/ping?sitemap=... повідомляє Google про наявність нової карти сайту, але не гарантує, що всі нові сторінки будуть оброблені. Bing, Yandex підтримують протокол IndexNow, але для Google він не працює. Однак Sitemap ping залишається базовим заходом, який ми завжди включаємо в систему як обов'язковий шар.
Для ефективності важливо, щоб lastmod у Sitemap оновлювався при кожній зміні сторінки — інакше Google ігнорує його як статичний. Ми автоматизуємо це на стороні CMS.
| Метод | Швидкість | Складність налаштування | Добова квота | Підтримка Google |
|---|---|---|---|---|
| Sitemap Ping | Низька (дні–тижні) | Дуже низька | Необмежена | Так |
| Google Indexing API | Висока (години–дні) | Середня | 200 запитів (можна розширити) | Так |
| IndexNow | Середня (дні) | Низька | 10 000 URL/день | Ні |
Перевірка статусу індексації
Надіслати URL — половина завдання. Потрібно знати, чи потрапила сторінка в індекс. Для цього використовуємо GSC URL Inspection API:
def check_indexing_status(site_url: str, page_url: str) -> dict: service = build('searchconsole', 'v1', credentials=credentials) result = service.urlInspection().index().inspect( body={'inspectionUrl': page_url, 'siteUrl': site_url} ).execute() inspection = result.get('inspectionResult', {}) index_status = inspection.get('indexStatusResult', {}) return { 'verdict': index_status.get('verdict'), 'coverage_state': index_status.get('coverageState'), 'last_crawl_time': index_status.get('lastCrawlTime'), 'robots_txt_state': index_status.get('robotsTxtState'), } Ключові coverageState: Submitted and indexed (успіх), Crawled - currently not indexed (бот обходив, але не додав), Discovered - currently not indexed (знайдена, але не оброблена).
| Типова причина відмови | Рішення |
|---|---|
| Сторінка заблокована в robots.txt | Видалити заборону або додати виняток |
| Встановлено мета-тег noindex | Прибрати тег |
| Забагато редиректів | Оптимізувати ланцюжок редиректів |
| Низька якість контенту | Покращити унікальність і корисність |
| Недостатньо внутрішніх посилань | Додати посилання з релевантних сторінок |
Кожну з цих проблем ми відстежуємо в логах і виводимо рекомендації.
Автоматизація повного циклу
Система працює за ланцюжком: публікація → черга → надсилання Indexing API → пауза 48 год → перевірка статусу → повторне надсилання при невдачі → сповіщення. Для зберігання черги використовуємо PostgreSQL:
CREATE TABLE indexing_queue ( id SERIAL PRIMARY KEY, url TEXT NOT NULL UNIQUE, submitted_at TIMESTAMPTZ, last_checked_at TIMESTAMPTZ, status VARCHAR(64), coverage_state TEXT, attempts INT DEFAULT 0, created_at TIMESTAMPTZ DEFAULT NOW() ); Сповіщення про проблеми надсилаються в Telegram або Slack. Якщо сторінка не проіндексована за 7 днів, генерується alert із зазначенням причини.
Інтеграція з CMS
На WordPress — хук publish_post:
add_action('publish_post', function($post_id) { $url = get_permalink($post_id); // Відправка в Indexing API через чергу wp_schedule_single_event(time() + 60, 'submit_url_to_indexing_api', [$url]); }); Для Laravel використовуємо Events/Listeners з відкладеними завданнями. Система підтримує кастомні CMS за вашим API. Замовте інтеграцію під вашу CMS — ми налаштуємо систему за 1–5 днів.
Що входить у роботу
- Аудит поточної схеми індексації (Sitemap, robots.txt, швидкість обходу)
- Підключення Google Indexing API та налаштування сервісного акаунта
- Розробка черги надсилання з моніторингом статусу
- Інтеграція з вашою CMS через хуки або API
- Налаштування сповіщень (Telegram, Slack, e-mail)
- Документація з експлуатації та передача доступів
- Технічна підтримка протягом місяця після запуску
Терміни та вартість
Базове налаштування (Sitemap ping + Indexing API при публікації) — 1–2 робочих дні. Повноцінна система з моніторингом, чергою та алертами — 3–5 днів. Вартість розраховується індивідуально залежно від складності інтеграції та кількості сторінок. Оцінимо ваш проект за один робочий день — отримайте консультацію з автоматизації індексації та дізнайтеся, як прискорити потрапляння сторінок у пошук.