Настройка автоматической проверки мета-тегов и структурированных данных

Автоматическая проверка мета-тегов и структурированных данных

Мета-теги и Schema.org разметка влияют на внешний вид сниппетов в поиске и корректность отображения в соцсетях. Автоматическая проверка выявляет дублирующиеся title, пустые description, невалидный JSON-LD и отсутствующие OG-теги до того, как Google проиндексирует страницы.

Структура проверки

Краулер → Playwright (рендер JS) → Парсинг мета-тегов →
→ Валидация правил → Отчёт по страницам → Алерт при критических проблемах

Реализация

// scripts/meta-checker.ts
import { chromium, Browser, Page } from 'playwright';

interface MetaAudit {
  url:        string;
  title:      string | null;
  description: string | null;
  canonical:  string | null;
  robots:     string | null;
  og_title:   string | null;
  og_image:   string | null;
  og_desc:    string | null;
  twitter_card: string | null;
  schema_types: string[];
  schema_errors: string[];
  issues:     Issue[];
}

interface Issue {
  severity: 'critical' | 'warning' | 'info';
  rule:     string;
  message:  string;
}

async function auditPage(page: Page, url: string): Promise<MetaAudit> {
  await page.goto(url, { waitUntil: 'networkidle' });

  const meta = await page.evaluate(() => {
    const getMeta = (name: string) =>
      document.querySelector(`meta[name="${name}"]`)?.getAttribute('content') ||
      document.querySelector(`meta[property="${name}"]`)?.getAttribute('content') || null;

    // Парсим JSON-LD
    const jsonldScripts = Array.from(document.querySelectorAll('script[type="application/ld+json"]'));
    const schemas: any[] = [];
    const schemaErrors: string[] = [];

    for (const script of jsonldScripts) {
      try {
        schemas.push(JSON.parse(script.textContent || ''));
      } catch (e) {
        schemaErrors.push(`Invalid JSON-LD: ${e.message}`);
      }
    }

    return {
      title:       document.title,
      description: getMeta('description'),
      canonical:   document.querySelector('link[rel="canonical"]')?.getAttribute('href') || null,
      robots:      getMeta('robots'),
      og_title:    getMeta('og:title'),
      og_image:    getMeta('og:image'),
      og_desc:     getMeta('og:description'),
      twitter_card: getMeta('twitter:card'),
      schema_types: schemas.map(s => s['@type']).filter(Boolean),
      schema_errors: schemaErrors,
    };
  });

  const issues: Issue[] = [];

  // Правила валидации
  if (!meta.title) {
    issues.push({ severity: 'critical', rule: 'title-missing', message: 'Отсутствует title' });
  } else if (meta.title.length < 10) {
    issues.push({ severity: 'warning', rule: 'title-too-short', message: `Title слишком короткий: ${meta.title.length} символов` });
  } else if (meta.title.length > 70) {
    issues.push({ severity: 'warning', rule: 'title-too-long', message: `Title слишком длинный: ${meta.title.length} символов (макс. 70)` });
  }

  if (!meta.description) {
    issues.push({ severity: 'critical', rule: 'desc-missing', message: 'Отсутствует meta description' });
  } else if (meta.description.length > 160) {
    issues.push({ severity: 'warning', rule: 'desc-too-long', message: `Description слишком длинный: ${meta.description.length} символов` });
  }

  if (!meta.canonical) {
    issues.push({ severity: 'warning', rule: 'canonical-missing', message: 'Отсутствует canonical URL' });
  } else if (!meta.canonical.startsWith('https://')) {
    issues.push({ severity: 'warning', rule: 'canonical-http', message: 'Canonical использует HTTP вместо HTTPS' });
  }

  if (!meta.og_image) {
    issues.push({ severity: 'warning', rule: 'og-image-missing', message: 'Отсутствует og:image' });
  }

  if (meta.schema_errors.length > 0) {
    meta.schema_errors.forEach(err =>
      issues.push({ severity: 'critical', rule: 'schema-invalid-json', message: err })
    );
  }

  return { url, ...meta, issues };
}

async function auditSite(urls: string[]): Promise<MetaAudit[]> {
  const browser = await chromium.launch({ headless: true });
  const results: MetaAudit[] = [];

  // Параллельно, но не более 5 одновременно
  const BATCH = 5;
  for (let i = 0; i < urls.length; i += BATCH) {
    const batch = urls.slice(i, i + BATCH);
    const pages = await Promise.all(batch.map(() => browser.newPage()));

    const batchResults = await Promise.all(
      batch.map((url, j) => auditPage(pages[j], url))
    );
    results.push(...batchResults);
    await Promise.all(pages.map(p => p.close()));
  }

  await browser.close();
  return results;
}

Поиск дублирующихся title и description

function findDuplicates(audits: MetaAudit[]): { titles: Map<string, string[]>, descs: Map<string, string[]> } {
  const titleMap = new Map<string, string[]>();
  const descMap  = new Map<string, string[]>();

  for (const audit of audits) {
    if (audit.title) {
      const existing = titleMap.get(audit.title) || [];
      titleMap.set(audit.title, [...existing, audit.url]);
    }
    if (audit.description) {
      const existing = descMap.get(audit.description) || [];
      descMap.set(audit.description, [...existing, audit.url]);
    }
  }

  // Оставляем только дубликаты
  return {
    titles: new Map([...titleMap].filter(([, urls]) => urls.length > 1)),
    descs:  new Map([...descMap].filter(([, urls]) => urls.length > 1)),
  };
}

Валидация JSON-LD через Google Rich Results API

async function validateSchemaWithGoogle(url: string): Promise<any> {
  const apiUrl = `https://searchconsole.googleapis.com/v1/urlTestingTools/mobileFriendlyTest:run`;
  // Используем Google Search Console API для проверки rich snippets
  // Альтернатива: schema.org валидатор
  const validator = await fetch(
    `https://validator.schema.org/validate?url=${encodeURIComponent(url)}&format=json`
  );
  return validator.json();
}

Сроки

Автоматический аудит мета-тегов с проверкой JSON-LD и поиском дублей: 2–3 рабочих дня.