Интеграция SEMrush API для SEO-аналитики сайта

Интеграция SEMrush API для SEO-аналитики сайта

Представьте: вы ведёте SEO для 10 доменов. Каждую неделю вручную открываете SEMrush, экспортируете отчёты, склеиваете CSV в Excel. На это уходит полдня, а в данных то и дело закрадываются опечатки. Для интернет-магазина с 100 000 товаров ручной сбор позиций всех категорий практически нереален — данные устаревают быстрее, чем вы их собираете. SEMrush API решает эту проблему раз и навсегда: программно забираете позиции, органику, бэклинки и метрики конкурентов, складываете в свою базу и строите дашборд. Автоматизация через API в 24 раза быстрее ручного сбора — экономия 90% времени. Мы реализовали такие интеграции для 8 проектов, включая мониторинг 50+ доменов ежедневно. Наш стек: Python 3.11, PostgreSQL 16, Docker, Grafana. Код передаём в виде репозитория с документацией.

Почему стоит автоматизировать сбор данных?

Ручной сбор из SEMrush — это часы рутины и риск ошибок при копировании. API даёт доступ к тысячам ключевых слов за один запрос, автоматическое обновление метрик по расписанию и возможность сравнивать 20+ доменов в едином дашборде. SEMrush API vs ручной парсинг:

Экономия на ручном сборе данных может достигать 400 000 рублей в год для команды из 3 человек — за счёт высвобождения времени на стратегический анализ.

Как управлять расходами API units?

Расход units напрямую зависит от объёма запросов. Оптимизация: для ежедневного мониторинга достаточно запрашивать только ключевые метрики (позиции топ-200, трафик, рейтинг домена). Полный backlink-аудит запускайте раз в неделю. При тарифе Business (10 000 units/мес) можно вести 5 доменов ежедневно. Используйте кэширование — не запрашивайте одни и те же данные повторно в течение дня.

Что делать при ошибках интеграции?

API может возвращать ошибки при превышении лимита, неверном ключе или временных сбоях. Код клиента должен обрабатывать их: при статусе ERROR проводить повторную попытку с экспоненциальной задержкой. Настройте алерты в Telegram или Slack при сбое сбора данных. Это гарантирует, что пропусков метрик не будет.

Как настроить клиент для SEMrush API?

SEMrush использует API-ключ как query-параметр. Ответ по умолчанию в CSV, но для некоторых эндпоинтов доступен JSON. Базовая реализация клиента на Python выглядит так:

import requests
import csv
import io
from typing import Literal

class SemrushClient:
    BASE_URL = 'https://api.semrush.com'
    ANALYTICS_URL = 'https://api.semrush.com/analytics/v1'

    def __init__(self, api_key: str):
        self.api_key = api_key
        self.session = requests.Session()

    def _request(self, params: dict) -> list[dict]:
        params['key'] = self.api_key
        resp = self.session.get(self.BASE_URL, params=params, timeout=30)
        resp.raise_for_status()

        if resp.text.startswith('ERROR'):
            raise ValueError(f'SEMrush API error: {resp.text}')

        reader = csv.DictReader(io.StringIO(resp.text), delimiter=';')
        return list(reader)

Основные эндпоинты API

Для сбора органики, конкурентов и бэклинков используем следующие методы. Сводка по затратам API units:

Пример получения органических ключевых слов домена:

def get_organic_keywords(self, domain: str, database: str = 'ru', limit: int = 1000) -> list[dict]:
    params = {
        'type': 'domain_organic',
        'domain': domain,
        'database': database,
        'display_limit': limit,
        'display_sort': 'tr_desc',
        'export_columns': 'Ph,Po,Pp,Nq,Tr,Ur',
    }
    return self._request(params)

Ответ содержит ключевые поля: Ph — ключевое слово, Po — позиция, Nq — месячный объём поиска, Tr — расчётный трафик, Ur — URL страницы.

Для backlink-аудита используем:

def get_backlinks(self, target: str, limit: int = 1000) -> list[dict]:
    params = {
        'type': 'backlinks',
        'target': target,
        'target_type': 'root_domain',
        'display_limit': limit,
        'display_sort': 'page_ascore_desc',
        'export_columns': 'source_url,target_url,anchor,page_ascore,domain_ascore,nofollow,first_seen',
    }
    return self._request(params)

Ежедневный сбор данных и хранение

Организуем пайплайн: по расписанию (например, cron) запускается скрипт, который собирает метрики домена, топ-200 ключевых слов, и сохраняет всё в PostgreSQL. Пример схемы:

CREATE TABLE semrush_domain_metrics (
    id SERIAL PRIMARY KEY,
    domain TEXT NOT NULL,
    snapshot_date DATE NOT NULL,
    organic_keywords INTEGER,
    organic_traffic INTEGER,
    semrush_rank INTEGER,
    UNIQUE(domain, snapshot_date)
);

CREATE TABLE semrush_keyword_positions (
    id SERIAL PRIMARY KEY,
    domain TEXT NOT NULL,
    keyword TEXT NOT NULL,
    position INTEGER,
    search_volume INTEGER,
    url TEXT,
    snapshot_date DATE NOT NULL,
    UNIQUE(domain, keyword, snapshot_date)
);

Пошаговая настройка интеграции

Чтобы автоматизировать сбор данных, выполните следующие шаги:

1. Получите API-ключ в панели SEMrush (раздел API).
2. Установите зависимости: pip install requests psycopg2-binary.
3. Реализуйте класс SemrushClient как показано выше.
4. Создайте таблицы в PostgreSQL по приведённой схеме.
5. Настройте cron-задачу для ежедневного запуска скрипта.
6. Интегрируйте метрики в Grafana для визуализации.

Что входит в работу

Наша интеграция включает:

• Код клиента на Python с обработкой ошибок и пагинацией.
• Скрипты для сбора данных по расписанию.
• Схему PostgreSQL для хранения метрик.
• Документацию по запуску и настройке.
• Настройку дашборда в Grafana (опционально).
• Поддержку после внедрения при обнаружении ошибок.

Расчёт API units

Для ежедневного мониторинга 5 доменов (метрики + 200 ключевых слов) расход примерно 500–700 units в день. При тарифе Business (10 000 units/мес) это укладывается в лимит. Оптимизация: не запрашивать полные списки бэклинков ежедневно, только ключевые метрики. Полный backlink-аудит — раз в неделю.

Сроки и стоимость

Базовая интеграция с ежедневным сбором метрик одного домена и топ-200 ключевых слов — 2–3 рабочих дня. Расширенная версия с конкурентным анализом, backlink-аудитом и дашбордом в Grafana — 5–7 дней. Стоимость рассчитываем индивидуально после аудита ваших задач. Получите консультацию — свяжитесь с нами, чтобы оценить проект. Закажите интеграцию сегодня и начните экономить время и ресурсы.

Мы гарантируем качество: код покрыт тестами, настроены алерты при ошибках сбора, предоставляем поддержку после внедрения. Наш опыт — 5+ лет в веб-разработке и SEO-интеграциях, реализовано 8 проектов с суммарным мониторингом 50+ доменов.

SEMrush API Documentation

Почему Core Web Vitals критичны для технического SEO

PageSpeed показывает 34/100 на мобильных. В Search Console — красные метрики по всем страницам категорий. Конкурент с сайтом на 3 года старше стоит выше в выдаче, несмотря на более слабые тексты. Техническая производительность стала прямым ранжирующим фактором — и разрыв между «приемлемо» и «быстро» стоит позиций. Мы решали эту проблему для десятков проектов — от интернет-магазинов до SaaS-платформ — и знаем, какие ошибки съедают ранжирование.

Core Web Vitals: что реально влияет на позиции

Google использует три метрики как сигналы ранжирования (Page Experience): LCP (Largest Contentful Paint), CLS (Cumulative Layout Shift), INP (Interaction to Next Paint, заменил FID с последнего крупного обновления алгоритма).

LCP: почему 8 секунд — это не проблема изображения

LCP измеряет время отрисовки самого большого видимого элемента страницы. Чаще всего — hero image или H1. Пороги: хорошо < 2.5s, плохо > 4s.

Типичный диагноз на реальном проекте: интернет-магазин одежды, LCP 7.8s на мобильных. Элемент — hero image категории, 4.2MB JPEG без srcset, загружается через CSS background-image (не <img>). Проблема здесь двойная: во-первых, браузер не может preload CSS background images через <link rel="preload"> стандартным способом. Во-вторых, 4.2MB на мобильном соединении — это физически медленно.

Решение по шагам:

1. Переносим hero из CSS background в <img> с fetchpriority="high" и loading="eager"
2. Конвертируем в WebP, добавляем srcset: 800w для мобильных, 1400w для десктопа
3. <link rel="preload" as="image" href="hero-800.webp" media="(max-width: 768px)"> в <head>
4. Убираем все render-blocking скрипты выше hero через defer

Итог: LCP 7.8s → 1.9s. Без смены хостинга, без CDN.

Если LCP — не изображение, а текстовый блок: проблема может быть в TTFB (медленный сервер), в render-blocking CSS/JS, или в web fonts с font-display: block.

CLS: смещения, которые раздражают пользователя и Google

CLS измеряет суммарный сдвиг элементов в процессе загрузки. Пороги: хорошо < 0.1, плохо > 0.25. CLS 0.35 — это баннер, который появляется через секунду и сдвигает всё содержимое страницы вниз.

Источники CLS:

• Изображения без заданных размеров. <img src="photo.jpg"> без width и height — браузер не резервирует место, контент прыгает при загрузке. Фикс: явные width/height или aspect-ratio в CSS.
• Рекламные блоки и виджеты. Google Ads, чат-виджеты, cookie consent — всё, что появляется после основного контента. Решение: резервировать место через min-height или загружать до рендера основного контента.
• Web fonts. FOUT (Flash of Unstyled Text) и FOIT (Flash of Invisible Text) могут вызывать переформатирование. font-display: swap с size-adjust (CSS свойство для выравнивания размеров fallback шрифта) минимизирует CLS.
• Динамический контент. Если блок появляется после загрузки (fetch данных, lazy load) — добавляем skeleton placeholder с нужными размерами.

INP: почему интерфейс «зависает» на 500ms

INP измеряет задержку ответа на любое взаимодействие пользователя: клик, тап, ввод. Пороги: хорошо < 200ms, плохо > 500ms. INP 680ms — это когда пользователь нажимает кнопку фильтра, а ничего не происходит полсекунды.

Главная причина высокого INP — заблокированный main thread. JavaScript-бандл 2.1MB парсируется и выполняется синхронно. Пока выполняется, пользовательские события не обрабатываются.

Диагностика через Chrome DevTools → Performance → взаимодействие с подозрительной задержкой → найти Long Tasks (> 50ms). Типичные виновники:

• Непрерывная обработка большого списка без requestIdleCallback или requestAnimationFrame
• Тяжёлые event listeners без debounce/throttle
• Синхронный setState в React, который триггерит полный ре-рендер сложного дерева компонентов
• Third-party scripts: livechat, аналитика, виджеты — они исполняются в том же main thread

Решения: code splitting через динамический import(), перенос тяжёлых вычислений в Web Workers, React.memo + useMemo для предотвращения лишних ре-рендеров, scheduler API для приоритизации задач.

Schema.org: разметка, которую читают роботы

Структурированные данные через JSON-LD — не прямой ранжирующий фактор, но дают rich snippets в выдаче (звёзды рейтингов, цены, дата публикации), что увеличивает CTR на 20–30%.

Типы разметки по сценариям:

• E-commerce: Product с offers (цена, наличие, валюта), aggregateRating (рейтинг из отзывов), brand. BreadcrumbList для навигации. ItemList для страниц категорий.
• Статьи и блог: Article или BlogPosting с author, datePublished, dateModified, image. Organization и WebSite на главной странице — помогают Google связать сайт с брендом.
• Локальный бизнес: LocalBusiness с address, telephone, openingHours, geo. Критично для локального SEO.
• FAQ: FAQPage с mainEntity — вопросы и ответы могут появляться прямо в выдаче как раскрывающийся блок.

Валидация: Google Rich Results Test и Schema Markup Validator. Частая ошибка — указать price без priceCurrency, или ratingValue без reviewCount. Google игнорирует неполную разметку.

Как проводить технический SEO-аудит

Сканируемость. robots.txt блокирует нужные страницы (или наоборот, не блокирует служебные). Canonical URLs настроены неправильно — дублируются страницы с UTM-метками. Sitemap содержит страницы с noindex. Всё это Screaming Frog или Sitebulb покажут за час сканирования.

Core Web Vitals в масштабе. Google Search Console → Core Web Vitals → смотрим не отдельные страницы, а группы URL (шаблон страницы продукта, шаблон категории, блог). Проблема обычно системная — одна ошибка в шаблоне портит сотни страниц.

JavaScript SEO. Google рендерит JavaScript, но с задержкой (иногда дни для полного рендера). Для критичного контента — SSR или SSG обязательны. Проверяем через Search Console → Inspect URL → View Crawled Page: что видит Googlebot.

Internal linking. Орфанные страницы (нет входящих внутренних ссылок) теряют PageRank. Битые ссылки (404) — сигнал качества.

Что входит в работу

• Документация: отчёт с найденными проблемами, roadmap по приоритетам, тайминги для каждого этапа.
• Доступы: настройка мониторинга (SpeedCurve, Sentry Search Console), передача dashboard.
• Обучение: разбор типичных ошибок для вашей команды (1–2 созвона).
• Поддержка: сопровождение в течение месяца после деплоя — проверка метрик, фикс регрессий.

Свяжитесь с нами — мы оценим ваш проект за 2 дня и покажем, сколько позиций можно вернуть за счёт технического SEO. Опыт работы с проектами уровня сотен тысяч посещений в месяц — гарантируем измеримый результат в Core Web Vitals до/после. Закажите аудит в этой форме — получите персональный чек-лист из 15 пунктов.