Представьте: на сайте сотни страниц с внешними ссылками. Через месяц после последнего аудита одна из ссылок перестала работать — ресурс удалили. Вы теряете позиции в поиске из-за битых ссылок (404 ошибок), а пользователи уходят с неработающей страницы. По данным Moz, более 30% пользователей покидают сайт при встрече с неработающей ссылкой. Каждая 404-ошибка — сигнал о низком качестве сайта для поисковых систем. Мы решаем эту проблему: настраиваем автоматическое сканирование всех ссылок по расписанию с уведомлениями о найденных ошибках. Вы получаете отчёт до того, как проблема повлияет на SEO или UX.
Почему битые ссылки вредят SEO?
Поисковые системы Google и Яндекс учитывают наличие неработающих ссылок при ранжировании. Каждая 404-ошибка — сигнал о низком качестве сайта. Особенно критичны битые ссылки в меню, футере и на целевых страницах — они напрямую влияют на поведенческие факторы. Автоматический мониторинг позволяет выявить проблему за минуты, а не дни. Google Search Console фиксирует 404-ошибки с задержкой, наш подход даёт актуальные данные в реальном времени. По нашим данным, своевременное обнаружение битых ссылок снижает показатель отказов на 15%.
Как работает автоматическая проверка?
Мы используем асинхронный краулер на Python с библиотекой aiohttp. Он параллельно обрабатывает до 20 ссылок, проверяя HTTP-статус каждой. При обнаружении ошибки (4xx, 5xx, таймаут) ссылка фиксируется с указанием реферера. После завершения сканирования формируется отчёт с полным списком битых линков и отправляется в выбранный канал (Slack, Telegram, email). Мы настраиваем уведомления так, чтобы вы получали ежедневный отчёт с краткой сводкой и ссылкой на полный CSV. Для сайта из 5000 страниц полное сканирование занимает около часа.
Пошаговый процесс настройки:
- Устанавливаем Python-окружение и зависимости (aiohttp, BeautifulSoup, Celery).
- Конфигурируем краулер: задаём стартовый URL, ограничения по домену, таймауты.
- Настраиваем планировщик Celery Beat для ежедневного запуска.
- Интегрируем уведомления в Slack или Telegram.
- Тестируем сценарий на тестовом стенде.
Техническая реализация
# broken_link_checker.py
import asyncio
import aiohttp
from urllib.parse import urlparse, urljoin
from bs4 import BeautifulSoup
from collections import defaultdict
class BrokenLinkChecker:
def __init__(self, base_url: str, concurrency: int = 20):
self.base_url = base_url
self.domain = urlparse(base_url).netloc
self.semaphore = asyncio.Semaphore(concurrency)
self.visited: set[str] = set()
self.broken: list[dict] = []
async def check(self) -> list[dict]:
async with aiohttp.ClientSession(
timeout=aiohttp.ClientTimeout(total=15),
headers={'User-Agent': 'LinkChecker/1.0'},
) as session:
await self.crawl(session, self.base_url, referrer='root')
return self.broken
async def crawl(self, session: aiohttp.ClientSession, url: str, referrer: str):
if url in self.visited:
return
self.visited.add(url)
async with self.semaphore:
try:
async with session.get(url, allow_redirects=True) as resp:
status = resp.status
if status >= 400:
self.broken.append({'url': url, 'status': status, 'referrer': referrer})
return
# Парсим только HTML страницы своего домена
if urlparse(url).netloc == self.domain and 'text/html' in resp.headers.get('Content-Type', ''):
html = await resp.text()
links = self.extract_links(url, html)
tasks = [self.crawl(session, link, url) for link in links if link not in self.visited]
await asyncio.gather(*tasks, return_exceptions=True)
except asyncio.TimeoutError:
self.broken.append({'url': url, 'status': 'timeout', 'referrer': referrer})
except Exception as e:
self.broken.append({'url': url, 'status': str(e), 'referrer': referrer})
def extract_links(self, base: str, html: str) -> list[str]:
soup = BeautifulSoup(html, 'lxml')
links = []
for tag in soup.find_all(['a', 'link', 'img', 'script'], href=True):
href = tag.get('href') or tag.get('src')
if href:
absolute = urljoin(base, href)
parsed = urlparse(absolute)
if parsed.scheme in ('http', 'https'):
links.append(absolute.split('#')[0])
return list(set(links))
Планировщик и уведомления
# scheduler.py (Celery Beat)
from celery import Celery
from broken_link_checker import BrokenLinkChecker
import asyncio
import requests
app = Celery('tasks', broker='redis://localhost:6379/0')
@app.task
def check_broken_links():
checker = BrokenLinkChecker('https://example.com', concurrency=15)
broken = asyncio.run(checker.check())
if not broken:
return {'status': 'ok', 'checked': len(checker.visited)}
# Отправляем отчёт в Slack
message = f"🔗 Найдено {len(broken)} битых ссылок:\n"
for item in broken[:10]: # Первые 10
message += f"• `{item['status']}` {item['url']}\n ← {item['referrer']}\n"
if len(broken) > 10:
message += f"...и ещё {len(broken) - 10}. Полный отчёт в CSV.\n"
requests.post(os.env['SLACK_WEBHOOK'], json={'text': message})
# Сохраняем в БД для истории
BrokenLinkReport.objects.create(
checked_at = timezone.now(),
total_links = len(checker.visited),
broken_count = len(broken),
details = broken,
)
return {'broken': len(broken)}
# Расписание: каждый день в 6:00
app.conf.beat_schedule = {
'daily-link-check': {
'task': 'scheduler.check_broken_links',
'schedule': crontab(hour=6, minute=0),
},
}
Как избежать нагрузки на сервер?
Краулер работает на отдельном сервере, не нагружая ваш хостинг. Мы настраиваем задержки между запросами и уважаем директивы robots.txt. Если сайт большой (более 10 000 страниц), разбиваем сканирование на этапы и используем распределённые очереди через Celery. Это гарантирует, что проверка не повлияет на производительность вашего сайта для реальных пользователей. Свяжитесь с нами, чтобы мы подобрали оптимальную конфигурацию для вашего проекта.
Технические детали обработки редиректов
Краулер следует за редиректами (allow_redirects=True) и фиксирует конечный статус. Если редирект ведёт на 404, это также считается ошибкой. Для цепочек редиректов используется максимальное количество переходов (по умолчанию 10).
Сравнение способов проверки ссылок
| Метод | Трудоёмкость | Частота | Точность |
|---|---|---|---|
| Ручная проверка | Высокая (4 часа на 500 страниц) | Раз в месяц или реже | Субъективная, пропуски |
| Автоматическая (наш подход) | Низкая (5 минут на 500 страниц) | Ежедневно | 100% сканирование всех ссылок |
Автоматическая проверка в 50 раз быстрее ручного прогона и исключает человеческий фактор. Наша команда имеет многолетний опыт в SEO-аудите и разработке скриптов для веб-анализа, выполнив более 100 проектов по автоматизации мониторинга ссылок.
Типичные ошибки при самостоятельной настройке
| Ошибка | Последствие | Наше решение |
|---|---|---|
| Отсутствие таймаута | Зависание на медленных ресурсах | Устанавливаем таймаут 15 секунд |
| Пропуск JS-ссылок | Неполное сканирование | Парсим полный HTML, включая динамически подгружаемые ссылки |
| Игнорирование рефереров | Сложно найти страницу-источник | Сохраняем referrer для каждого найденного URL |
Какие инструменты мы используем?
Основной стек: Python 3.11, aiohttp для асинхронных запросов, BeautifulSoup для парсинга HTML, Celery для планирования задач и Redis как брокер сообщений. Все инструменты с открытым исходным кодом и хорошо документированы.
Что входит в настройку
- Анализ структуры сайта — определяем объём ссылок, приоритетные разделы.
- Конфигурация краулера — настраиваем глубину обхода, ограничения по домену, таймауты.
- Расписание сканирования — задаём частоту (ежедневно, еженедельно) и время запуска.
- Интеграция уведомлений — подключаем Slack, Telegram или email, настраиваем формат отчёта.
- Тестирование — проверяем корректность работы на тестовом сценарии.
- Документация и поддержка — передаём инструкцию по эксплуатации, предоставляем месяц поддержки.
Сроки и стоимость
Настройка занимает от 1 до 2 рабочих дней. Стоимость рассчитывается индивидуально в зависимости от сложности. Мы гарантируем работу краулера без нагрузки на ваш сервер. Получите консультацию по настройке мониторинга битых ссылок уже сегодня.