Краулер для перевірки битих посилань на сайті
Битих посилань — 404-помилок — шкодять SEO та портять користувацький досвід. Краулер автоматично перевіряє всі внутрішні та зовнішні посилання сайту, знаходить нерозбійні та формує звіт з вказанням, на яких сторінках вони знаходяться.
Що перевіряє краулер
- Внутрішні посилання — сторінки всередині домену
- Зовнішні посилання — вихідні посилання на інші сайти
- Зображення — src-атрибути
- CSS/JS ресурси — завантаження статики
- Редиректи — ланцюги довше 2 переходів
Реалізація
Python з asyncio та httpx для паралельної перевірки, BeautifulSoup для парсингу HTML. Перевіряє статус-коди та ідентифікує проблемні посилання.
Формат звіту
CSV з колонками: broken_url, http_status, found_on_page, link_text. Готовий до імпорту в Google Sheets або Notion.
Час реалізації: 1–2 робочих дні.