Налаштування robots.txt для Bitrix CMS
robots.txt контролює, які розділи сайта пошукові роботи можуть сканувати, а які — ні. Для типового Bitrix-сайта стандартний robots.txt "з коробки" зазвичай відсутній або містить тільки базові заборони. Правильне налаштування економить краулерський бюджет та виключає технічні сторінки з індексу.
Що закривати для Bitrix-сайта
Технічні шляхи, які не повинні індексуватися:
Disallow: /bitrix/
Disallow: /upload/iblock/
Disallow: /auth/
Disallow: /personal/
Disallow: /cart/
Disallow: /order/
Disallow: /search/?
Disallow: /catalog/*?*
Disallow: /?*
/bitrix/ — адміністративна панель, ядро, кеш.
/upload/iblock/ — оригінальні зображення. Пошуковій системі достатньо індексувати зображення через сторінки товарів, не через прямі URL.
/catalog/*?* — сторінки каталогу з параметрами (сортування, постраничная навигация). Виключення запобігає індексації дублів.
Управління через адміністративну панель
У Bitrix немає вбудованого візуального редактора robots.txt. Файл редагується прямо через Контент → Структура сайта → [корень] → robots.txt, або по FTP/SSH.
Модуль seo додає посилання на sitemap автоматично при генерації карти сайта. Перевірте, що в кінці файлу є рядок:
Sitemap: https://your-site.ru/sitemap_index.xml
Директиви для різних пошукових систем
Яндекс та Google підтримують директиви User-agent, Disallow, Allow, Crawl-delay та Sitemap. Для різних роботів можна задати різні правила:
User-agent: Yandex
Disallow: /catalog/*?*
Crawl-delay: 1
User-agent: Googlebot
Disallow: /catalog/*?*
User-agent: *
Disallow: /bitrix/
Disallow: /upload/tmp/
Disallow: /auth/
Crawl-delay: 1 для Яндекса — затримка 1 секунда між запитами. Використовуйте для сайтів на слабких серверах, щоб краулер не перевантажив хостинг.
Перевірка результату
Після внесення змін перевірте файл через інструменти вебмастерів:
- Яндекс.Вебмастер → Інструменти → Аналіз robots.txt
- Google Search Console → Інструменти → Тестування файлу robots.txt
Інструменти покажуть, закритий ли конкретний URL для конкретного робота.
Терміни виконання
Складання та налаштування robots.txt для типового Bitrix-сайта — 30–60 хвилин.