← Справочник

Robots.txt: что это и как изменить

Robots.txt задаёт правила обхода сайта для поисковых роботов. Он помогает ограничить обход ненужных адресов, но не заменяет защиту данных и запрет индексации.

Индексация и структура

Где находится и зачем нужен

Обычно файл открывается по адресу https://example.com/robots.txt. Правила действуют для своего протокола, домена и порта. Для поддомена нужен отдельный файл.

Через него можно ограничить обход служебных разделов. Закрывать весь каталог, стили или скрипты без проверки не стоит: роботу может понадобиться этот контент.

Как изменить

  1. Сохраните копию текущего файла. Уточните, формирует ли его CMS или он лежит в корне сайта.
  2. Внесите изменения через настройки CMS либо отредактируйте файл на сервере. Формат – обычный текст UTF-8, не документ Word.
  3. Добавляйте только нужные правила. Проверьте отдельно важные страницы и адреса, которые хотите закрыть.
User-agent: *
Disallow: /internal-search/
Sitemap: https://example.com/sitemap.xml

Пример для вымышленного сайта: закрыт обход адресов, начинающихся с /internal-search/. Подставьте свои пути.

Что проверить

Откройте опубликованный файл, проверьте его содержимое и доступность. Убедитесь, что нет случайного Disallow: / для всех роботов. Затем проверьте важные URL инструментами вебмастера.

Официальная справка

Рядом по теме