Как добавить запрет
Для HTML-страницы используйте настройку индексации в CMS или метатег внутри head:
<meta name="robots" content="noindex">Для файла, например PDF, можно передать HTTP-заголовок X-Robots-Tag: noindex.
Как проверить
- Убедитесь, что запрет появился в HTML или HTTP-заголовке именно нужной страницы.
- Проверьте, что robots.txt не мешает роботу прочитать noindex.
- Уберите этот URL из sitemap, если он не должен участвовать в поиске.
- Проверьте URL в Search Console и дождитесь повторного обхода. Исключение из поиска не происходит мгновенно.
Частые ошибки
Закрыть страницу только через robots.txt и ждать удаления из выдачи. Добавить noindex сразу ко всему шаблону, включая полезные страницы. Снять тег, но оставить запрет в HTTP-заголовке.