Коротко: robots.txt содержит правила для поисковых роботов. Он помогает управлять обходом, но не является универсальным способом скрыть страницу из поиска.
Что проверить
- файл доступен по точному адресу в корне сайта;
- правила не блокируют важные CSS, JavaScript и страницы;
- ссылка на sitemap актуальна, если она добавлена;
- синтаксис правил соответствует задаче.
Распространенная ошибка
Не используйте robots.txt вместо настройки индексации. Для конкретных ситуаций могут потребоваться мета-robots, канонический адрес или изменение структуры сайта.