Файл robots.txt - это текстовый файл, который содержит инструкции для поисковых роботов / систем, какие страницы сайта должны индексироваться, а какие нет.
Плюсы использования
файла robots.txt:- Уменьшение нагрузки на сервер. Поисковые роботы не сканируют ненужные страницы.
- Увеличение скорости загрузки сайта. Поисковые роботы не сканируют ненужные страницы - уменьшение времени загрузки сайта, что положительно скажется на пользовательском опыте.
- Защита конфиденциальной информации. Есть страницы, содержащие конфиденциальную информацию? Их можно заблокировать для сканирования поисковыми роботами с помощью файла robots.txt (и скрыть от обычных пользователей - с помощью Cloudflare).
- Улучшение SEO. Правильное использование файла robots.txt может повысить качество SEO сайта и увеличить его видимость в поисковых системах.
- Предотвращение дублирования контента.
Предлагаю:- Полную настройку файла robots.txt с Вашими пожеланиями.
Остальные пункты по Вашему желанию.
С помощью Cloudflare + 1000Р к услуге.- Сделать, чтобы: (robots.txt был доступен только поисковым системам - скрыть robots txt от посторонних глаз)
- Кэширование robots на стороне CloudFlare - чтобы не создавать нагрузку от ботов, которые обращаются к файлу.
