Проанализировать проблемы, обнаруженные Яндекс Вебмастер

Цена договорная
29 декабря 2022, 11:25 • 16 откликов • 62 просмотра
После аудита сайта (сайт на движке dle) Яндекс вебмастер выдает следующие проблемы:
1) "Не найден файл robots.txt"
Файл есть на хостинге, доступен по ссылке, но Яндекс Вебмастер все равно выдает ошибку. Необходимо проверить доступность файла.
2) "Обнаружены нарушения или проблемы с безопасностью".
Есть большая вероятность, что проблема тоже связана с файлом роботс. Яндекс индексирует "мусорные" страницы (пагинация, архив и т.д) Из-за этого появляются дубли. Яндекс понижает сайт в выдаче


Задачи: 1) проверить корректность составления файла роботс, 2) доступность роботс для поисковиков, 3) Дать рекомендации по исправлению ситуации, связанной с дубляжом страниц при индексации.