Сайт с огромным числом страниц. Просто просканировать такой сайт штатной программой для аудитов не получится. Не хватит оперативной памяти, даже если добавить до максимально возможного объема.
Ранее мне уже доводилось аудировать сайты больших и огромных размеров. При аудите Rutube окончательно опробовал технику разбивки сайта на части.
Сначала предварительным сканированием собираю информацию о размерах основных разделов сайта. И по таблице с размерами готовлю пакеты разделов. Получилось всего 4. Самый большой папка Видео.
Это был единственный раздел, который не был просканирован полностью. Но в нём получилась качественная репрезентативная выборка страниц сайта. Ошибки, на которых типичные для всего раздела.
Остальные разделы просканированы и обработаны в полном объёме.
Из наиболее интересных замечаний найдены были: • Запрет на индексацию карт сайта Sitemap. • Использование в навигационных элементах ссылки с параметрами. • Внутренние ссылки без анкоров (текста или картинки с альтернативным текстом). • 3 важные канонизированные страницы, которые могли бы быть посадочными. • Определён источник-генератор пустых страниц и ссылок на них. • Обнаружена проблема с доступом к картам сайта Sitemap. • Обнаружены признаки не полного содержания данных в картах сайта. • Путаница с протоколами в адресах карт сайта Sitemap. • Неверные данные в картах сайта Sitemap.