Перейти по всем ссылкам в sitemap.xml в ubuntu

1 000 руб. за проект
19 июня 2021, 19:26 • 4 отклика • 46 просмотров
Реализовать на баше crawling по всем ссылкам в sitemap.xml во вложенных sitemap.xml https://bit.ly/3iQiG5j.

Т.е внутри xml, есть еще несколько xml, нужно получить ссылки со всех вложенных xml созданных yaost seo, а потом перейти по ним, при этом нужно после загрузить 100 файлов удалить загруженное и потом парсить дальше.
С файлами ничего делать не нужно, нужно просто загрузить их (прогреть кеш) и удалить.. ежедневно в 3 часа ночи должен запускаться cron)
Используйте user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKi t/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36’