Скарпинг сайта с автоподгрузкой страниц, срочно

10 000 руб. за проект
25 января 2022, 13:12 • 11 откликов • 68 просмотров
Есть сайт, который показывает при входе на страницу только 30 товаров из каталога, и догружает остальные данные при скролинге сайта вниз. Нужно сделать решение (скрипт с каким-то обвесом), который заходит на сайт, скроллит до низа и сохраняет результирующий HTML страницы в текстовый файл в заданную папку. В идеале на node, но можно рассмотреть python или PHP. Приоритет - простота настройки и нетребовательность к ресурсам. Сайт может защищаться от парсинга, скорее всего понадобится или headless browser или что-то типа https://github.com/jsdom/jsdom


Срочная задача, надо сделать сегодня.