Сделать парсер на NodeJS / Puppeteer для сайта Crocs

Цена договорная
14 марта 2023, 13:37 • 5 откликов • 32 просмотра
https://www.crocs.co.uk/p/classic-clog/10001.html?cgid=men-footwear&cid=4JL#start=1

Сайт имеет защиту от ботов Kasada. Ее можно увидеть, если запросить ссылку выше через Curl: там будет iframe + JS challenge. Он ставит куку, с которой потом открывается уже нормальная страница.

Статья как это можно обойти вот здесь:
https://www.nullpt.rs/devirtualizing-nike-vm-1

Что должен делать парсер:
- запрашивать урл — если есть JS challenge, решать его
- на итоговой странице получать содержимое JS переменной window.app.product.data.cache (она есть в коде HTML страницы)

В случае удачного выполнения задания есть схожие задачи для других сайтов.