Парсинг категорий амазона

3 000 руб. за проект
21 сентября 2023, 12:08 • 4 отклика • 89 просмотров
Добрый день!

Необходимо спарсить все категории на американском амазоне.

Как результат, нужен примерно такой файл (это кстати актуальный полный список категорий амазона):
https://drive.google.com/file/d/1kI0X_XWwjuCvylnfJKeOu8IMurjDvrBW/view?usp=sharing

НО, в каждую строчку добавляем:
* id категории/узла (node id),
* ссылку на страницу данной категории
* список фильтров доступных в выдаче (названия фильтров и доступные опции внутри)
* минимальная цена в выдаче данной категории (для этого отдельный запрос с сортировкой) + средняя цена на первой странице с такой сортировкой
* максимальная цена в выдаче данной категории (для этого отдельный запрос с сортировкой) + средняя цена на первой странице с такой сортировкой
* средняя цена на дефолтной выдаче категории
* карточки товаров на трех страницах выдачи, что мы парсим (id, адрес картинки товара, название, цена)

То есть на каждую категорию/узел надо сделать 3 запроса для получения выдачи (для получения дефолтной выдачи категории, а также с двумя вариантами сортировки по цене). Получается, если знать url адреса категорий, то достаточно 75к запросов чтобы решить поставленную задачу.