Парсер dewu (poizon) api

50 000 руб. за проект
17 ноября 2023, 12:53 • 1 отклик • 105 просмотров
Есть мобильные приложения poizon (как запасной вариант - dewu), агрегатор товаров а-ля Алиэкспресс. Сайта с товарами у них нет.

  1. Необходимо на основании анализа запросов мобильного приложения (желательно под android) реализовать методы обращения к api. Интересует получение: брендов, категорий, товаров, возможно доп.информации на основании анализа трафика. Т.е. запросы должны отправляться значительно долгое время без использования мобильного приложения.
  2. Полностью парсер реализовывать не нужно. Нужна именно логика построения заголовков запроса. Для построения своего парсера. Язык - любой, но в последующем я буду переносить Ваши фрагменты кода на nodejs.
  3. Запросы не должны приводить к блокировке ip или прокси (например показ капчи), чаще чем раз в сутки. С частотностью запросов 1 раз в 30-60 секунд.
  4. Готовым решением является простой скрипт, который получает все товары из какой-нибудь категории, с последующими запросами всех товаров из неё. Который может проработать больше суток без капчи.

Из вариантов решения проблемы с хэшами в заголовках запросов есть несколько идей:
- Запуск контейнера с android, вызов приложения через adb, прехват трафика через mitmproxy (mitmdump), последующий анализ трафика. После чего контейнер закрывается, а новые заголовки уходят в работу. По поводу mitmproxy, можно использовать любые другие решения, которые смогут запускаться в консольном режиме, а так же поддерживать запросы через прокси, выделение отдельных портов. Например ./mitmweb --listen-port <PORT> --mode upstream:http://<HOST_PROXY>:<PORT_PROXY> --upstream-auth <LOGIN_PROXY>:<PASSWORD_PROXY>
- Либо реверс инжиниринг и повторение их кода по генерации заголовков. Device id должен быть разным, так как планируется использование прокси.


https://www.poizonapp.com/product/, https://cdn-fast.dewu.com/nezha-plus/detail/652260... можно использовать в ознакомительных целях (анализ заголовков и js кода). Но необходимого количества товаров там нет.
Эти сайты абсолютно не подходят unicorngo.ru, poizonshop.ru.