Парсер dewu (poizon) api
50 000 руб. за проект
Есть мобильные приложения poizon (как запасной вариант - dewu), агрегатор товаров а-ля Алиэкспресс. Сайта с товарами у них нет.
Из вариантов решения проблемы с хэшами в заголовках запросов есть несколько идей:
- Запуск контейнера с android, вызов приложения через adb, прехват трафика через mitmproxy (mitmdump), последующий анализ трафика. После чего контейнер закрывается, а новые заголовки уходят в работу. По поводу mitmproxy, можно использовать любые другие решения, которые смогут запускаться в консольном режиме, а так же поддерживать запросы через прокси, выделение отдельных портов. Например ./mitmweb --listen-port <PORT> --mode upstream:http://<HOST_PROXY>:<PORT_PROXY> --upstream-auth <LOGIN_PROXY>:<PASSWORD_PROXY>
- Либо реверс инжиниринг и повторение их кода по генерации заголовков. Device id должен быть разным, так как планируется использование прокси.
https://www.poizonapp.com/product/, https://cdn-fast.dewu.com/nezha-plus/detail/652260... можно использовать в ознакомительных целях (анализ заголовков и js кода). Но необходимого количества товаров там нет.
Эти сайты абсолютно не подходят unicorngo.ru, poizonshop.ru.
- Необходимо на основании анализа запросов мобильного приложения (желательно под android) реализовать методы обращения к api. Интересует получение: брендов, категорий, товаров, возможно доп.информации на основании анализа трафика. Т.е. запросы должны отправляться значительно долгое время без использования мобильного приложения.
- Полностью парсер реализовывать не нужно. Нужна именно логика построения заголовков запроса. Для построения своего парсера. Язык - любой, но в последующем я буду переносить Ваши фрагменты кода на nodejs.
- Запросы не должны приводить к блокировке ip или прокси (например показ капчи), чаще чем раз в сутки. С частотностью запросов 1 раз в 30-60 секунд.
- Готовым решением является простой скрипт, который получает все товары из какой-нибудь категории, с последующими запросами всех товаров из неё. Который может проработать больше суток без капчи.
Из вариантов решения проблемы с хэшами в заголовках запросов есть несколько идей:
- Запуск контейнера с android, вызов приложения через adb, прехват трафика через mitmproxy (mitmdump), последующий анализ трафика. После чего контейнер закрывается, а новые заголовки уходят в работу. По поводу mitmproxy, можно использовать любые другие решения, которые смогут запускаться в консольном режиме, а так же поддерживать запросы через прокси, выделение отдельных портов. Например ./mitmweb --listen-port <PORT> --mode upstream:http://<HOST_PROXY>:<PORT_PROXY> --upstream-auth <LOGIN_PROXY>:<PASSWORD_PROXY>
- Либо реверс инжиниринг и повторение их кода по генерации заголовков. Device id должен быть разным, так как планируется использование прокси.
https://www.poizonapp.com/product/, https://cdn-fast.dewu.com/nezha-plus/detail/652260... можно использовать в ознакомительных целях (анализ заголовков и js кода). Но необходимого количества товаров там нет.
Эти сайты абсолютно не подходят unicorngo.ru, poizonshop.ru.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.