Парсер нескольких сайтов
Цена договорная
Сделать парсер для нескольких сайтов, без разбора html страниц. Просто берем, собираем ссылки через sitemap, заходим на ссылку, выкачиваем html страницу полностью загруженного сайта, сохраняем в mongoDB (лучше в нее, на запись она работает быстро).
Один сайт около 500 000 страниц, другие около 100 000.
Собирать полностью все эти страницы и передевать мне не надо, просто собрать, проверить первые 10к по каждому сайту, чтобы работало, после установить на сервер, или распределить на несколько, и пусть работает, собирает остальные.
Установка нужна будет на дроплеты digitalocean, а для smart proxy есть Zyte. Т.е. чтобы парсер не блокировали, нужно будет продумать работу со смартпрокси Zyte.
Один сайт около 500 000 страниц, другие около 100 000.
Собирать полностью все эти страницы и передевать мне не надо, просто собрать, проверить первые 10к по каждому сайту, чтобы работало, после установить на сервер, или распределить на несколько, и пусть работает, собирает остальные.
Установка нужна будет на дроплеты digitalocean, а для smart proxy есть Zyte. Т.е. чтобы парсер не блокировали, нужно будет продумать работу со смартпрокси Zyte.
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.