Сделать многопоточный парсинг

Цена договорная
16 июня 2024, 18:01 • 16 откликов • 80 просмотров
Сделать парсинг сайта на котором больше 100млн страниц, на каждой из которых по 20 записей .
Из каждой записи нужно нужно вытащить только две колонки (поля) с типом строка (до 128 символов).

API у сайта вроде нет, так что придется парсить HTML (без защиты и капчи)

Т.к. страниц и данных много, то парсинг нужно сделать многопоточным.
Условия:
1) Возможность масштабирования до N потоков (при уточнении деталей можем договориться на конкретное кол-во страниц в рамках одного потока)
2) Возможность указать с какой по какую страницу должен отрабатывать парсинг
3) Возможность поставить парсинг на нескольких серверах, но чтобы данные складывались в одну БД

Сервер(-а) для работы предоставлю. Стек на ваше усмотрение, также как и БД.

Оплата и сроки договорная.
Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Заказчик
ну это просто топ:
1) быстро (первые наброски парсинга были готовы через 20 минут)
2) информативно (предоставлена нормальная и понятная инструкция по запуску)
3) качественно (давал на код ревью знакомым ребятам, не смогли ни к чему придраться)

Крайне рекомендую, буду обращаться еще
27 дней назад
Приятный в общении и понятливый заказчик, оплату выполняет своевременно. Однозначно рекомендую.
27 дней назад