Парсинг больших данных
100 000 руб. за проект
Ищем в проект специалиста по парсингу с опытом в парсинге большого количества данных (2млн+) через сторонние API.
Требования:
Срок — не более 7 рабочих дней с момента подписания договора для пунктов 1.-4.
Цена указана в качестве прямой оплаты специалисту за работу в соответствии с ТЗ.
(!) Только индивидуальные специалисты, команды и компании не рассматриваются.
Требования:
- Изучение структуры целевых сайтов, оценка доступности их API и распределение частотности запросов (возможно, применение прокси для API с ограничениями)
- Разработать парсеры для каждого сайта, настроить логирование
- (ВАЖНО!) Фильтрация, очистка и нормализация данных. Именно поэтому важен опыт в работе с большими данными
- Создание структурированной базы данных
- Разработка механизма периодического обновления данных
- Составление инструкции для работы парсера
- Коммуникация с членами команды
Срок — не более 7 рабочих дней с момента подписания договора для пунктов 1.-4.
Цена указана в качестве прямой оплаты специалисту за работу в соответствии с ТЗ.
(!) Только индивидуальные специалисты, команды и компании не рассматриваются.
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.
Вячеслав отлично справился с задачей и спарсил более 2млн. (!) записей по вакансиям, используя API. Справился со всеми трудностями и решил все поставленные задачи в кратчайшие сроки. Отлично понимает и умеет работать с базами данными. Всегда был на связи и присутствовал на созвонах.
В целом, если за парсингом — то теперь точно к Вячеславу, будем приглашать данного специалиста и в другие проекты. Рекомендую. Пожалуй, лучший опыт на данный момент :)