Парсинг больших данных

100 000 руб. за проект
07 ноября 2024, 07:35 • 32 отклика • 189 просмотров
Ищем в проект специалиста по парсингу с опытом в парсинге большого количества данных (2млн+) через сторонние API.

Требования:
  1. Изучение структуры целевых сайтов, оценка доступности их API и распределение частотности запросов (возможно, применение прокси для API с ограничениями)
  2. Разработать парсеры для каждого сайта, настроить логирование
  3. (ВАЖНО!) Фильтрация, очистка и нормализация данных. Именно поэтому важен опыт в работе с большими данными
  4. Создание структурированной базы данных
  5. Разработка механизма периодического обновления данных
  6. Составление инструкции для работы парсера
  7. Коммуникация с членами команды

Срок — не более 7 рабочих дней с момента подписания договора для пунктов 1.-4.
Цена указана в качестве прямой оплаты специалисту за работу в соответствии с ТЗ.

(!) Только индивидуальные специалисты, команды и компании не рассматриваются.
Отзывы
Хочу выразить огромную благодарность Вячеславу за оперативную работу, дисциплинированность и пунктуальность.

Вячеслав отлично справился с задачей и спарсил более 2млн. (!) записей по вакансиям, используя API. Справился со всеми трудностями и решил все поставленные задачи в кратчайшие сроки. Отлично понимает и умеет работать с базами данными. Всегда был на связи и присутствовал на созвонах.

В целом, если за парсингом — то теперь точно к Вячеславу, будем приглашать данного специалиста и в другие проекты. Рекомендую. Пожалуй, лучший опыт на данный момент :)
23 дня назад
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Фрилансер
Отличный заказчик, четкое тз, всегда на связи. Рекомендую.
23 дня назад