Скрапинг объявлений с двух сайтов
8 000 руб. за проект
Нужен скрапер объявлений с двух сайтов.
Первый: 5000 объявлений, без защиты от ботов, сделан на React
Второй: 1000 объявлений, есть sitemap, без защиты от ботов, нормальная html-разметка
Результатом работы должен стать JSON-файл со всей значимой информацией по каждому объявлению.
Требования к реализации:
— Работа через прокси
— Возможность настройки concurrency (количества параллельных запросов)
— Поддержка режима incremental сканирования (поиск и обработка только новых объявлений)
Реализацию хотелось бы видеть на Go, с использованием open-source библиотек, например https://github.com/gocolly/colly. Другие варианты тоже рассматриваются — предлагайте.
Первый: 5000 объявлений, без защиты от ботов, сделан на React
Второй: 1000 объявлений, есть sitemap, без защиты от ботов, нормальная html-разметка
Результатом работы должен стать JSON-файл со всей значимой информацией по каждому объявлению.
Требования к реализации:
— Работа через прокси
— Возможность настройки concurrency (количества параллельных запросов)
— Поддержка режима incremental сканирования (поиск и обработка только новых объявлений)
Реализацию хотелось бы видеть на Go, с использованием open-source библиотек, например https://github.com/gocolly/colly. Другие варианты тоже рассматриваются — предлагайте.
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.
В оговоренные сроки уложиться, к сожалению, не получилось — было затрачено на пару дней больше, но для меня этот аспект не был критичным.