Скрапинг объявлений с двух сайтов

8 000 руб. за проект
03 февраля 2023, 02:03 • 15 откликов • 128 просмотров
Нужен скрапер объявлений с двух сайтов.
Первый: 5000 объявлений, без защиты от ботов, сделан на React
Второй: 1000 объявлений, есть sitemap, без защиты от ботов, нормальная html-разметка

Результатом работы должен стать JSON-файл со всей значимой информацией по каждому объявлению.
Требования к реализации:
— Работа через прокси
— Возможность настройки concurrency (количества параллельных запросов)
— Поддержка режима incremental сканирования (поиск и обработка только новых объявлений)

Реализацию хотелось бы видеть на Go, с использованием open-source библиотек, например https://github.com/gocolly/colly. Другие варианты тоже рассматриваются — предлагайте.
Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Заказчик
Проект выполнен на Go согласно заданию. Перед сдачей готового проекта один из обрабатываемых сайтов изменил своё API, однако Игорь быстро и без дополнительной платы адаптировал код, за что ему отдельная благодарность.

В оговоренные сроки уложиться, к сожалению, не получилось — было затрачено на пару дней больше, но для меня этот аспект не был критичным.

~ 1 год назад