Написать сервис для регулярного парсинга заданных сайтов в дашборд

25 000 руб. за проект
07 декабря 2021, 00:32 • 13 откликов • 100 просмотров
Допустим, есть сайт, который отдаёт данные о некоторых товарах, цены постоянно меняются (скажем, раз в 5 минут). При этом при заходе на страницу сначала показывается прелоадер, а потом в течении 10-30 секунд подгружаются и показываются понемногу товары. Сайт может иметь не очень сложную защиту от парсинга.

Таких сайтов несколько, для некоторых достаточно парсить ответ на запрос, для других нужен headless browser. Нужно разработать схему такого сервиса и написать скрипт или набор скриптов, которые будут работать в несколько потоков, собирая данные в какую-то БД. Кроме того, нужна страница, которая будет показывать сравнение цен по каждому выбранному диапазону.

Важное требование - нужно чтобы сервер для этого всего великолепия стоил, скажем, не более100 долларов в месяц.

Язык желательно один из Python, JS, Go, но можем обсудить другое.