Разработка парсера

Цена договорная
15 июля 2024, 01:21 • 17 откликов • 153 просмотра
Поиск новых видео

Необходимо разработать парсер ютуба который сможет реализовать внутри себя 2 функции:

1. Поиск новых, только что загруженных видео. Нужно сохранять в базу данных - ссылки на такие видео с датой их загрузки и статистикой (количество просмотров/канал, количество подписчиков, количество комментариев, количество лайков/дизлайков, превью, регион, язык видео, длинна видео, описание)
Конфигурация:
1. Возможность указания что считать новым видео
2. Региона ютуба

2. Функция парсера который будет раз в сутки (интервал должен быть конфигурируемый) проходить по уже сохраненным записям в базе данных и добавлять обновленные статистику и сохранять это в хронологическом порядке.

Необходимо реализовать:
- Работа на сервере в фоновом режиме
- Поддержка конфигурирования партера
- Автоматическое восстановление работы в случае ошибок
- Поддержка списка прокси
- Обход капчи
- Возможность запуска большого количества экземпляров парсера одновременно что бы парсить в многопоточном режиме.
- Хочу получить в виде Docker контейнера.
- необходим первоначальный сетап на сервере (DO или AWS)

Желательно python, но другие варианты тоже рассматриваю.