Доработать парсер Instagram постов

Цена договорная
14 октября 2021, 15:17 • 2 отклика • 86 просмотров
Есть приложение-парсер учётных записей Instagram, разработанное на Python(scrapy/selenium/mongodb), развёрнутое на сервере в docker compose.

Требуется:

  • Доработать приложение для масштабирования в docker swarm
  • Доработать сохранение файлов, чтобы каждый узел сохранял данные в свою папку (сейчас, если запустить несколько инстансов, все будут писать в одну папку)
  • Развернуть систему мониторинга парсера – требуется статус каждого узла (онлайн/оффлайн) и алерты на почту при падении узла / ошибках в сервисе spider каждого узла

Добавить в приложение возможность повторного парсинга учётных записей:

  • Добавить кнопку, перезапускающую парсинг учётных записей со статусом broken (broken -> queued)
  • Добавить кнопку, перезапускающую парсинг всех учётных записей (старые посты не удаляются, просто подтягиваются новые), т.е. всем учётным записям ставится статус queued (broken/finished -> queued)
  • Для каждой учётной записи (строки в таблице) добавить кнопку, которая ставит эту учётную запись в очередь (статус queued)