R50 b4da497e708064ef24b0c1b59266074a
Python junior разработчик

Агрегации заказов с группы фриланс бирж с последующей выдачей в tg

Добавлено 12 сен 2022 в 11:16
Цель: разработать приложение, реализующее сбор данных об актуальных объявлениях на сайтах онлайн бирж (см. файл со списком url) и высылающее их в виде карточек (или файлов, см. Уточнения) в Телеграм.

Уточнения
  • Бот должен анализировать объявления каждый час и высылать все изменения в виде карточек;
  • Должна быть реализована функция, позволяющая высылать полный список актуальных (опубликованных на данный момент) объявлений (в виде файла в формате csv).
Задачи Проект состоит из 4-х крупных частей:

  • Парсинг сайта Хабр (за 1 час и за все время);
  • Парсинг сайта KWork (за 1 час и за все время);
  • Парсинг сайта fl.ru (за 1 час и за все время);
  • Создание ТГ бота с интерфейсом, состоящим из единственной кнопки - запроса на парсинг всех страниц за последние 24 часа. Остальной функционал (запросы к страницам каждый час) выполняется автоматически.
Замечания
  • В процессе реализации бота для удобства в интерфейс меню была добавлена кнопка, позволяющая сделать проверку на наличие новых объявлений за последний час, чтобы у пользователя не было необходимости ждать автоматического обновления базы.
  • Была добавлена реализация ООП и многопоточности, что позволило сократить время работы программы по сбору данных.
6724292bc1 8cca4f719f 7aa3abcb1c