Цель: разработать приложение, реализующее сбор данных об актуальных объявлениях на сайтах онлайн бирж (см. файл со списком url) и высылающее их в виде карточек (или файлов, см. Уточнения) в Телеграм.
Уточнения
- Бот должен анализировать объявления каждый час и высылать все изменения в виде карточек;
- Должна быть реализована функция, позволяющая высылать полный список актуальных (опубликованных на данный момент) объявлений (в виде файла в формате csv).
Задачи Проект состоит из 4-х крупных частей:
- Парсинг сайта Хабр (за 1 час и за все время);
- Парсинг сайта KWork (за 1 час и за все время);
- Парсинг сайта fl.ru (за 1 час и за все время);
- Создание ТГ бота с интерфейсом, состоящим из единственной кнопки - запроса на парсинг всех страниц за последние 24 часа. Остальной функционал (запросы к страницам каждый час) выполняется автоматически.
Замечания
- В процессе реализации бота для удобства в интерфейс меню была добавлена кнопка, позволяющая сделать проверку на наличие новых объявлений за последний час, чтобы у пользователя не было необходимости ждать автоматического обновления базы.
- Была добавлена реализация ООП и многопоточности, что позволило сократить время работы программы по сбору данных.
