Парсер JSON-ответов с оповещением в telegram асинхронно

5 000 руб. за проект
25 ноября 2023, 11:49 • 15 откликов • 177 просмотров
Нужно написать парсер на Питоне.
Есть написаные небольшие скрипы (т.е. 40% работы) их надо обьеденить в один и сделать асинхронным (быстрым). Нужно писать так, чтобы можно было добавлять сайты с немного отличающейся структурой ответов без костылей.

Есть 1 вид сайтов с API, делаем запрос получаем метку и по этой метке делаем еще 1 запрос по АПИ - все ответы в JSON. записываем в массив. Немного отличается структура у разных сайтов, но это видно в скрипте который сейчас есть. Там уже 5 сайтов опрашивается линейно по очереди.

есть 2ой вид сайтов с API там мы получаем ответ ищем что надо (уже реализовано стоп слова и ключевые слова) и из этих данных получаем ссылку на статью. Скачеваем статью тупа как HTML парсим на некоторый текст (контакты телеграм сайт и телефон) это не раелизовано

Этими действиями заполняем массив

Потом сравниваем, что было 1 минуту назад в массиве и новинку отсылаем через ТГ (1 запрос сразу на первый контак 2 ой на другой контакт с задержкой в 5 минут) (есть tg-бот т.е. просто get запрос делаем). Т.е. когда чтото новое появляется один узнает сразу другой через 5 минут. Записываем (дописываем) в CSV файл, так же все ответы JSON от серверов должны логироваться в папку.

В массиве есть поле время - надо 1 раз в час перебирать массив смотреть у кого время еще не вышло и рассылать его перебором с помощью функции TelegramClient


PS: Я сам программирую, но плохо. По этому просьба писать код не очень сложно с ООП, и мы будем разговаривать на одном языке.
Полное тз по запросу.