R50 99beeff449ea0b7e41915ee52d48615f
Fullstack Python Developer

Python | Парсер 2-х гос. сайтов

Добавлено 19 мая 2023 в 21:45
Задача:
Написать парсер для гос. сайта для еженедельной автоматизации сбора аналитических данных.

Результат:
Рабочая многопоточная программа-парсер на Python с интерфейсом на pyqt5 и автоматической авторизацией (в том числе и через гос. услуги). В интерфейсе можно задавать параметры запроса и получать на выходе excel файл с готовой таблицей данных. В связке с парсером использовалась база данных PostgreSQL для хранения различных данных и истории отчетов, которые можно получать из интерфейса. + решение проблемы, когда один из сайтов не мог выгрузить данные за большой период времени и приходилось разбивать период на 2-3 части..

Экономия времени и избавление работников от нудной рутины. То, что люди делали вручную часа 2-3, теперь делается автоматически за минут ~10, а люди занимаются другими задачами.

Инструменты: python, requests_html, selenium, pandas, asincio, pyqt5, postgresql и др.
P.S: Более подробно описать проект и указать ссылки не могу, т.к сайт, который парсился, работает только из защищенной сети.
D4420bc838