Мы с важной новостью: с 28 февраля 2025 года сервис Хабр Фриланс прекратит свою работу.
Купить услуги можно до 28 февраля 2025, но пополнить баланс уже нельзя. Если на вашем счете остались средства, вы можете потратить их на небольшие услуги — служба поддержки готова поделиться бонусами, на случай, если средств немного не хватает.
python backend developer
Парсер контрольных (надзорных) и профилактических мероприятий (КНМ)
Добавлено
27 июн 2024 в 23:48
Парсер контрольных (надзорных) и профилактических мероприятий (КНМ) с ресруса ФГИС "Единый реестр проверок"
Парсер по заданному диапазону дат (период проведения) собирает всю доступную информацию по контрольно надзорным меропрятиям (КНМ) с сайта proverki.gov.ru (не только по списку, но и заходя в каждую карточку с детальной информацией) и записывает ее в БД с последующей выгрузкой полученных данных в таблицу (CSV и excel). Получение данных с ресурса защищено капчей - парсер успешно обходит данную защиту. Парсер написан на языке программирования python 3.11 с использованием базы данных sqlite, что избавляет пользователя от рутинной установки и настройки сторонней БД. Используемый стек: asyncio, aiohttp, aiosqlite, json, tkinter, pandas, csv, proxy, twocaptcha. Парсер работает в асинхронном режиме и с использованием массива прокси. На каждый запрос к сайту берется новый прокси из массива, тем самым достигается большая скорость обработки данных. Парсер может работать как на локальной машине, так и на удаленном сервере под управлением Linux. Также парсер работает на Windows. Парсер имеет два интерфейса взаимодействия: графический и консольный. Для ускорения получения данных, можно запускать несколько экземпляров парсера, к примеру один экземпляр - один месяц проведения КНМ, т.к. парсер не требователен к ресурсам и не нагружает систему.
stack - asyncio, sqlite, aiohttp, json, csv, pandas, sqlite3, base64, http, excel, console, gui, requests, python
Парсер по заданному диапазону дат (период проведения) собирает всю доступную информацию по контрольно надзорным меропрятиям (КНМ) с сайта proverki.gov.ru (не только по списку, но и заходя в каждую карточку с детальной информацией) и записывает ее в БД с последующей выгрузкой полученных данных в таблицу (CSV и excel). Получение данных с ресурса защищено капчей - парсер успешно обходит данную защиту. Парсер написан на языке программирования python 3.11 с использованием базы данных sqlite, что избавляет пользователя от рутинной установки и настройки сторонней БД. Используемый стек: asyncio, aiohttp, aiosqlite, json, tkinter, pandas, csv, proxy, twocaptcha. Парсер работает в асинхронном режиме и с использованием массива прокси. На каждый запрос к сайту берется новый прокси из массива, тем самым достигается большая скорость обработки данных. Парсер может работать как на локальной машине, так и на удаленном сервере под управлением Linux. Также парсер работает на Windows. Парсер имеет два интерфейса взаимодействия: графический и консольный. Для ускорения получения данных, можно запускать несколько экземпляров парсера, к примеру один экземпляр - один месяц проведения КНМ, т.к. парсер не требователен к ресурсам и не нагружает систему.
stack - asyncio, sqlite, aiohttp, json, csv, pandas, sqlite3, base64, http, excel, console, gui, requests, python
