Парсер сайта объявлений

Добавлено 27 июн 2024 в 23:49
Парсер собирает данные с объявлений по категориям и выводит результат в csv файл. Парсер написан на языке python с использованием стека: Selenium, Beautiful Soup, Requests, Tkinter, PostgreSQL, asyncio, aiohttp, threading, ruCaptcha, proxy. Работает в нескольких режимах. Сначала выбирается категория, затем происходит сбор ссылок объявлений по заданной категории, затем идет сам сбор данных. В процессе сбора данных на сайте присутствует информация, которая скрыта за капчей, парсер решает ее, и записывает полученные данные в БД. Сбор данных осуществляется в 2- режимах: однопоточном и многопоточном (от 10 до 20 потоков), что ускоряет сбор данных. Сбор исходных данных (ссылок) также осуществляется в асинхронном многопоточном режиме до 30 потоков.

stack - csv, thread, json, aiohttp, asyncio, proxy, СУБД postgresql, beautifulsoup, gui, requests, selenium, python
8487305d67