Мы с важной новостью: с 28 февраля 2025 года сервис Хабр Фриланс прекратит свою работу.

Купить услуги можно до 28 февраля 2025, но пополнить баланс уже нельзя. Если на вашем счете остались средства, вы можете потратить их на небольшие услуги — служба поддержки готова поделиться бонусами, на случай, если средств немного не хватает.
R50 7b61f8c9525c544c3853f8505344bcd5
python backend developer

Парсер сайта объявлений

Добавлено 27 июн 2024 в 23:49
Парсер собирает данные с объявлений по категориям и выводит результат в csv файл. Парсер написан на языке python с использованием стека: Selenium, Beautiful Soup, Requests, Tkinter, PostgreSQL, asyncio, aiohttp, threading, ruCaptcha, proxy. Работает в нескольких режимах. Сначала выбирается категория, затем происходит сбор ссылок объявлений по заданной категории, затем идет сам сбор данных. В процессе сбора данных на сайте присутствует информация, которая скрыта за капчей, парсер решает ее, и записывает полученные данные в БД. Сбор данных осуществляется в 2- режимах: однопоточном и многопоточном (от 10 до 20 потоков), что ускоряет сбор данных. Сбор исходных данных (ссылок) также осуществляется в асинхронном многопоточном режиме до 30 потоков.

stack - csv, thread, json, aiohttp, asyncio, proxy, СУБД postgresql, beautifulsoup, gui, requests, selenium, python
8487305d67