Создать парсер модульного типа для сбора данных из одного из перечисленных в ТЗ источников.

Целью является разработка парсеров веб-скрейпинга для одного из перечисленных веб-сайтов, извлечение заданных полей данных и обогащение полученной информации. Проект будет использовать Python для написания сценариев, SQLite или PostgreSQL для хранения данных, Redis для кэширования и Vue.js / Django для пользовательского интерфейса.

1. Требования к стеку технологий

Базы данных: SQLite или PostgreSQL (обсуждается с исполнителем).
Очереди и асинхронность: Redis.
Язык программирования: Python 3.9 - 3.10.
Фреймворк для интерфейса: Vue.js / Django.
Возможность включать или выключать модуль парсинга ( планируется в дальнейшем создать все 4 модуля )


2. Пользовательский агент и прокси-серверы:
Чередование пользовательских агентов.
Ротация прокси-серверов для стабильной производительности.

Обработка ошибок:
Детализировать подход к обработке ошибок.

Хранение данных:

Определить схему базы данных для SQLite или PostgreSQL.
Интерфейс (Vue.js / Django):

Разработать пользовательский интерфейс с панелью мониторинга, параметрами конфигурации, поиском, выгрузкой данных, подключением/отключением модулей и прокси.


P.S. Мы планируем реализовать все модули перечисленные в ТЗ поэтапно, поэтому досчитываем на долгосрочную работу.