Python. Парсер компаний с 18 ресурсов-агрегаторов - с сохранением в БД

45 000 руб. за проект
11 апреля 2022, 08:27 • 15 откликов • 150 просмотров
Добрый день, коллеги. За 10-15 дней работы предлагаем 45к рублей. Интересно? Заказ для разработчика, который давно и плотно работает с парсерами.

Список ресурсов для парсинга: sauni-moskva.ru, vsaunah.ru, zoon.ru, dvhab.ru, banisauni.ru (полный список https://docs.google.com/spreadsheets/d/1G7QOix-GMd... )

Что мы хотели бы получить на выходе:
Удобную админку с БД на Питоне, в которой можно:
- провести первиный парсинг компаний по заданному городу (например - Москва) и заданной тематике (например - сауны);
- спустя какой-то период времени (запуск парсера по Cron) - актуализировать информацию (список компаний, данные о компаниях, картинки) по выбранным источникам, по выбранным городам, по выбранной компании;
- с учетом дублирования одной и той же компании в разных источниках - актуализировать и дополнять итоговую информацию о компаниях;
- в итоговой таблице БД парсера на выходе - всегда должна содержаться актуальная и полная информация о компаниях по выбранной тематике по выбранному городу.

Стэк и оформление страниц админки - на усмотрение разработчика (Flask-admin - а поверх что-то похожее на AdminLTE, БД - SQLite).
Список страниц админки - на усмотрение разработчика (но достаточный для полноценного удобного управления работой Парсера).
Какие поля и картинки конкретно требуется парсить? Согласно имеющихся полей страницы Компании в паблике нашего проекта (минимальный и максимальный вариант https://drive.google.com/file/d/1u4xlXPxFeSkDCYVLq... )

Планируемый алгоритм работ:
- Выбираем из списка источников 2-3 любые (чтоб было с чего начать работать), готовим по ним наброски парсеров.
- Планируем структуру БД, делаем наброски страниц админки.
- Прорабатываем в БД итоговую таблицу результатов парсинга (поля согласно макету)
- Дорабатываем страницы админки управления работой парсинга
- Доделываем осташиеся источники (парсеры).

Планируемый бюджет проработки заказа "под ключ" - 45к. Если у Вас высокая карма на бирже - мы готовы работать по предоплате с БС. Иначе - оплата по результату (делаете на своем хостинге, проверяем, оплачиваем, переносим на основной хостинг Заказчика).
Это один из 5 необходимых нам для нашего проекта парсеров.

Прошу в мессенджеры на этапе обсуждения заказа не приглашать. Спасибо за понимание.