Парсер платформы интернет-магазинов

10 000 руб. за проект
21 февраля 2023, 17:24 • 6 откликов • 149 просмотров
Добрый день!

У меня есть потребность спарсить все интернет магазины на платформе deer.is и понять объем их продаж за месяц по каждому товару.
Сама по себе работа требует только знание python + requests / BeautifulSoup, немного аналитики (pandas и прочее). Насколько я понимаю, никаких прокси не понадобится, всё довольно легко ищется.
Скрипт необходим только на python, другие языки я не рассматриваю из-за незнания оных.

Этапы:

1. Собрать ключевые слова и найти максимум магазино. Нужно попарсить топ-магазинов, которые в рекламе находятся (или в разделе каталог этого сайта). Для начала просто сохранить таблички с продуктами. Оттуда извлечь топ самых популярных ключевых слов, скажем 1000. Потом уже по ключевым словам найти
через https://rents.page/ru/search/ максимально все магазины, составить список.
2. По списку интернет-магазинов распарить html, свести в одну табличку список товаров по каждому интернет-магазину. Т.е. получаем скрипт, при запуске которого получаем список интернет-магазинов, и табличку с всем товарам интернет-магазина.

Этапы 1-2 легкие, заплачу за скрипт отдельно.

3. Нужно запустить по cron скрипт каждый час. Дам отдельно VPS, чтобы там можно было развернуть всё. Нужно, чтобы скрипт был стабильным и не падал при ошибке скрапинга.
Хочу данные за месяц, поэтому нужно будет подождать месяц, проверять периодически чтобы данные нормально получались.
4. Потом построить отчёт по продажам. Продажи считаем так: первоначально 0. Смотрим разницу за час, если количество уменьшиется то на разницу увеличиваем счётчик. Если увеличивается, значит аккаунты добавили, счётчик не меняем. Ещё считаем сколько времени продавался, т.е. дату первой точки и последней когда появлялся (если пропал).
5. По итогу получаем большую таблицу, примерный вид такой: магазин, название таблицы в магазине, id товара, название товара, цена продажи мин, цена продажи макс (цены в долларах и руб), количество мин, количество макс, количество проданных, дата начала продажи, дата окончания продажи, период продажи.

За эти этапы 3-5 заплачу потом, как месяц пройдет сбора данные и как данные получите и сведёте всё.

Напишите пару слов о себе и сколько хотите за это задание.