Python: парсинг сайта с периодическим обновлением
9 000 руб. за проект
Адрес сайта дам по запросу, ниже есть скриншоты.
Необходимо создать скрипт, который будет обходить сайт и выкачивать отзывы.
Повторно обходить все страницы раз в месяц.
Хранить данные можно в текстовых файлах, pickle-дампах pandas или HDFStore.
Раз в день накопленные данные необходимо выгружать в XLS-файл (формат ниже).
Пожелания:
* Работает демоном или через supervisor.
* Можно запускать только одну копию.
* Асинхронный в одном экземпляре.
* Запретить повторный запуск, если уже запущен.
* Настройка через yml-файл.
* Выкачивание в N-потоков (через конфиг).
* Использовать заголовки стандартного обозревателя.
Формат XLS-файла:
* Ссылка
* Страна
* Порт
* Бренд
* Модель
* Тип
* Online booking: да/нет
* Тип отзыва (с текстом/без текста)
* Кол-во звезд
* Доп.инфа по отзыву: заголовок отзыва, месяц и год, имя и страна пользователя, дата создания отзыва
* Текст отзыва (если нет пустое поле)
Скриншоты для примера:
* https://prnt.sc/ocp5bo
* http://prntscr.com/ocoumh
* https://prnt.sc/oggs7t
Если видите в чем-то сложность или избыточность, можно обсуждать. Предлагайте цену, срок, методы и порядок оплаты. Пишите, если есть ИП, это предпочтительно.
Необходимо создать скрипт, который будет обходить сайт и выкачивать отзывы.
Повторно обходить все страницы раз в месяц.
Хранить данные можно в текстовых файлах, pickle-дампах pandas или HDFStore.
Раз в день накопленные данные необходимо выгружать в XLS-файл (формат ниже).
Пожелания:
* Работает демоном или через supervisor.
* Можно запускать только одну копию.
* Асинхронный в одном экземпляре.
* Запретить повторный запуск, если уже запущен.
* Настройка через yml-файл.
* Выкачивание в N-потоков (через конфиг).
* Использовать заголовки стандартного обозревателя.
Формат XLS-файла:
* Ссылка
* Страна
* Порт
* Бренд
* Модель
* Тип
* Online booking: да/нет
* Тип отзыва (с текстом/без текста)
* Кол-во звезд
* Доп.инфа по отзыву: заголовок отзыва, месяц и год, имя и страна пользователя, дата создания отзыва
* Текст отзыва (если нет пустое поле)
Скриншоты для примера:
* https://prnt.sc/ocp5bo
* http://prntscr.com/ocoumh
* https://prnt.sc/oggs7t
Если видите в чем-то сложность или избыточность, можно обсуждать. Предлагайте цену, срок, методы и порядок оплаты. Пишите, если есть ИП, это предпочтительно.
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.
Анатолий замечания закрыл оперативно. На возникшие вопросы ответил.
Работать было удобно. Можно обращаться.