Парсер сайта с экспортом в XLSX

10 000 руб. за проект
14 декабря 2021, 00:29 • 13 откликов • 140 просмотров
Здравствуйте.

Цену и сроки хоте бы услышать от вас.

А так же язык реализации проекта

Сайт: https://clck.ru/ZKEQ5

Требуется, чтоб парсер записывал полученную информацию в БД и в XLSX файл для BACKUP

При записи в БД должна сохраняться информация текущем проходе по сайту, предыдущая и еще два перед этим. Все остальные проходы получения информации не нужны и должны удаляться.

XLSX - по окончанию прохода по сайту создавать XLSX файл с указанием даты и времени окончания похода.

Парсер должен работать циклически, окончил проход и сразу начал новый.
*проход - перебор всего каталога сайта (/catalog/)

Парсер должен поддерживать прокси socks5 с логин и паролем (если его указывают в конфиге к парсеру)

При получении ошибки при запросе сайта (бан по IP или подставная страница (не страница товара) или банальна сайт не работает timeout по запросу в 10 сек или работы на сайте) должен циклически (интервал прохода и перехода сайта на сайт товара, который должен быть выведен так же конфиг) делать запрос (ломиться) пока не получить корректный ответ.
На 20ой ошибке уведомление по email, но не прекращать получать доступ к каталогу

Так же в конфиг выноситься параметр логин и пароль от личного кабинета на сайте без него не веды некоторые параметры.

При перезагрузке парсера, работа начинается заново. Важно XLSX не генерируется так как он должен создаваться после окончания работы.

При паузе выполнения работа парсера приостанавливается и продолжается с того же места где была остановилась (например при установке прокоси).

В конфиг нужно вынести в сколько потоков будет выполняться парсер, если больше одного, то это означает увеличение его скорости. Ну и как выше уже было указано в конфиг нужно вынести интервал запросов новой станицы каталога.

Пример XLSX файла с первыми двумя строчками прикрепляю
Файлы
Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Фрилансер
все отлично. грамотный заказчик, знает что ему нужно и как это получить.
~ 3 года назад