Парсер сайта с экспортом в XLSX
10 000 руб. за проект
Здравствуйте.
Цену и сроки хоте бы услышать от вас.
А так же язык реализации проекта
Сайт: https://clck.ru/ZKEQ5
Требуется, чтоб парсер записывал полученную информацию в БД и в XLSX файл для BACKUP
При записи в БД должна сохраняться информация текущем проходе по сайту, предыдущая и еще два перед этим. Все остальные проходы получения информации не нужны и должны удаляться.
XLSX - по окончанию прохода по сайту создавать XLSX файл с указанием даты и времени окончания похода.
Парсер должен работать циклически, окончил проход и сразу начал новый.
*проход - перебор всего каталога сайта (/catalog/)
Парсер должен поддерживать прокси socks5 с логин и паролем (если его указывают в конфиге к парсеру)
При получении ошибки при запросе сайта (бан по IP или подставная страница (не страница товара) или банальна сайт не работает timeout по запросу в 10 сек или работы на сайте) должен циклически (интервал прохода и перехода сайта на сайт товара, который должен быть выведен так же конфиг) делать запрос (ломиться) пока не получить корректный ответ.
На 20ой ошибке уведомление по email, но не прекращать получать доступ к каталогу
Так же в конфиг выноситься параметр логин и пароль от личного кабинета на сайте без него не веды некоторые параметры.
При перезагрузке парсера, работа начинается заново. Важно XLSX не генерируется так как он должен создаваться после окончания работы.
При паузе выполнения работа парсера приостанавливается и продолжается с того же места где была остановилась (например при установке прокоси).
В конфиг нужно вынести в сколько потоков будет выполняться парсер, если больше одного, то это означает увеличение его скорости. Ну и как выше уже было указано в конфиг нужно вынести интервал запросов новой станицы каталога.
Пример XLSX файла с первыми двумя строчками прикрепляю
Цену и сроки хоте бы услышать от вас.
А так же язык реализации проекта
Сайт: https://clck.ru/ZKEQ5
Требуется, чтоб парсер записывал полученную информацию в БД и в XLSX файл для BACKUP
При записи в БД должна сохраняться информация текущем проходе по сайту, предыдущая и еще два перед этим. Все остальные проходы получения информации не нужны и должны удаляться.
XLSX - по окончанию прохода по сайту создавать XLSX файл с указанием даты и времени окончания похода.
Парсер должен работать циклически, окончил проход и сразу начал новый.
*проход - перебор всего каталога сайта (/catalog/)
Парсер должен поддерживать прокси socks5 с логин и паролем (если его указывают в конфиге к парсеру)
При получении ошибки при запросе сайта (бан по IP или подставная страница (не страница товара) или банальна сайт не работает timeout по запросу в 10 сек или работы на сайте) должен циклически (интервал прохода и перехода сайта на сайт товара, который должен быть выведен так же конфиг) делать запрос (ломиться) пока не получить корректный ответ.
На 20ой ошибке уведомление по email, но не прекращать получать доступ к каталогу
Так же в конфиг выноситься параметр логин и пароль от личного кабинета на сайте без него не веды некоторые параметры.
При перезагрузке парсера, работа начинается заново. Важно XLSX не генерируется так как он должен создаваться после окончания работы.
При паузе выполнения работа парсера приостанавливается и продолжается с того же места где была остановилась (например при установке прокоси).
В конфиг нужно вынести в сколько потоков будет выполняться парсер, если больше одного, то это означает увеличение его скорости. Ну и как выше уже было указано в конфиг нужно вынести интервал запросов новой станицы каталога.
Пример XLSX файла с первыми двумя строчками прикрепляю
- Файлы
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.