Есть скрипт сбора цен с сайтов.

Файлы скрипта лежат в Google Cloud по ссылке - https://console.cloud.google.com/storage/browser/r...

Внимание! Изменять какие-либо файлы в папках запрещено!

У скрипта есть боевая и тестовая версии. Боевая лежит в основной папке - retail-prices-parser, тестовая в подпапке debug. Файл конфигурации - parser.config, его стоит использовать в качестве примера/эталона.

Задача: создать новый config файл, который будет наполнен xpath путями и настройками по 30 новым сайтам. Протестировать работоспособность на нескольких примерах ссылок с сайта. Исключить ошибки.
Список сайтов - https://docs.google.com/spreadsheets/d/16vU7gGpUGj...
Вам нужно обработать 1 кластер (пронумерованы в столбце Batch#), в кластере 30 сайтов. Точный кластер обсудим с вами в чате, зафиксирую имя/ник в таблице, т.к. задачу делим по нескольким подрядчикам.

Скрипт проверяет/берет (параметры, которые нужны в config файле):
• открывается ли указанная страница, нет ли там ошибки - new_notFound
• price и currency всех товаров (их лотов), в зависимости от того, что доступно на сайте и что есть в БД, возможные значения 1 bottle, 2, 3, 6, 12, 24 bottles. Изменения фиксирует в new_price и new_currency.
• outOfStock. Если находит, что товар помечен, как отсутствующий, то ставит new_outOfStock=true.
• inStock - Если у какого-либо E-shop специально помечено, что товар есть в наличии (в случаях, когда нет пометки, что товара нет в наличии)
• excludesTax / includesTax - пометку, является ли взятая цена ценой с налогом или без налога
• new_image - берет изображение товара

Для отладки развернута страница в Google Colab для запуска отладки скрипта по ссылке - https://colab.research.google.com/drive/1puooGD3JU...

(!) Работать нужно только с папкой debug. Результат работ - новый config файл, нужно создать его и добавить в папку debug, назвать "parser_ваше_имя_дата.config".

Внимание! Сам файл parser.config трогать нельзя! Задача в том, чтобы создать такой же файл (но с другим названием) с результатом вашей работы.

Дополнительная информация:

Скрипт запускается ежедневно в 8.00 UTC, работает примерно сутки.

Доп комментарии, примечания:
• пакет, который использован для работы с xpath, для обращения к атрибутам использует img/@src
• изображения иногда не вытаскиваются, если xpath указан туда, где загрузка изображения lazy. Там, где url присутствует в месте без lazy лучше брать оттуда
• в parser.config файле есть мэпинг валют. Если в мэпинге нет того, что извлеклось с сайта, то в результе будет просто то, что извлеклось. Поэтому записи типа GBP -> GBP добавлять не надо.
• в config файле есть поле replace. В основном используется для корректного отображения цены, когда где-то используется запятая для отделения тысяч, или есть лишний пробел, что приводит к ошибке Price is not a number.