парсер товаров с сайта office-class24_ru

репозиторий: https://gitlab.com/alexlugovsk/office-class24_ru

Разрабатывалось и тестировалось на Python 3.10


УСТАНОВКА

1. Загрузите себе проект


2. Создайте в папке с проектом виртуальное окружение и активируйте его

3. Установите зависимости из requirements.txt

Инструкция как выполнить пункт 2 и 3 смотрите в ответе на этот вопрос: https://ru.stackoverflow.com/questions/1147457/python-%D0%B4%D0%B5%D0%BF%D0%BB%D0%BE%D0%B9-venv


НАСТРОЙКИ
Настройки хранятся в константах в файле config.py
LIMIT_PRODUCTS_PARSE_FOR_CATEGORY - самая важная настройка в config.py. Количество товаров, которое нуджно спарсить в контексте одной категории. Измените этот параметр на '999999999' или нечто подобное, чтобы снять ограничение.


ИСПОЛЬЗОВАНИЕ
запустите скрипт run_parser.py из вашего созданного и активированного виртуального окружения.


ОСОБЕННОСТИ

1. Файл logfile.log обнуляется при каждом запуске парсера. В этом файле можно посмотреть подробности работы парсера в реальном времени. Увидеть что именно сейчас делает программа.


2. Каждый раз после отработки run_parser.py в файл results.xlsx добавляется новый лист формата ГОД.МЕСЯЦ.ДЕНЬ_ЧАС_МИНУТА_СЕКУНДА окончания работы парсера.