Войти
Заказы Услуги Специалисты Проекты Клуб
Мы с важной новостью: с 28 февраля 2025 года сервис Хабр Фриланс прекратит свою работу.

Купить услуги можно до 28 февраля 2025, но пополнить баланс уже нельзя. Если на вашем счете остались средства, вы можете потратить их на небольшие услуги — служба поддержки готова поделиться бонусами, на случай, если средств немного не хватает.
R50 92b0e493024875e1d7d5e02273802af2
Александр Луговской
full stack web developer

парсер товаров с сайта office-class24_ru

Портфолио > Разработка / Боты и парсинг данных
Добавлено 02 фев 2023 в 16:26
Поделиться
репозиторий: https://gitlab.com/alexlugovsk/office-class24_ru

Разрабатывалось и тестировалось на Python 3.10


УСТАНОВКА

  1. Загрузите себе проект
  2. Создайте в папке с проектом виртуальное окружение и активируйте его


3. Установите зависимости из requirements.txt

Инструкция как выполнить пункт 2 и 3 смотрите в ответе на этот вопрос: https://ru.stackoverflow.com/questions/1147457/python-%D0%B4%D0%B5%D0%BF%D0%BB%D0%BE%D0%B9-venv


НАСТРОЙКИ
Настройки хранятся в константах в файле config.py
LIMIT_PRODUCTS_PARSE_FOR_CATEGORY - самая важная настройка в config.py. Количество товаров, которое нуджно спарсить в контексте одной категории. Измените этот параметр на '999999999' или нечто подобное, чтобы снять ограничение.


ИСПОЛЬЗОВАНИЕ
запустите скрипт run_parser.py из вашего созданного и активированного виртуального окружения.


ОСОБЕННОСТИ


  1. Файл logfile.log обнуляется при каждом запуске парсера. В этом файле можно посмотреть подробности работы парсера в реальном времени. Увидеть что именно сейчас делает программа.
  2. Каждый раз после отработки run_parser.py в файл results.xlsx добавляется новый лист формата ГОД.МЕСЯЦ.ДЕНЬ_ЧАС_МИНУТА_СЕКУНДА окончания работы парсера.
Cfcb34d344