Бесконечный цикл для выполнения задач

Задача заключается в создании автоматизированного скрипта на Python, который будет собирать ссылки на товары с веб-сайта и сохранять их в файл. Скрипт должен выполняться ежедневно в определенное время и использовать Selenium для взаимодействия с веб-страницами. Основные шаги включают:

Настройка окружения:

Установка необходимых библиотек (Selenium, requests, schedule).

Настройка драйвера браузера (Firefox) для работы в безголовом режиме.

Сбор ссылок:

Чтение списка категорий из файла catalog_links. txt.

Открытие каждой категории и сбор ссылок на товары.

Прокрутка страницы до конца и обработка пагинации для сбора всех ссылок.

Проверка статуса кода:

Проверка доступности каждой ссылки перед началом сбора данных.

Обработка ошибок и повторные попытки при неудачных запросах.

Сохранение результатов:

Запись собранных ссылок в файл collected_elements. txt.

Обеспечение уникальности ссылок для избежания дублирования.

Планирование задачи:

Настройка ежедневного выполнения скрипта в определенное время с использованием библиотеки schedule.

Запуск второго скрипта:

После завершения основной задачи, запуск второго скрипта main_prod. py для дальнейшей обработки данных.