Доброго времени суток .
Вкратце : есть код , который парсит сайт centraldispatch.com (вроде аукциона , где брокеры выставляют заказы на перевозку) . Используется AJAX и заказов может быть до 250 на странице, поэтому парсить надо с бэкенда . Прошлый программист закончил код , но у него не получилось упаковать код в docker . Нужно чтобы программа работала как минимум на винде и macOS , будь то докер или какое либо другое решение - мне без разницы . Также , программе должен будет выдаваться доступ, ключ , тоже на ваше усмотрение , сотрудников будет до 10 человек и может быть такое , что программу по уходу из компании могут забрать , нужно этого не допустить . Программа должна работать условно у десяти сотрудников , и каждый сотрудник будет запускать энное количество ссылок , от 1 и до 15 , допустим . Более подробно опишу в пм . Оставляйте свои контакты тг и краткое описание решения и примерных сроков . Всем спасибо за внимание!

Комментарий программиста , который писал код ,чтобы вам было легче разобраться(спасибо тебе)):

Цель проекта:
Получать новые продукты с ресурса как можно быстрее.

Описание проекта:
Есть парсер определенного ресурcа. Написан на python, для самого парсинга используется библиотека selenium и requests. Для управления временем запуска парсинга используется celery, сейчас установлено в каждую минуту. selenium используется для авторизации и получения токена (он нужен для формирования запросов), а requests для отправки запросов, которые и возвращают сами данные. После получения данных, они формируются и отправляются в телеграм.

Логика работы:
Из файла собираются ссылки для парсинга, каждая ссылка является указателем на отфильтрованный список продуктов. На каждую ссылку создается отдельный браузер, проходит авторизация и дальше - парсинг того отфильтрованного контента. Парсинг всех ссылок проходит одновременно, то есть процессов ровно столько сколько и ссылок, для этого используется библиотека multiprocessing.
По окончанию парсинга - фильтруются новые продукты, затем из них создается запись и отправляется в телеграм.

Проблема:
Все это работает до тех пор пока не происходит запуск с помощью docker compose.
При работе парсера через него возвращается такая ошибка:
AssertionError: daemonic processes are not allowed to have children.
Предыдущий программист не смог разобраться в этом.

Что нужно от вас:
От вас требуется решить эту проблему.

Если понадобится запись работы парсера, то могу скинуть ее. Как с использованием docker, так и без.
Если появятся вопросы по коду, то могу указать телеграм разработчика, который делал этот парсер.
Ветка, в которой находятся последние изменения - scraper_requests