Модули для работы с бд и api написаны (комментарии по коду имеются)
Необходимо написать отдельные файлы с логикой для пула с потоками (использовать оптимальное количество потоков) или/и использовать async для парсинга данных. Есть
несколько нюансов:
1. Предметов, которые нужно парсить 652
2. Записей всего выйдет около 27млн, на один предмет может приходиться до 7 млн записей. То есть количество данных огромное
3.
Не смотря на огромное количество данных, есть проблемы api с которым
работаем: нельзя получить больше 200 предметов, а также нельзя делать
слишком много запросов. В хедере ответа приходят:
скрин запроса + хедеры
количество
оставшихся, время когда восстановятся все запросы. При запуске
многопотока надо это учитывать и нет смысла запускать слишком много
потоков, когда x-ratelimit-remaining = 0, то запросы отправленные после этого получают 429 ошибку.
4.
Сущность client для работы с базой данных -- не потокобезопасна,
поэтому работа в отдельных самое то
5. Токен рефрешить нельзя (плодить много запрещено)
Цены предлагайте, по времени: желательно до вс, если сможете сегодня -- очень круто