Собрать данные из API rtrt.me (ETL)

Цена договорная
02 декабря 2023, 13:25 • 6 откликов • 71 просмотр
API rtrt.me представляет собой несколько методов:
POST /listings - список событий
POST /event/im-nice - инфо о событии (список подсобытий)
POST /event/im-nice/men-age-group/ - подсобытие и список участников
POST /event/im-nice/men-age-group/profiles/X1YCZ - результаты участника

Задача по расписанию последовательно вызвать эти методы и собрать возвращаемые данные в postgres. ETL необходимо упаковать в DAG на airflow. Трансформации делать не нужно. По итогам обработки события записать в очередь (в постгресе) информацию о завершении для дальнейшей обработки данных. ETL не должно повторно обрабатывать уже собранные данные.

Важно уметь пользоваться Charles или любым другим web proxy, так как описание API в официальной документации соответствует реальности лишь частично. Ознакомиться с реальной можно скачав мобильное приложение вот тут: https://www.ironman.com/app-tracking-information

Приложение лимитирует кол-во обращений в секунду по токену, нужно разобраться по какому принципу он генерируется. Скорее всего потребуется интегрировать библиотеку через которую вызывается API с прокси сервисом, например Zyte Smart Proxy или любым другим удобным.

В качестве приемки необходимо показать выгруженные данные за последний год. Документировать и как-то особенно передавать знания не нужно, но краткое описание (3-4 поинта) того как развернуть все это может быть полезно.

Пожалуйста, укажите в отклике ориентировочный бюджет и краткое описание того, каким вы видите реализацию задачи.
Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Заказчик
 
1 год назад
R50 f45c21ab861873881ae66a7c057ae7f8
Фрилансер
Отличный заказчик
~ 1 год назад