Собрать данные из API rtrt.me (ETL)
Цена договорная
API rtrt.me представляет собой несколько методов:
POST /listings - список событий
POST /event/im-nice - инфо о событии (список подсобытий)
POST /event/im-nice/men-age-group/ - подсобытие и список участников
POST /event/im-nice/men-age-group/profiles/X1YCZ - результаты участника
Задача по расписанию последовательно вызвать эти методы и собрать возвращаемые данные в postgres. ETL необходимо упаковать в DAG на airflow. Трансформации делать не нужно. По итогам обработки события записать в очередь (в постгресе) информацию о завершении для дальнейшей обработки данных. ETL не должно повторно обрабатывать уже собранные данные.
Важно уметь пользоваться Charles или любым другим web proxy, так как описание API в официальной документации соответствует реальности лишь частично. Ознакомиться с реальной можно скачав мобильное приложение вот тут: https://www.ironman.com/app-tracking-information
Приложение лимитирует кол-во обращений в секунду по токену, нужно разобраться по какому принципу он генерируется. Скорее всего потребуется интегрировать библиотеку через которую вызывается API с прокси сервисом, например Zyte Smart Proxy или любым другим удобным.
В качестве приемки необходимо показать выгруженные данные за последний год. Документировать и как-то особенно передавать знания не нужно, но краткое описание (3-4 поинта) того как развернуть все это может быть полезно.
Пожалуйста, укажите в отклике ориентировочный бюджет и краткое описание того, каким вы видите реализацию задачи.
POST /listings - список событий
POST /event/im-nice - инфо о событии (список подсобытий)
POST /event/im-nice/men-age-group/ - подсобытие и список участников
POST /event/im-nice/men-age-group/profiles/X1YCZ - результаты участника
Задача по расписанию последовательно вызвать эти методы и собрать возвращаемые данные в postgres. ETL необходимо упаковать в DAG на airflow. Трансформации делать не нужно. По итогам обработки события записать в очередь (в постгресе) информацию о завершении для дальнейшей обработки данных. ETL не должно повторно обрабатывать уже собранные данные.
Важно уметь пользоваться Charles или любым другим web proxy, так как описание API в официальной документации соответствует реальности лишь частично. Ознакомиться с реальной можно скачав мобильное приложение вот тут: https://www.ironman.com/app-tracking-information
Приложение лимитирует кол-во обращений в секунду по токену, нужно разобраться по какому принципу он генерируется. Скорее всего потребуется интегрировать библиотеку через которую вызывается API с прокси сервисом, например Zyte Smart Proxy или любым другим удобным.
В качестве приемки необходимо показать выгруженные данные за последний год. Документировать и как-то особенно передавать знания не нужно, но краткое описание (3-4 поинта) того как развернуть все это может быть полезно.
Пожалуйста, укажите в отклике ориентировочный бюджет и краткое описание того, каким вы видите реализацию задачи.
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.