ETL: автоматизация подготовки данных

2 000 руб. за проект
15 декабря 2024, 18:03 • 2 отклика • 21 просмотр
Добрый день. Нужно выполнить задание по учебе, но имеются проблемы с установкой Airflow.

1 задание: Построение пайпланов и визуализация потоков данных в Airflow

— Зарегистрируйтесь в ОрепWeatherApi (https://openweathermap.org/api) (могу дать свою учетную запись)
— Создайте ETL, который получает температуру в заданной вами локации, и
дальше делает ветвление:
• В случае, если температура больше 15 градусов цельсия — идёт на ветку, в которой есть оператор, выводящий на
экран «тепло»;
• В случае, если температура ниже 15 градусов, идёт на ветку с оператором, который выводит в консоль «холодно».
Оператор ветвления должен выводить в консоль полученную от АРI температуру.
— Приложите скриншот графа и логов работы оператора ветвленния.

2 задание

1. Скачайте файлы boking.csv, client.csv и hotel.csv; (файлы находятся по ссылке: https://drive.google.com/drive/folders/1pg_oXbfGoT...)
2. Создайте новый dag;
3. Создайте три оператора для получения данных и загрузите файлы. Передайте дата фреймы в оператор трансформации;
4. Создайте оператор который будет трансформировать данные:
— Объедините все таблицы в одну;
— Приведите даты к одному виду;
— Удалите невалидные колонки;
— Приведите все валюты к одной;
5. Создайте оператор загрузки в базу данных;
6. Запустите dag.

Срок: 18 декабря


Отзывы
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Заказчик
Очень быстрое и качественное выполнение задания! Рекомендую данного исполнителя!))
~ 7 часов назад
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Фрилансер
Было предоставлено полное техническое задание, быстрая коммуникация, своевременная оплата. Рекомендую к сотрудничеству!
~ 7 часов назад