ETL: автоматизация подготовки данных
2 000 руб. за проект
Добрый день. Нужно выполнить задание по учебе, но имеются проблемы с установкой Airflow.
1 задание: Построение пайпланов и визуализация потоков данных в Airflow
— Зарегистрируйтесь в ОрепWeatherApi (https://openweathermap.org/api) (могу дать свою учетную запись)
— Создайте ETL, который получает температуру в заданной вами локации, и
дальше делает ветвление:
• В случае, если температура больше 15 градусов цельсия — идёт на ветку, в которой есть оператор, выводящий на
экран «тепло»;
• В случае, если температура ниже 15 градусов, идёт на ветку с оператором, который выводит в консоль «холодно».
Оператор ветвления должен выводить в консоль полученную от АРI температуру.
— Приложите скриншот графа и логов работы оператора ветвленния.
2 задание
1. Скачайте файлы boking.csv, client.csv и hotel.csv; (файлы находятся по ссылке: https://drive.google.com/drive/folders/1pg_oXbfGoT...)
2. Создайте новый dag;
3. Создайте три оператора для получения данных и загрузите файлы. Передайте дата фреймы в оператор трансформации;
4. Создайте оператор который будет трансформировать данные:
— Объедините все таблицы в одну;
— Приведите даты к одному виду;
— Удалите невалидные колонки;
— Приведите все валюты к одной;
5. Создайте оператор загрузки в базу данных;
6. Запустите dag.
Срок: 18 декабря
1 задание: Построение пайпланов и визуализация потоков данных в Airflow
— Зарегистрируйтесь в ОрепWeatherApi (https://openweathermap.org/api) (могу дать свою учетную запись)
— Создайте ETL, который получает температуру в заданной вами локации, и
дальше делает ветвление:
• В случае, если температура больше 15 градусов цельсия — идёт на ветку, в которой есть оператор, выводящий на
экран «тепло»;
• В случае, если температура ниже 15 градусов, идёт на ветку с оператором, который выводит в консоль «холодно».
Оператор ветвления должен выводить в консоль полученную от АРI температуру.
— Приложите скриншот графа и логов работы оператора ветвленния.
2 задание
1. Скачайте файлы boking.csv, client.csv и hotel.csv; (файлы находятся по ссылке: https://drive.google.com/drive/folders/1pg_oXbfGoT...)
2. Создайте новый dag;
3. Создайте три оператора для получения данных и загрузите файлы. Передайте дата фреймы в оператор трансформации;
4. Создайте оператор который будет трансформировать данные:
— Объедините все таблицы в одну;
— Приведите даты к одному виду;
— Удалите невалидные колонки;
— Приведите все валюты к одной;
5. Создайте оператор загрузки в базу данных;
6. Запустите dag.
Срок: 18 декабря
Отзывы
Очень быстрое и качественное выполнение задания! Рекомендую данного исполнителя!))
~ 7 часов
назад
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.