Настрйока Airflow кластреа, рекомендации по структуре дагов и рефакториг одного дага
Цена договорная
Необходимо настроить production кластер Airflow в облаке Yandex Cloud.
Характеристики "production" кластера:
1. Отказоустойчивость - ни один даг не виляет на другие доги и таски
2. Performance - кластер может параллельно обрабатывать сложные задачи по "перекладыванию" данных
3. Прозрачность - видно ошибки и скорость обработки задач
Также необходимо оптимизировать работу одного Дага. Python код работает, локально отрабатывает хорошо, но при запуске вместе с Airflow - падает или работает долго.
Суть Дага - скачиваем csv файл с Ftp (40гб) -> по строчно обрабатываем -> записываем в ClicHouse (объем порядка 200 млн строк)
Характеристики "production" кластера:
1. Отказоустойчивость - ни один даг не виляет на другие доги и таски
2. Performance - кластер может параллельно обрабатывать сложные задачи по "перекладыванию" данных
3. Прозрачность - видно ошибки и скорость обработки задач
Также необходимо оптимизировать работу одного Дага. Python код работает, локально отрабатывает хорошо, но при запуске вместе с Airflow - падает или работает долго.
Суть Дага - скачиваем csv файл с Ftp (40гб) -> по строчно обрабатываем -> записываем в ClicHouse (объем порядка 200 млн строк)
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.