Имеется проблема:
В рамках одного из проектов было собранно DWH на базе PostgreSQL.
Для скорости работы были организованны мат представления.
Для загрузки части данных используется airbyte.
При обновлении данных airbyte удаляет исходные таблицы и postgresql удаляет мат представления, что в следствии ломает все отчеты.
В качестве решения предполагается отказаться от postgresql в пользу clickhouse.
Доставка данных планиурется через airbyte.

Требуется реализовать:
1. Организовать инфраструктуру clickhouse - Написать docker-compose файл который будет развертывать clickhouse с нужными параметрами.
2. Подключить драйвер clickhouse к metabase - Организовать сборку сервиса metabase с драйвером для clickhouse на docker-compose.
3. Переписать\\Адаптировать материальные представления написанные для postgresql на clickhouse.
4. Организовать хранение кода материальных представлений в гит - написать скрипт на python для создания мат представлений из шага выше. Каждое мат представление лучше хранить как отдельный файл.
5. Переписать скрипт сбора данных из ERP (протокол OData) с powershell на python. Исходный скрипт 1400 строк кода.
6. Переписать скрипт расчета на базе мат представлений с powershell на python. Исходный скрипт Исходный скрипт 340 строк кода.