Разобрать текущий ETL-процесс

3 000 руб. за проект
22 ноября 2024, 23:55 • 3 отклика • 20 просмотров
Есть реализованный ETL-процесс, который работает на python и sql ,и сначала парсит wf tsv yaml файлы из репозиториев гитлаба, обрабатывает и закидывает в БД. Обновляется БД при изменении этих файлов с помощью CI/CD конвейера. Сами скрипты также лежат в гитлабе.Мне нужна консультация, чтобы задать вопросы по теории, такие как, почему это решение реализовано именно так, какие есть альтернативные инструменты, системы и подходы реализации такого ETL процесса. Вообщем, чтобы вы смогли меня направить, что мне нужно исследовать, так как нужно мне это для исследования в дипломной работе