Необходимо написать скрипт на bash или python, который выполняет следующую последовательность действий:
1. Копирует данные из бакета с помощью gsutil;
2. меняет расширение файлов папке с xml.gz на xml;
3. создает архив с названием папки, например 2018/9/1/00.tar,gz
4. создает папку в DigitalOcean Spaces;
5. Загружает этот архив в соответствующую папку ;
6. Удаляет папку с несжатыми данными с промежуточного сервера после каждой успешной процедуры;
Исходный путь в бакете: gs://work/buh/reports/2018/9/1/0
Конечный результат должен загружаться на : https://reports/2018-9.sfo2.digitaloceanspaces.com
Итог:
gs://work/buh/reports/2018/9/1/0/*.xml.gz -> copy, rename, compress, upload, remove files -> reports/2018-9/0.tar.gz, ....1.tar.gz, 2.tar.gz