Питон трансформация данных на гугл-облаках

2 000 руб. за проект
26 февраля 2021, 01:28 • 3 отклика • 43 просмотра
Основная цель:
Маштабирование и устойчивость к ошибкам и сбоям.

Необходимо преобразовать данные.
1. Для этого нужно сначала скачать данные из таблицы хранящиеся в BigQuery (GCP).
2. Запустить на каждую строчку данных следующий bash скрипт:
!svgo image.svg --precision=1 --pretty -o new_image.svg
https://github.com/svg/svgo
3. Сохранить преобразованные данные.
4. Положить в новую таблицу в BigQuery.

Решение должно быть не в лоб, а маштабированное. Размер данных очень большой. Если процесс обрывается по середине, новый запуск должен продолжить начатую работу.
Потенциально несколько процессов должны иметь возможность обрабатывать данные параллельно.

Схема исходной таблицы:
url, content, query_time, batch_number, meta
Поле content содержит XML строку, - SVG картинку, которую нужно преобразовать.

Код должен быть написан на питоне в колабе, и хорошо документирован.
Отзывы
R50 30904a2a105a653aea3a01872a16ac1a
Заказчик
Очень талантливый разработчик. Рекомендую.
~ 3 года назад
R50 3a3d7a31606bdae1f0d29e65a945ad67
Фрилансер
Отличный заказчик, предоставил всё необходимое и поддерживал во время выполнения задачи! Рекомендую.
~ 3 года назад