Питон трансформация данных на гугл-облаках
2 000 руб. за проект
Основная цель:
Маштабирование и устойчивость к ошибкам и сбоям.
Необходимо преобразовать данные.
1. Для этого нужно сначала скачать данные из таблицы хранящиеся в BigQuery (GCP).
2. Запустить на каждую строчку данных следующий bash скрипт:
!svgo image.svg --precision=1 --pretty -o new_image.svg
https://github.com/svg/svgo
3. Сохранить преобразованные данные.
4. Положить в новую таблицу в BigQuery.
Решение должно быть не в лоб, а маштабированное. Размер данных очень большой. Если процесс обрывается по середине, новый запуск должен продолжить начатую работу.
Потенциально несколько процессов должны иметь возможность обрабатывать данные параллельно.
Схема исходной таблицы:
url, content, query_time, batch_number, meta
Поле content содержит XML строку, - SVG картинку, которую нужно преобразовать.
Код должен быть написан на питоне в колабе, и хорошо документирован.
Маштабирование и устойчивость к ошибкам и сбоям.
Необходимо преобразовать данные.
1. Для этого нужно сначала скачать данные из таблицы хранящиеся в BigQuery (GCP).
2. Запустить на каждую строчку данных следующий bash скрипт:
!svgo image.svg --precision=1 --pretty -o new_image.svg
https://github.com/svg/svgo
3. Сохранить преобразованные данные.
4. Положить в новую таблицу в BigQuery.
Решение должно быть не в лоб, а маштабированное. Размер данных очень большой. Если процесс обрывается по середине, новый запуск должен продолжить начатую работу.
Потенциально несколько процессов должны иметь возможность обрабатывать данные параллельно.
Схема исходной таблицы:
url, content, query_time, batch_number, meta
Поле content содержит XML строку, - SVG картинку, которую нужно преобразовать.
Код должен быть написан на питоне в колабе, и хорошо документирован.
Отзывы
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.