Разработать 2 модуля python для парсинга JSON и загрузки в BigQuery

15 000 руб. за проект
20 августа 2020, 14:13 • 6 откликов • 78 просмотров
Необходимор разработать 2 модуля парсинга JSON-файлов и последующей загрузки данных из них в хранилище BigQuery

Модуль парсинга
Модуль должен поддерживать работу с 3 типами JSON-файлов (будут разложены по отдельным папкам)
Модуль должен загружать из указанной папки все JSON-файлы или не более X файлов (параметр)
Модуль должен распознавать содержимое JSON-файлов и формировать dataframe для последующей загрукзки в BigQuery

Модуль загрузки данных в BigQuery
Модуль должен иметь функции для создания необходимых таблиц в BigQuery
Модуль должен иметь методы загрузки dataframe с экзамлярами сущности в соответствующие таблицы BigQuery

Дополнительно для обсуждения
Требуется метод для загрузки из хранилища списка идентификаторов основных сущностей и их статуса
Требуется возможность обновления сущностей в базе по id корневой сущности
У меня уже готов прототип парсера и модуля загрузки в BQ на примере одной из сущностей, требуется определить оптимальный состав таблиц для хранения всех сущностей в BQ

Примеры JSON-объектов можно скачать по ссылке
https://dropmefiles.com/Ypa6P