Разработать 2 модуля python для парсинга JSON и загрузки в BigQuery
15 000 руб. за проект
Необходимор разработать 2 модуля парсинга JSON-файлов и последующей загрузки данных из них в хранилище BigQuery
Модуль парсинга
Модуль должен поддерживать работу с 3 типами JSON-файлов (будут разложены по отдельным папкам)
Модуль должен загружать из указанной папки все JSON-файлы или не более X файлов (параметр)
Модуль должен распознавать содержимое JSON-файлов и формировать dataframe для последующей загрукзки в BigQuery
Модуль загрузки данных в BigQuery
Модуль должен иметь функции для создания необходимых таблиц в BigQuery
Модуль должен иметь методы загрузки dataframe с экзамлярами сущности в соответствующие таблицы BigQuery
Дополнительно для обсуждения
Требуется метод для загрузки из хранилища списка идентификаторов основных сущностей и их статуса
Требуется возможность обновления сущностей в базе по id корневой сущности
У меня уже готов прототип парсера и модуля загрузки в BQ на примере одной из сущностей, требуется определить оптимальный состав таблиц для хранения всех сущностей в BQ
Примеры JSON-объектов можно скачать по ссылке
https://dropmefiles.com/Ypa6P
Модуль парсинга
Модуль должен поддерживать работу с 3 типами JSON-файлов (будут разложены по отдельным папкам)
Модуль должен загружать из указанной папки все JSON-файлы или не более X файлов (параметр)
Модуль должен распознавать содержимое JSON-файлов и формировать dataframe для последующей загрукзки в BigQuery
Модуль загрузки данных в BigQuery
Модуль должен иметь функции для создания необходимых таблиц в BigQuery
Модуль должен иметь методы загрузки dataframe с экзамлярами сущности в соответствующие таблицы BigQuery
Дополнительно для обсуждения
Требуется метод для загрузки из хранилища списка идентификаторов основных сущностей и их статуса
Требуется возможность обновления сущностей в базе по id корневой сущности
У меня уже готов прототип парсера и модуля загрузки в BQ на примере одной из сущностей, требуется определить оптимальный состав таблиц для хранения всех сущностей в BQ
Примеры JSON-объектов можно скачать по ссылке
https://dropmefiles.com/Ypa6P
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.