Парсер (untappd.com) с использованием ресурсов Firebase + Google Cloud

16 000 руб. за проект
10 ноября 2020, 14:05 • 3 отклика • 46 просмотров
Задача состоит в том, чтобы создать автоматический парсер данных о пивоварнях, пиве и чекинах на Untappd (сайт без авторизации). Эту задачу можно разделить на несколько подзадач:

1) Создание триггера при добавлении новой пивоварни в БД для начала сбора данных (Firestore уже имеет такой функционал)
3) Сбор данных о чекинах (включая пивоварню, пиво и данные о чекине) с использованием Cloud Functions. На GitHub есть похожий скрипт, в котором нам нужно только изменить выбираемые данные. https://github.com/BrandonE/untappd-scraper-web
CLOUD FUNCTIONS исползуют JS, но можно перейти на PYTHON в GOOGLE CLOUD.
Пример пивоварни (https://untappd.com/rogueales)
4) Настройка динамического расписания для последующего парсинга (Google Cloud Task)
Файлы