Нужно создавать ботов которые через api будут получать данные, их чистить при необходимости и добавлять в базу данных. Иногда нужно будить писать ботов которые собирают информацию непосредственно с сайтов. Из определенных мест и так же их добавляют в БД или гуглтаблицы. Все боты должны работать по расписанию. Запускается по времени. Или запускается при добавление данных и указанием времени когда и какие данные они должны обновить. Нужна будет и поддержка существующих и новых ботов.