Архитектура приложения:

Приложение состоит из
- front(веб-приложение)
- back-end (серверная часть)

Работать будем над back-end'ом - он состоит из back-офиса и worker'ов.
Задачи back-офиса:
- формировать очередь заданий на сбор данных,
- обрабатывать собранные данные (аггрегировать, мержить из разных источников и прочее),
- отдавать данные на фронт
- выполнять задания, получаемые с фронта.

Worker выполняет задачу из очереди заданий и результаты возвращает в офис/в базу.

Стек: С# + PostgreSQL + Hangfire для организации распределенной работы с очередью заданий.
После тестов под рабочей нагрузкой не исключаем замены БД на Clickhouse и Hangfire как механизма очереди.

Детальное ТЗ есть, простор для творчества и выбора способов решения задач - тоже есть)
Бюджет обсуждаем.