Добрый день!
Мы ищем эксперта по PostgreSQL и/или Clickhouse, с целью проконсультировать нас по вопросу решения задачи, коротко описанной ниже.
Дано:
Большой объем данных более 8 терабайт
Объемы работы с базой:
1) 50 000 000 inserts rows
2) 1 200 000 000 updates rows
3) 1 000 000 000 selects rows
На данный момент все данные на postgres + timescaleDB
Вся архитектура размещена на собственных виртуальных серверах в кластере из 5 физических серверов
Задача оптимизировать запросы и хранение данных, чтобы можно было получать аналитические данные по этим таблицам в максимально короткие срок, как пример, группировка и заполнение пробелов в таблице на 1 500 000 000 строк по месяцам для 300 000 итоговых результатов (одна строка это продукты разных брендов, итоговая выборка - это сумма столбцов, количество, среднее значение, а также более сложные аналитические расчеты и тд, группе за 30 дней, где каждый день это 50 000 000 записей продуктов для 300 000 брендов)
Архитектура размещается на собственных виртуальных серверах в кластере из 5 физических серверов

Пишите за дополнительной информацией и предлагайте свою цену