Нужна консультация по оптимизации настроек и запросов БД ClickHouse (в базе миллиарды строк!). Возможно по шардингу и прочим техникам БД.

Есть прототип сервиса аналитики маркетплейсов (аналог mpstats.io). Сервис выводит различные аналитические данные по категориям товаров, брендам, карточкам товаров за различные периоды. Сервис почти готов (бекенд, фронтенд, парсеры).
~ 65 млн. товаров и дальше будет больше
~ 1800 категорий товаров и дальше будет больше
~ 2 млн. товаров имеют хотя бы 1 продажу за каждый день и дальше будет больше

10+ довольно мощных серверов:
2x Xeon 2696 v4, 128 - 512 Gb DDR4, Nvme 3.2 TB Samsung PM1735, 256gb ssd (под ОС)
Сеть между серверами 40 Гбит/с.

Пока сервис при любых запросах к ClickHouse (например выгрузка товаров с продажами из категории "Женщинам" за последний месяц) очень сильно грузит сервер БД - сразу 50% ядер процессора (22 ядра, 44 потока Hyper Threading). При открытии нескольких вкладок аналитики разных категорий одним пользователем (например вкладок открыл в одном браузере) - БД совсем плохеет. 1 запрос явно не должен кушать столько ресурсов, известный мпстатс первые 2 года вообще на более слабых серверах работал.


Коротко используемые технологии в сервисе аналитики: Python, VueJS (Quasar), Ag Grid, PostgreSQL, ClickHouse, Hyper-V Server, Highload, parsing, FrontEnd, BackEnd.


Требования к исполнителю
Опыт работы с ClickHouse.
Желателен опыт работы непосредственно с подобными сервисами аналитики и БД ClickHouse и PostgreSQL.

Желательно, если дадите ссылку на Ваш GitHub или какие то работы из портфолио.


Порядок работы и оплаты
Сперва нужна консультация или серия консультаций. Цена указана за час консультации.
Согласовываем с исполнителем цену (строго в рублях) и сроки. Если условия устраивают и меня и вас - работаем!
Работаю строго без предоплат!