Консультация по оптимизации настроек и запросов БД ClickHouse
3 000 руб.за час
Нужна консультация по оптимизации настроек и запросов БД ClickHouse (в базе миллиарды строк!). Возможно по шардингу и прочим техникам БД.
Есть прототип сервиса аналитики маркетплейсов (аналог mpstats.io). Сервис выводит различные аналитические данные по категориям товаров, брендам, карточкам товаров за различные периоды. Сервис почти готов (бекенд, фронтенд, парсеры).
~ 65 млн. товаров и дальше будет больше
~ 1800 категорий товаров и дальше будет больше
~ 2 млн. товаров имеют хотя бы 1 продажу за каждый день и дальше будет больше
10+ довольно мощных серверов:
2x Xeon 2696 v4, 128 - 512 Gb DDR4, Nvme 3.2 TB Samsung PM1735, 256gb ssd (под ОС)
Сеть между серверами 40 Гбит/с.
Пока сервис при любых запросах к ClickHouse (например выгрузка товаров с продажами из категории "Женщинам" за последний месяц) очень сильно грузит сервер БД - сразу 50% ядер процессора (22 ядра, 44 потока Hyper Threading). При открытии нескольких вкладок аналитики разных категорий одним пользователем (например вкладок открыл в одном браузере) - БД совсем плохеет. 1 запрос явно не должен кушать столько ресурсов, известный мпстатс первые 2 года вообще на более слабых серверах работал.
Коротко используемые технологии в сервисе аналитики: Python, VueJS (Quasar), Ag Grid, PostgreSQL, ClickHouse, Hyper-V Server, Highload, parsing, FrontEnd, BackEnd.
Требования к исполнителю
Опыт работы с ClickHouse.
Желателен опыт работы непосредственно с подобными сервисами аналитики и БД ClickHouse и PostgreSQL.
Желательно, если дадите ссылку на Ваш GitHub или какие то работы из портфолио.
Порядок работы и оплаты
Сперва нужна консультация или серия консультаций. Цена указана за час консультации.
Согласовываем с исполнителем цену (строго в рублях) и сроки. Если условия устраивают и меня и вас - работаем!
Работаю строго без предоплат!
Есть прототип сервиса аналитики маркетплейсов (аналог mpstats.io). Сервис выводит различные аналитические данные по категориям товаров, брендам, карточкам товаров за различные периоды. Сервис почти готов (бекенд, фронтенд, парсеры).
~ 65 млн. товаров и дальше будет больше
~ 1800 категорий товаров и дальше будет больше
~ 2 млн. товаров имеют хотя бы 1 продажу за каждый день и дальше будет больше
10+ довольно мощных серверов:
2x Xeon 2696 v4, 128 - 512 Gb DDR4, Nvme 3.2 TB Samsung PM1735, 256gb ssd (под ОС)
Сеть между серверами 40 Гбит/с.
Пока сервис при любых запросах к ClickHouse (например выгрузка товаров с продажами из категории "Женщинам" за последний месяц) очень сильно грузит сервер БД - сразу 50% ядер процессора (22 ядра, 44 потока Hyper Threading). При открытии нескольких вкладок аналитики разных категорий одним пользователем (например вкладок открыл в одном браузере) - БД совсем плохеет. 1 запрос явно не должен кушать столько ресурсов, известный мпстатс первые 2 года вообще на более слабых серверах работал.
Коротко используемые технологии в сервисе аналитики: Python, VueJS (Quasar), Ag Grid, PostgreSQL, ClickHouse, Hyper-V Server, Highload, parsing, FrontEnd, BackEnd.
Требования к исполнителю
Опыт работы с ClickHouse.
Желателен опыт работы непосредственно с подобными сервисами аналитики и БД ClickHouse и PostgreSQL.
Желательно, если дадите ссылку на Ваш GitHub или какие то работы из портфолио.
Порядок работы и оплаты
Сперва нужна консультация или серия консультаций. Цена указана за час консультации.
Согласовываем с исполнителем цену (строго в рублях) и сроки. Если условия устраивают и меня и вас - работаем!
Работаю строго без предоплат!
В заказе есть исполнитель
При переводе заказа из архивного в актуальный, текущий исполнитель будет снят с задачи.
Выберите тип сделки
С безопасной сделкой вы всегда сможете вернуть средства, если что-то пойдет не так. С простой сделкой вы самостоятельно договариваетесь с исполнителем об оплате и берете на себя решение конфликтов.