Сборщик мусора из БД и заполнение внешней таблицы

10 000 руб. за проект
24 ноября 2022, 08:02 • 4 отклика • 26 просмотров
Необходимо собирать из БД на ClickHouse данные по регионам и контенту, количеству уникальных пользователей.

1. Считаем уников по регионам
2. Считаем контент по регионам
3. Считаем контент по уникам

Регионы и контент могут быть в разных раскладках и в разном регистре или вообще "левые". Поэтому у них считаем уников и добавляем к стандартным.

Итоговый результат сохраняем в таблицу.

Скрипт буду запускать например раз в час, соответственно в таблице будет нарастающий итог:

Таблица регионы:
timestamp region uniq
2022-11-24 12:00:00 Москва 100000

Таблица контент:
timestamp channel uniq
2022-11-24 12:00:00 Первый канал 50000

Таблица контент-регион:
timestamp channel region uniq
2022-11-24 12:00:00 Первый Москва 30000
2022-11-24 12:00:00 Россия1 Москва 20000

Города: список из 125 основных городов. Все города и регионы, которые не соответствуют списку распределяется подсчет уников равномерно в ТОП20
Контент: список из 100 основных каналов (взять список Первый и второй мультиплекс плюс основные из списка ТРИКОЛОР ТВ): все каналы и левые записи, которые не соответствуют списку распределяется равномерно подсчет уников в первый и второй мультиплексы.

Язык: python
БД ClickHouse
Отзывы
R50 cfb484fc14790a02518655876012cbb8
Заказчик
Хороший исполнитель. Буду на постоянке сотрудничать.
~ 2 года назад
Avatar r50 a6ce93fe35b158fd29ba0e8681c918c22117160e9586a56eee4ffbc20df9bda1
Фрилансер
 
~ 2 года назад