База имеет 5 млн сайтов, у каждого сайта есть текстовой массив фраз и слов, 1 млн сайтов содержат тематические рубрики (от 1 до 5).

Требуется присвоить рубрики всем сайтам указав балл.

Предпочтителен понятный статистический способ с применением TF-IDF, либо по выбору исполнителя.

Вычисления на нашем сервере.

Результат будет состоять из 2 таблиц:
1) Рубрика и массив слов с рейтингом TF-IDF
2) Сайт и массив рубрик с рейтингом