Необходимо на наших данных обучить модель BERT (либо RoBert) для дальнейшего использования в Multi-label classification. Обучение модели с нуля необходимо так как слишком много слов которых нет в предобученной модели. Далее pretrain модель необходимо fine-tune под Multi-label classification. Данные и железо для обучения предоставим. Если вся задача целиком не по силам, можно разбить и взять только часть. Например только pretrain или только Multi-label classification. Либо только помощь в подготовке данных. В общем возможны варианты. Остальные детали при личном контакте.