Требуется натренировать словарь для определенного домена на заданном датасете.
Рабочий пример на другом датасете:
https://colab.research.google.com/github/google/sentencepiece/blob/master/python/sentencepiece_python_module_example.ipynb

Результатом задания является словарь и код на колабе (google colaboratory).
Интересует чистый, хорошо доументированный код.
Для этого проекта вам необходимо иметь рабочий активный GCP аккаунт.