IMAGEnizeGPT

Разговорный ассистент с модальностью изображений, который использует контекстуальные изображения (так называемые мемы) в диалоге с пользователем, что делает общение более живым и непринужденным.
Для обучения модели были собраны 2 датасета формата csv:

• Датасет с картинками и их описанием
• Датасет с контекстными диалогами и используемыми в них картинками

Для обучения и работы был использован русскоязычный CLIP, Fromage.
Обучение модели для подбора нужного изображения по контексту происходило с использованием метода нахождения минимального косинусного расстояния между эмбеддингом описания и эмбеддингом изображения.

Ссылка на Github проекта: IMAGEnize GPT