Консультирование по проекту создания чата по документам на основе открытых языковых моделей (для личных целей)

Цена договорная
29 октября 2024, 14:14 • 7 откликов • 51 просмотр
Существует идея создать небольшой сервис для личного использования (предполагаю, что на основе PrivateGPT https://privategpt.dev/ или каких-то похожих по функционалу проектов с открытым кодом), которые должны уметь вести диалог на основании данных из предварительно загруженных документов, прежде всего научных статей, выдавая при ответе ссылки на документы из которых была получена информация для соответствующего ответа. В качестве языковой модели планируется локальное использование какой-либо модели с открытым исходным кодом, например llama3.
Т.е. с одной стороны нам необходимо предварительно загружать в некую базу данных интересующие нас документы прежде всего в формате pdf, включая сопроводительную информацию к ним типа автора, года издания и тд., в дальнейшем также нужна возможность добавлять новые, удалять старые или редактировать существующие документы в базе. Количество таких документов может быть достаточно велико, порядка нескольких тысяч.
Далее собственно в интерфейсе сервиса должна быть возможность задавать вопросы языковой модели и соответственно получать ответы на основании загруженных документов. При этом ответы должны содержать ссылки на указанные документы, желательно с возможностью отображения куска текста из документа где имеется эта информация и возможностью скачивания данного документа. Очень грубую схему примерного интерфейса прикладываю в файле.
Разместить данный сервис необходимо на хостинге, дабы имелась возможность заходить с различных устройств. Использование планируется буквально несколькими людьми поэтому необходимо сделать какой-то простую форму регистрации/входа, что вероятно позволит уберечься от посторонних пользователей и связанной с ними нагрузки.

Хотелось бы получить консультацию относительно реализации данного сервиса максимально подробную и максимально простым языком (так как заказчики от программирования и технических моментов максимально далеки): какие технологии лучше использовать, в какой последовательности, как можно сэкономить на реализации, возможно какая-то разбивка по этапам (так как проект некоммерческий, для личного использования больших затрат на него не планируется) и другую полезную и информацию по данной тематике.
Файлы