Разработка нового расширения для веб-интерфейса генерации текста https://github.com/oobabooga/text-generation-webui, которое обеспечивает интеграцию с ChromaDB.
Приложение может базироваться на https://github.com/oobabooga/text-generation-webui.. с учетом оптимизации под требования.
Цель состоит в том, чтобы предоставить пользователям возможность напрямую индексировать наборы данных в ChromaDB и доступ к ним через отдельную вкладку в веб-интерфейсе.

Требования

• Отдельная вкладка для ChromaDB: Расширение должно добавить новую вкладку в веб-интерфейс oobabooga, специально предназначенную для взаимодействия с ChromaDB.
• Прямая индексация в ChromaDB: Пользователи должны иметь возможность напрямую индексировать текстовые наборы данных (txt, pdf, csv) из веб-интерфейса в ChromaDB. Должна иметься возможность выбора не только отдельных документов, но и структур с автоматической привязкой всех документов в подпапках основной директории.
• Действие должно быть постоянным, чтобы данные сохранялись в ChromaDB на постоянной основе.
• Отображение индексированных документов: После индексации документы должны быть немедленно видны на новой вкладке, чтобы пользователи могли немедленно проверять и взаимодействовать с ними.
• Интеграция функциональности RAG: После индексации документов в ChromaDB должна быть возможность напрямую взаимодействовать с этими документами через меню "Chat" с использованием функциональности Retrieval-Augmented Generation (RAG) и крупных языковых моделей (LLMs).
• Включение/отключение расширения: Расширение должно быть доступно для включения или отключения через раздел "available extensions" в веб-интерфейсе oobabooga.
• При генерации запроса, в конце сгенерированного текста должна быть видна ссылка на документ, который быть взят для генерации через RAG

Документация

• Описание скриптов: Подробное описание реализованных скриптов, включая их функциональность и зависимости.
• Реализация: Пошаговое руководство по установке, настройке и использованию нового расширения. Включая инструкции по активации/деактивации расширения.
• Документация API: Документация интерфейсов для взаимодействия с ChromaDB, а также интеграции функциональности RAG