Сделать/адаптировать пайплайн для fine - tune LLM

30 000 руб. за проект
16 ноября 2023, 19:34 • 4 отклика • 35 просмотров
Необходимо создать законченный скрипт для обучения LLM на основе переданного датасета в формате Alpaca (instruct, input, output).
На входе: – путь к датасету – путь к конфигурационному файлу – название выходной модели
На выходе в папке (=название выходной модели):
– GGUF файл. Где базовая модель уже объединена с LORA
– LORA адаптер в подпапке с название lora_название_модели
В качестве базовой модели по умолчанию TheBloke\LLAMA2-13B-HF
При этом желательно в качестве базовой модели иметь возможность загружать либо
По умолчанию сделать файл с базовой моделью LLAMA2.
——
Передача параметров —config —dataset —outputfile
Python 3.7 - 3.10 (на выбор)
Poetry
Работа в репозитории