Описание задачи:

Цель: Ускорить инференс модели, разработанной для уникализации текстов, в 2 раза.

Исходные данные:

• Репозиторий модели пришлю в лс

• Модель использует T5ForConditionalGeneration с нестандартными параметрами lex_diversity и order_diversity

Требования:

1. Анализ текущей реализации: Ознакомиться с текущей реализацией модели и понять, где можно оптимизировать процесс инференса.

2. Оптимизация кода: Предложить и реализовать изменения в коде, направленные на ускорение инференса. Это может включать оптимизацию алгоритмов, использование более эффективных библиотек, улучшение параллелизма и т.д.

3. Оптимизация параметров: Рассмотреть возможность оптимизации параметров lex_diversity и order_diversity для улучшения производительности, не теряя качества генерации текста.

4. Тестирование и валидация: Провести тестирование до и после оптимизации, чтобы убедиться, что скорость инференса возросла в 2 раза, а качество работы модели осталось на прежнем уровне.

5. Документация: Подготовить подробную документацию по внесённым изменениям, чтобы команда могла понять и поддерживать новые улучшения.

Инфраструктура: Инфраструктура для тестирования, включая доступ к машине с GPU, будет предоставлена.

Ожидаемые результаты:

• Ускорение инференса модели в 2 раза.

• Сохранение качества работы модели на прежнем уровне.

• Подробная документация по внесённым изменениям.

Инфраструктура: Т