Добрый день.

Требуется консультация по тому, как правильно с архитектурной и инфраструктурной точки зрения задеплоить в прод большую модель ИИ.

Модель разработана не с нуля, на базе существующей ИИ-модели (GPT-like) на мощностях Google Colab, размер модели ~3гб, с 99% вероятностью нужно использование мощностей GPU, в идеале хотелось бы задеплоить на serverless облаке с оплатой за объем/время вычислений c автомасштабированием пропорционально количеству запросов (если такое возможно).

В рамках консультации необходимо будет рассказать:
1. Общий вопрос: какие бывают инфраструктурные решения для деплоя соответствующих моделей (dedicated, vps, serverless и любые другие) и какое из типов решений лучше выбрать под мою задачу.
2. Конкретный вопрос: какое на данный момент оптимальное решение для деплоя моей модели в РФ и вне РФ по следующим критериям в порядке убывания - наиболее низкая стоимость, гибкость тарифов и конфигураций, наиболее богатый функционал, простота использования.
3. Какой фреймворк лучше использовать, чтобы обернуть модель в API.
4. Какую технологию лучше использовать, чтобы оптимизировать и минимизировать количество ресурсов под параллельные запросы пользователей к модели (допустим на вычисления выделено 16гб GPU, если к модели будет обращаться 3 пользователя одновременно, то память скорее всего израсходуется, как избежать таких ситуаций и при этом не переплачивать за доп. ресурсы)
5. После обсуждения и выбора решения, необходимо будет посчитать потенциальную стоимость решения по нескольких обсужденным вариантам.

Объем консультации: не более 1 часа в режиме звонка

Требование к специалисту: актуальный опыт разработки и деплоя больших моделей ИИ в прод. При отклике просьба описать, какой опыт у вас был на конкретных примерах (дата проекта, что за модель, какое количество конечных пользователей ей пользовалось, где/на чем решение задеплоено).

Цену за часовую консультацию предлагайте на свое усмотрение.