Foundation Models Catalog: Быстрый старт

Создайте inference-сервис.
Подключитесь к inference-сервису.

1. Создать inference-сервис

Выберите модель.
Настройте инфраструктуру.
Настройте inference-сервис.
Подтвердите конфигурацию.

1. Выбрать модель

В панели управления в верхнем меню нажмите Продукты и выберите Foundation Models Catalog.
В карточке модели нажмите Создать.
Введите имя inference-сервиса.
Чтобы фильтровать inference-сервисы в списке, добавьте теги. Автоматически добавляется тег с названием модели. Чтобы добавить новый тег, в поле Теги введите тег и нажмите Enter.
Опционально: введите описание inference-сервиса. Например, укажите его назначение.
Нажмите Продолжить.

2. Настроить инфраструктуру

Задайте параметры модели.

1.1. Выберите тип данных параметров модели.

1.2. Выберите тип данных для KV-кэша.

1.3. Выберите максимальную длину контекста.
Выберите конфигурацию inference-сервиса. При выборе учитывайте ожидаемые метрики производительности модели.

После создания inference-сервиса конфигурацию изменить нельзя.
Нажмите Продолжить.

3. Настроить inference-сервис

Настройте количество inference-инстансов.

1.1. Чтобы в сервисе было фиксированное количество инстансов, откройте вкладку Фиксированное и укажите количество инстансов.

1.2. Чтобы в сервисе использовалось автомасштабирование, откройте вкладку С автомасштабированием и установите минимальное и максимальное количество инстансов. Количество инстансов будет меняться автоматически только в указанном диапазоне в зависимости от нагрузки на inference-сервис.

Вы можете изменить количество inference-инстансов после создания inference-сервиса. Подробнее в инструкции Масштабировать inference-сервис.
Выберите тип диска для inference-инстанса.
Нажмите Продолжить.

4. Подтвердить конфигурацию

Проверьте итоговую конфигурацию inference-сервиса.
Проверьте цену inference-сервиса.
Нажмите Создать Inference-сервис. Создание inference-сервиса может занимать около 15 минут.

2. Подключиться к inference-сервису

Completions API
Chat API

Используйте Completions API для генерации текста на основе одного промта — без поддержки диалога или истории сообщений. Например, чтобы продолжить фразу, сгенерировать текст по шаблону или выполнить однократную генерацию.

Откройте CLI.
Отправьте тестовый curl-запрос:

curl https://<inference_service_uuid>.wc.<pool>.inference.selcloud.ru/v1/completions \
-H "Authorization: Bearer <api_key>" \
-H "Content-Type: application/json" \
-d '{
"model": "<model>",
"prompt": "<prompt>",
"temperature": 0,
"max_tokens": 7
}'

Укажите:

<inference_service_uuid> — UUID inference-сервиса. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → в меню inference-сервиса выберите Скопировать UUID;
<pool> — пул, в котором создан inference-сервис, например ru-7. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → карточка inference-сервиса;
<api_key> — API-ключ. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка API-ключи → в строке API-ключа нажмите , а затем ;
<model> — название модели. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Сервис → строка Модель;
<prompt> — текстовый запрос к модели (промт), например:
```
Объясни, что такое промт
```

Вы получите ответ в формате OpenAI API.

Используйте Chat API для ведения диалога в режиме чат-бота — с учетом ролей и истории сообщений.

Откройте CLI.
Отправьте тестовый curl-запрос:

curl https://<inference_service_uuid>.wc.<pool>.inference.selcloud.ru/v1/chat/completions \
-H "Authorization: Bearer <api_key>" \
-H "Content-Type: application/json" \
-d '{
   "model": "<model>",
   "messages": [
      {
      "role": "<role_1>",
      "content": "<prompt_1>"
      },
      {
      "role": "<role_2>",
      "content": "<prompt_2>"
      }
   ]
}'

Укажите:

<inference_service_uuid> — UUID inference-сервиса. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → в меню inference-сервиса выберите Скопировать UUID;
<pool> — пул, в котором создан inference-сервис, например ru-7. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → карточка inference-сервиса;
<api_key> — API-ключ. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка API-ключи → в строке API-ключа нажмите , а затем ;
<model> — название модели. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Сервис → строка Модель;
<role_1> — роль отправителя сообщения, например developer. Используется для структурирования диалога и сохранения контекста сообщений;
<prompt_1> — текстовый запрос к модели (промт) для заданной роли, например:
```
Ты виртуальный ассистент-помощник
```
<role_2> — роль отправителя сообщения, например user. Используется для структурирования диалога и сохранения контекста сообщений;
<prompt_2> — текстовый запрос к модели (промт) для заданной роли, например:
```
Объясни, что такое промт
```

Вы получите ответ в формате OpenAI API.