Foundation Models Catalog: Быстрый старт

Последнее изменение: 23 апреля 2026

1. Создайте inference-сервис.
2. Подключитесь к inference-сервису.

1. Создать inference-сервис

1. Выберите модель.
2. Настройте инфраструктуру.
3. Настройте inference-сервис.
4. Подтвердите конфигурацию.

1. Выбрать модель

1. В панели управления в верхнем меню нажмите Продукты и выберите Foundation Models Catalog.

2. В карточке модели нажмите Создать.

3. Введите имя inference-сервиса.

4. Чтобы фильтровать inference-сервисы в списке, добавьте теги. Автоматически добавляется тег с названием модели. Чтобы добавить новый тег, в поле Теги введите тег и нажмите Enter.

5. Опционально: введите описание inference-сервиса. Например, укажите его назначение.

6. Нажмите Продолжить.

2. Настроить инфраструктуру

1. Задайте параметры модели.

   1.1. Выберите тип данных параметров модели.

   1.2. Выберите тип данных для KV-кэша.

   1.3. Выберите максимальную длину контекста.

2. Выберите конфигурацию inference-сервиса. При выборе учитывайте ожидаемые метрики производительности модели.

   После создания inference-сервиса конфигурацию изменить нельзя.

3. Нажмите Продолжить.

3. Настроить inference-сервис

1. Настройте количество inference-инстансов.

   1.1. Чтобы в сервисе было фиксированное количество инстансов, откройте вкладку Фиксированное и укажите количество инстансов.

   1.2. Чтобы в сервисе использовалось автомасштабирование, откройте вкладку С автомасштабированием и установите минимальное и максимальное количество инстансов. Количество инстансов будет меняться автоматически только в указанном диапазоне в зависимости от нагрузки на inference-сервис.

   Вы можете изменить количество inference-инстансов после создания inference-сервиса. Подробнее в инструкции Масштабировать inference-сервис.

2. Выберите тип диска для inference-инстанса.

3. Нажмите Продолжить.

4. Подтвердить конфигурацию

1. Проверьте итоговую конфигурацию inference-сервиса.

2. Проверьте цену inference-сервиса.

3. Нажмите Создать Inference-сервис. Создание inference-сервиса может занимать около 15 минут.

2. Подключиться к inference-сервису

Чтобы подключиться к inference-сервису, отправьте тестовый запрос через Completions API или Chat API.

Используйте Completions API для генерации текста на основе одного промта — без поддержки диалога или истории сообщений. Например, чтобы продолжить фразу, сгенерировать текст по шаблону или выполнить однократную генерацию.

Используйте Chat API для ведения диалога в режиме чат-бота — с учетом ролей и истории сообщений.

Completions API

1. Откройте CLI.

2. Отправьте тестовый curl-запрос:

curl <endpoint>/v1/completions \
-H "Authorization: Bearer <api_key>" \
-H "Content-Type: application/json" \
-d '{
"model": "<model>",
"prompt": "<prompt>",
"temperature": 0,
"max_tokens": 7
}'

Укажите:

• <endpoint> — эндпоинт inference-сервиса. Эндпоинт можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Быстрый старт → в блоке Endpoint нажмите ;

• <api_key> — API-ключ. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка API-ключи → в строке API-ключа нажмите , а затем ;

• <model> — название модели. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Сервис → строка Модель;

• <prompt> — промт, например:

  Объясни, что такое промт

Вы получите ответ в формате OpenAI API.

Chat API

1. Откройте CLI.

2. Отправьте тестовый curl-запрос:

curl <endpoint>/v1/chat/completions \
-H "Authorization: Bearer <api_key>" \
-H "Content-Type: application/json" \
-d '{
   "model": "<model>",
   "messages": [
      {
      "role": "<role_1>",
      "content": "<prompt_1>"
      },
      {
      "role": "<role_2>",
      "content": "<prompt_2>"
      }
   ]
}'

Укажите:

• <endpoint> — эндпоинт inference-сервиса. Эндпоинт можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Быстрый старт → в блоке Endpoint нажмите ;

• <api_key> — API-ключ. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка API-ключи → в строке API-ключа нажмите , а затем ;

• <model> — название модели. Можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Сервис → строка Модель;

• <role_1> — роль отправителя сообщения, например developer. Используется для структурирования диалога и сохранения контекста сообщений;

• <prompt_1> — промт для заданной роли, например:

  Ты виртуальный ассистент-помощник

• <role_2> — роль отправителя сообщения, например user. Используется для структурирования диалога и сохранения контекста сообщений;

• <prompt_2> — промт для заданной роли, например:

  Объясни, что такое промт

Вы получите ответ в формате OpenAI API.