Пример подключения к inference-сервису из Open WebUI

Цель подключения

Подключиться к inference-сервису из Open WebUI через выделенный эндпоинт, чтобы взаимодействовать с моделью через чат-бот.

Что нужно для подключения

inference-сервис;
Open WebUI Virtual Machine из AI-маркетплейса с конфигурацией:
- без графического процессора (GPU);
- в приватной подсети с одним публичным IP-адресом для доступа из интернета.

Результат подключения

Open WebUI подключен к inference-сервису через выделенный эндпоинт, что позволяет взаимодействовать с моделью через чат-бот.

Шаги подключения

Создайте аккаунт администратора в Open WebUI.
Запустите Open WebUI.
Подключите эндпоинт в Open WebUI.
Отправьте тестовый запрос к модели.

1. Создать аккаунт администратора

Чтобы работать в веб-интерфейсе Open WebUI, сначала создайте аккаунт администратора.

В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.
В карточке Open WebUI Virtual Machine нажмите Перейти в GUI.
В веб-интерфейсе Open WebUI нажмите Давайте начнем.
Введите имя пользователя.
Введите электронную почту.
Введите пароль.
Нажмите Создать аккаунт Администратора.

2. Запустить Open WebUI

В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.
В карточке Open WebUI Virtual Machine нажмите Перейти в GUI.
Введите электронную почту администратора.
Введите пароль администратора.
Нажмите Войти.

3. Подключить эндпоинт в Open WebUI

В веб-интерфейсе Open WebUI нажмите на иконку профиля и выберите Панель администратора.
Откройте вкладку Настройки.
Перейдите в раздел Подключения.
Включите тумблер Прямые подключения.
Нажмите Сохранить.
На главной странице веб-интерфейса Open WebUI нажмите на иконку профиля и выберите Настройки.
Перейдите в раздел Подключения.
В строке Управление прямыми подключениями нажмите .
В поле URL введите эндпоинт:
```
https://<inference_service_uuid>.wc.<pool>.inference.selcloud.ru/v1
```
Укажите:
- <inference_service_uuid> — UUID inference-сервиса. UUID можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → в меню inference-сервиса выберите Скопировать UUID;
- <pool> — пул, в котором создан inference-сервис, например ru-7.
В поле Bearer введите API-ключ. API-ключ можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка API-ключи → в строке API-ключа нажмите , а затем .
В поле IDs модели введите название модели и нажмите . Название модели можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Сервис → строка Модель.
Нажмите Сохранить.

4. Отправить тестовый запрос к модели

В веб-интерфейсе Open WebUI нажмите Выберите модель.
Выберите модель, которую вы добавили на шаге 8 при подключении эндпоинта в Open WebUI.
На главной странице веб-интерфейса Open WebUI нажмите на иконку профиля и выберите Настройки.
Перейдите в раздел Общие.
В блоке Расширенные параметры установите для параметра max_tokens значение 5 000.
Нажмите Сохранить.
Введите тестовый запрос, например:
```
Привет!
```
Нажмите .
Дождитесь ответа модели.