Настроить публичное подключение к inference-сервису через Open WebUI Virtual Machine

Вы можете настроить публичное подключение к inference-сервису через Open WebUI Virtual Machine. Это позволит взаимодействовать с моделью в веб-интерфейсе Open WebUI по публичному эндпоинту через интернет.

Для настройки используется inference-сервис в публичном доступе. Open WebUI Virtual Machine должен быть создан с доступом из интернета:

в публичной подсети;
или в приватной подсети с одним публичным IP-адресом.

Создайте облачный сервер с Open WebUI.
Создайте аккаунт администратора в Open WebUI.
Запустите Open WebUI.
Подключите эндпоинт в Open WebUI.
Отправьте тестовый запрос к модели.

1. Создать облачный сервер c Open WebUI

В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.
Нажмите Создать сервер.
Заполните блоки:
- Имя и расположение;
- Источник;
- опционально: GPU;
- Конфигурация;
- Диски;
- Сеть;
- опционально: Доступ;
- опционально: Дополнительные настройки;
- опционально: Автоматизация.
Проверьте цену сервера.
Нажмите Создать сервер.

Имя и расположение

Введите имя сервера.
Выберите локацию, в которой будет создан сервер. От локации зависит список доступных GPU. После создания сервера изменить локацию нельзя.

Источник

Выберите образ Open WebUI VM (Ubuntu 24.04 LTS 64-bit).

Опционально: GPU

Нажмите Добавить GPU.
Выберите тип GPU. При выборе GPU учитывайте минимальные требования к ресурсам для работы образа. Характеристики и описание GPU можно посмотреть в инструкции Графические процессоры (GPU).
Укажите количество GPU.

После создания сервера можно будет изменить тип и количество GPU или удалить GPU. Подробнее в инструкции Изменить конфигурацию облачного сервера.

Конфигурация

Укажите количество vCPU.
Укажите размер RAM.

После создания сервера можно будет изменить конфигурацию.

Диски

Выберите тип загрузочного диска. При использовании локального диска в качестве загрузочного GPU недоступны.
Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ).
Если вы выбрали тип диска SSD Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.
Опционально: чтобы добавить дополнительные диски:

4.1. Нажмите Добавить диск.

4.2. Выберите тип диска.

4.3. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ).

4.4. Если вы выбрали тип диска SSD Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

После создания сервера можно будет отключить от него дополнительные диски или подключить новые.

Сеть

Вы можете добавить сервер в новую подсеть или в уже существующую. Подсеть должна быть:

приватная с одним публичным IP-адресом. Статический публичный IP-адрес подключается к приватному адресу сервера через облачный роутер. Сервер будет доступен из интернета через этот публичный IP-адрес;
или публичная, в которой все адреса доступны из интернета.

Приватная подсеть с публичным IP-адресом
Публичная подсеть

Если у вас уже есть приватная подсеть и облачный роутер с доступом к интернету:

1.1. В поле Подсеть выберите тип подсети Приватная + 1 публичный IP.

1.2. В поле Приватная выберите существующую подсеть.

1.3. Опционально: измените приватный IP-адрес сервера по умолчанию.
Если у вас нет приватной подсети и облачного роутера с доступом к интернету, в поле Подсеть выберите тип подсети Приватная + 1 публичный IP.

Автоматически будут созданы приватная сеть nat, роутер router-nat и один публичный адрес. Сервер будет подключен к подсети в сети nat.

Опционально: Доступ

В поле Пароль для «root»:

1.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

1.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.
Разместите на сервере SSH-ключ для проекта для безопасного подключения:

2.1. Если SSH-ключ не добавлен в облачную платформу, нажмите , введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

2.2. Если SSH-ключ добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ.

Опционально: Дополнительные настройки

Чтобы создать прерываемый сервер, отметьте чекбокс Прерываемый сервер.
Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

2.1. Чтобы создать новую группу, нажмите , введите имя группы и выберите политику размещения на разных хостах:
- желательно — система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;
- обязательно — серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.
2.2. Если группа создана, в поле Группа размещения выберите группу размещения.
Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляется тег с названием образа. Чтобы добавить новый тег, в поле Теги введите тег.

Опционально: Автоматизация

Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в поле User data:
- откройте вкладку Текст и вставьте скрипт текстом;
- или откройте вкладку Файл и загрузите файл со скриптом.
Примеры скриптов и поддерживаемые форматы можно посмотреть в инструкции User data.

2. Создать аккаунт администратора

Чтобы работать в веб-интерфейсе Open WebUI, сначала создайте аккаунт администратора.

В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.
В карточке Open WebUI Virtual Machine нажмите Перейти в GUI.
В веб-интерфейсе Open WebUI нажмите Давайте начнем.
Введите имя пользователя.
Введите электронную почту.
Введите пароль.
Нажмите Создать аккаунт Администратора.

3. Запустить Open WebUI

В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.
В карточке Open WebUI Virtual Machine нажмите Перейти в GUI.
Введите электронную почту администратора.
Введите пароль администратора.
Нажмите Войти.

4. Подключить эндпоинт в Open WebUI

В веб-интерфейсе Open WebUI нажмите на иконку профиля и выберите Панель администратора.
Откройте вкладку Настройки.
Перейдите в раздел Подключения.
Включите тумблер Прямые подключения.
Нажмите Сохранить.
На главной странице веб-интерфейса Open WebUI нажмите на иконку профиля и выберите Настройки.
Перейдите в раздел Подключения.
В строке Управление прямыми подключениями нажмите .
В поле URL введите эндпоинт:
```
<endpoint>/v1
```
Укажите <endpoint> — эндпоинт inference-сервиса, можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → в карточке inference-сервиса в строке Endpoint Inference-сервиса нажмите .
В поле Bearer введите API-ключ. API-ключ можно скопировать в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка API-ключи → в строке API-ключа нажмите , а затем .
В поле IDs модели введите название модели и нажмите . Название модели можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Inference-сервисы → страница inference-сервиса → вкладка Сервис → строка Модель.
Нажмите Сохранить.

5. Отправить тестовый запрос к модели

В веб-интерфейсе Open WebUI нажмите Выберите модель.
Выберите модель, которую вы добавили на шаге 8 при подключении эндпоинта в Open WebUI.
На главной странице веб-интерфейса Open WebUI нажмите на иконку профиля и выберите Настройки.
Перейдите в раздел Общие.
В блоке Расширенные параметры установите для параметра max_tokens значение 5 000.
Нажмите Сохранить.
Введите тестовый запрос, например:
```
Привет!
```
Нажмите .
Дождитесь ответа модели.