--- title: 'Настроить публичное подключение к inference-сервису через Open WebUI Virtual Machine' sidebar_label: 'Настроить публичное подключение через Open WebUI' sidebar_position: 11 description: 'Как настроить публичное подключение к inference-сервису и взаимодействовать с моделью в веб-интерфейсе Open WebUI' --- import Tabs from '@theme/Tabs'; import TabItem from '@theme/TabItem'; import {TabItemLabel} from '@selectel/docux/components'; import OpenWebUiDescription from '@site/docs/_partials/ai-marketplace/open-webui.mdx'; import PlusIcon from '@selectel/docux/icons/plus'; import MoreVerticalIcon from '@selectel/docux/icons/more-vertical'; import CopyIcon from '@selectel/docux/icons/copy'; import EyeIcon from '@selectel/docux/icons/eye'; import ArrowTopIcon from '@selectel/docux/icons/arrow-top'; import Formbricks from '@theme/MDXComponents/Formbricks'; # Настроить публичное подключение к inference-сервису через Open WebUI Virtual Machine Вы можете настроить публичное подключение к inference-сервису через [Open WebUI Virtual Machine](/ai-marketplace/open-webui.mdx). Это позволит взаимодействовать с моделью в веб-интерфейсе Open WebUI по публичному эндпоинту через интернет. Для настройки используется inference-сервис в [публичном доступе](/foundation-models-catalog/create/connection-types.mdx#public-connection). Open WebUI Virtual Machine должен быть создан с доступом из интернета: * в публичной подсети; * или в приватной подсети с одним публичным IP-адресом. 1. [Создайте облачный сервер с Open WebUI](#create-cloud-server-with-open-webui). 2. [Создайте аккаунт администратора](#create-administrator-account) в Open WebUI. 3. [Запустите Open WebUI](#run-open-webui). 4. [Подключите эндпоинт в Open WebUI](#connect-endpoint). 5. [Отправьте тестовый запрос к модели](#send-test-request). ### 1. Создать облачный сервер c Open WebUI \{#create-cloud-server-with-open-webui} 1. В [панели управления](https://my.selectel.ru/) в верхнем меню нажмите **Продукты** и выберите **AI-маркетплейс**. 2. Нажмите **Создать сервер**. 3. Заполните блоки: * [Имя и расположение](#name-and-placement); * [Источник](#source); * опционально: [GPU](#gpu); * [Конфигурация](#configuration); * [Диски](#disks); * [Сеть](#network); * опционально: [Доступ](#access); * опционально: [Дополнительные настройки](#additional-settings); * опционально: [Автоматизация](#automation). 4. Проверьте цену сервера. 5. Нажмите **Создать сервер**. #### Имя и расположение \{#name-and-placement} 1. Введите имя сервера. 2. Выберите [локацию](/infrastructure/locations.mdx), в которой будет создан сервер. От локации зависит список доступных GPU. После создания сервера изменить локацию нельзя. #### Источник \{#source} Выберите образ **Open WebUI VM (Ubuntu 24.04 LTS 64-bit)**. #### Опционально: GPU \{#gpu} 1. Нажмите **Добавить GPU**. 2. Выберите тип GPU. При выборе GPU учитывайте [минимальные требования к ресурсам](/ai-marketplace/open-webui.mdx#minimum-requirements) для работы образа. Характеристики и описание GPU можно посмотреть в инструкции [Графические процессоры (GPU)](/cloud-servers/create/gpus.mdx). 3. Укажите количество GPU. После создания сервера можно будет изменить тип и количество GPU или удалить GPU. Подробнее в инструкции [Изменить конфигурацию облачного сервера](/cloud-servers/manage/change-server-configuration.mdx). #### Конфигурация \{#configuration} 1. Укажите количество vCPU. 2. Укажите размер RAM. После создания сервера можно будет [изменить конфигурацию](/cloud-servers/manage/change-server-configuration.mdx). #### Диски \{#disks} 1. Выберите тип загрузочного диска. При использовании локального диска в качестве загрузочного GPU недоступны. 2. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ). 3. Если вы выбрали тип диска SSD Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете [изменить количество IOPS](/cloud-servers/volumes/edit-volume.mdx#update-iops) — уменьшить или увеличить. Количество изменений IOPS не ограничено. 4. Опционально: чтобы добавить дополнительные диски: 4.1. Нажмите **Добавить диск**. 4.2. Выберите тип диска. 4.3. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ). 4.4. Если вы выбрали тип диска SSD Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете [изменить количество IOPS](/cloud-servers/volumes/edit-volume.mdx#update-iops) — уменьшить или увеличить. Количество изменений IOPS не ограничено. После создания сервера можно будет [отключить от него дополнительные диски или подключить новые](/cloud-servers/volumes/attach-detach-volume.mdx). #### Сеть \{#network} Для настройки публичного подключения к inference-сервису сервер нужно добавить в подсеть с доступом в интернет: * приватную подсеть с публичным IP-адресом. К приватному IP-адресу сервера будет подключен [публичный плавающий IP-адрес](/cloud-servers/cloud-networks/public-floating-ip-addresses.mdx), интернет-трафик будет передаваться с помощью NAT 1:1 через [облачный роутер](/cloud-servers/cloud-networks/cloud-routers.mdx); * или публичную подсеть, в которой все адреса доступны из интернета. Вы можете выбрать существующую подсеть или создать новую. Приватная подсеть с публичным IP-адресом 1. Если у вас уже есть приватная подсеть и облачный роутер с доступом к интернету: 1.1. В поле **Подсеть** выберите тип подсети **Приватная + 1 публичный IP**. 1.2. В поле **Приватная** выберите существующую подсеть. 1.3. Опционально: измените приватный IP-адрес сервера по умолчанию. 2. Если вы хотите создать новую подсеть и облачный роутер с доступом к интернету, в поле **Подсеть** выберите тип подсети **Приватная + 1 публичный IP**. Автоматически будут созданы приватная сеть **nat**, роутер **router-nat** и один публичный адрес. Сервер будет добавлен в подсеть в сети **nat**. Публичная подсеть 1. Чтобы добавить сервер в существующую публичную подсеть: 1.1. В поле **Подсеть** выберите существующую подсеть. 1.2. Опционально: измените публичный IP-адрес сервера по умолчанию. 2. Чтобы создать новую публичную подсеть: 2.1. В поле **Подсеть** выберите тип подсети **Публичная**. 2.2. В поле **Размер подсети** выберите размер подсети. #### Опционально: Доступ \{#access} 1. В поле **Пароль для «root»**: 1.1. Скопируйте пароль пользователя `root` — пользователя с неограниченными правами на все действия над системой. 1.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде. 2. Разместите на сервере [SSH-ключ для проекта](/cloud-servers/manage/create-and-place-ssh-key.mdx#place-public-ssh-key) для безопасного подключения: 2.1. Если SSH-ключ не добавлен в облачную платформу, нажмите , введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите **Добавить**. 2.2. Если SSH-ключ добавлен в облачную платформу, в поле **SSH-ключ** выберите существующий ключ. #### Опционально: Дополнительные настройки \{#additional-settings} 1. Чтобы создать [прерываемый сервер](/cloud-servers/about/preemptible-servers/), отметьте чекбокс **Прерываемый сервер**. 2. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в [группу размещения](/cloud-servers/placement-groups/about-placement-groups/): 2.1. Чтобы создать новую группу, нажмите , введите имя группы и выберите политику размещения на разных хостах: * желательно — система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте; * обязательно — серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан. 2.2. Если группа создана, в поле **Группа размещения** выберите группу размещения. 3. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте [теги](/cloud-servers/manage/tags.mdx) сервера. Автоматически добавляется тег с названием образа. Чтобы добавить новый тег, в поле **Теги** введите тег. #### Опционально: Автоматизация \{#automation} 1. Чтобы добавить скрипт, который выполнится с помощью агента [cloud-init](https://cloud-init.io/) при первом запуске операционной системы, в поле **User data**: * откройте вкладку **Текст** и вставьте скрипт текстом; * или откройте вкладку **Файл** и загрузите файл со скриптом. Примеры скриптов и поддерживаемые форматы можно посмотреть в инструкции [User data](/cloud-servers/manage/user-data.mdx). ### 2. Создать аккаунт администратора \{#create-administrator-account} Чтобы работать в веб-интерфейсе Open WebUI, сначала создайте аккаунт администратора. 1. В [панели управления](https://my.selectel.ru/ml/default/ai-marketplace) в верхнем меню нажмите **Продукты** и выберите **AI-маркетплейс**. 2. В карточке Open WebUI Virtual Machine нажмите **Перейти в GUI**. 3. В веб-интерфейсе Open WebUI нажмите **Давайте начнем**. 4. Введите имя пользователя. 5. Введите электронную почту. 6. Введите пароль. 7. Нажмите **Создать аккаунт Администратора**. ### 3. Запустить Open WebUI \{#run-open-webui} 1. В [панели управления](https://my.selectel.ru/ml/default/ai-marketplace) в верхнем меню нажмите **Продукты** и выберите **AI-маркетплейс**. 2. В карточке Open WebUI Virtual Machine нажмите **Перейти в GUI**. 3. Введите электронную почту администратора. 4. Введите пароль администратора. 5. Нажмите **Войти**. ### 4. Подключить эндпоинт в Open WebUI \{#connect-endpoint} 1. В веб-интерфейсе Open WebUI нажмите на иконку профиля и выберите **Панель администратора**. 2. Откройте вкладку **Настройки**. 3. Перейдите в раздел **Подключения**. 4. Включите тумблер **Прямые подключения**. 5. Нажмите **Сохранить**. 6. На главной странице веб-интерфейса Open WebUI нажмите на иконку профиля и выберите **Настройки**. 7. Перейдите в раздел **Подключения**. 8. В строке **Управление прямыми подключениями** нажмите . 9. В поле **URL** введите эндпоинт: ```bash /v1 ``` Укажите `` — эндпоинт inference-сервиса, можно скопировать в [панели управления](https://my.selectel.ru/ml/default/inference-services/): в верхнем меню нажмите **Продукты** → **Inference-сервисы** → в карточке inference-сервиса в строке **Endpoint Inference-сервиса** нажмите . 10. В поле **Bearer** введите API-ключ. API-ключ можно скопировать в [панели управления](https://my.selectel.ru/ml/default/inference-services/): в верхнем меню нажмите **Продукты** → **Inference-сервисы** → страница inference-сервиса → вкладка **API-ключи** → в строке API-ключа нажмите , а затем . 11. В поле **IDs модели** введите название модели и нажмите . Название модели можно посмотреть в [панели управления](https://my.selectel.ru/ml/default/inference-services/): в верхнем меню нажмите **Продукты** → **Inference-сервисы** → страница inference-сервиса → вкладка **Сервис** → строка **Модель**. 12. Нажмите **Сохранить**. ### 5. Отправить тестовый запрос к модели \{#send-test-request} 1. В веб-интерфейсе Open WebUI нажмите **Выберите модель**. 2. Выберите модель, которую вы добавили на шаге 8 при [подключении эндпоинта в Open WebUI](#connect-endpoint). 3. На главной странице веб-интерфейса Open WebUI нажмите на иконку профиля и выберите **Настройки**. 4. Перейдите в раздел **Общие**. 5. В блоке **Расширенные параметры** установите для параметра `max_tokens` значение `5 000`. 6. Нажмите **Сохранить**. 7. Введите тестовый запрос, например: ``` Привет! ``` 8. Нажмите . 9. Дождитесь ответа модели.