Перейти к основному содержимому

Open WebUI Virtual Machine

Последнее изменение:

Open WebUI Virtual Machine — преднастроенный облачный сервер с готовым инструментом для развертывания больших языковых моделей (LLM) и работы с ними через веб‑интерфейс. Инструмент ориентирован на технических специалистов, которым нужны полный контроль над обрабатываемыми данными и поддержка расширенного RAG.

Образ, из которого развертывается сервер, содержит:

  • Open WebUI — расширяемый веб-интерфейс для работы с LLM, который поддерживает Ollama и API, совместимые с OpenAI;

  • Ollama — платформу для локальной загрузки и запуска LLM;

  • Docker — платформу для запуска контейнеризированных приложений;

  • драйверы, необходимые для работы с графическими процессорами (GPU).

Вы можете создать Open WebUI Virtual Machine с GPU или без GPU. В сервере без GPU Open WebUI работает как интерфейс для подключения к внешним LLM — запущенным на других серверах или через API. Ollama устанавливается автоматически только при создании сервера с GPU.

Решаемые задачи

  • развертывание LLM с полным контролем над обрабатываемыми данными;
  • управление доступом к веб‑интерфейсу;
  • взаимодействие с LLM через чат-бот;
  • работа с внешними источниками данных через встроенный RAG.

Минимальные требования к ресурсам

Количество vCPU
  • 1 — для сервера без GPU;
  • 2 — для сервера с GPU
RAM2 ГБ
Загрузочный диск30 ГБ
Наличие GPUОпционально*

* Ollama устанавливается автоматически только при создании сервера с GPU. Без GPU Open WebUI работает как интерфейс для подключения к внешним LLM — запущенным на других серверах или через API.

Создать облачный сервер c Open WebUI

  1. В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену сервера.

  5. Нажмите Создать сервер.

Имя и расположение

  1. Введите имя сервера.

  2. Выберите регион и сегмент пула, в котором будет создан сервер. От сегмента пула зависит список доступных GPU. После создания сервера изменить регион и сегмент пула нельзя.

Источник

Выберите образ Open WebUI VM (Ubuntu 22.04 LTS 64-bit).

Опционально: GPU

  1. Нажмите Добавить GPU.

  2. Выберите тип GPU. При выборе GPU учитывайте требования к ML-моделям и используемым инструментам. Характеристики и описание GPU можно посмотреть в инструкции Графические процессоры (GPU).

  3. Укажите количество GPU.

После создания сервера можно будет изменить тип и количество GPU или удалить GPU. Подробнее в инструкции Изменить конфигурацию облачного сервера.

Конфигурация

  1. Укажите количество vCPU.

  2. Укажите размер RAM.

После создания сервера можно будет изменить конфигурацию.

Диски

  1. Выберите тип загрузочного диска. При использовании локального диска в качестве загрузочного GPU не доступны.

  2. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ).

  3. Если вы выбрали тип диска SSD Универсальный v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  4. Опционально: чтобы добавить дополнительные диски сервера:

    4.1. Нажмите Добавить диск.

    4.2. Выберите тип диска.

    4.3. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ).

    4.4. Если вы выбрали тип диска SSD Универсальный v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет отключить от него дополнительные диски или подключить новые.

Сеть

Вы можете добавить сервер в новую подсеть или в уже существующую. Подсеть может быть:

  • приватная без доступа из интернета. К серверу нельзя будет подключиться из интернета, в том числе по SSH или RDP;
  • приватная с одним публичным IP-адресом. Статический публичный IP-адрес подключается к приватному адресу сервера через облачный роутер. Сервер будет доступен из интернета через этот публичный IP-адрес;
  • публичная, в которой все адреса доступны из интернета.
  1. Чтобы добавить существующую приватную подсеть:

    1.1. В поле Подсеть выберите существующую подсеть.

    1.2. Опционально: измените приватный IP-адрес сервера по умолчанию.

  2. Чтобы добавить новую приватную подсеть:

    2.1. В поле Подсеть выберите тип подсети Приватная.

    2.2. Опционально: измените CIDR подсети.

    2.3. Опционально: включите тумблер DHCP. Подробнее о протоколе DHCP в статье блога Selectel Принципы работы протокола DHCP.

    2.4. Опционально: измените IP-адрес шлюза по умолчанию.

    2.5. Опционально: измените сеть, в которой будет создана подсеть — можно выбрать существующую сеть или создать новую. Если вы создаете новую сеть, введите имя сети.

Опционально: Доступ

  1. В поле Пароль для «root»:

    1.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    1.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

  2. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    2.1. Если SSH-ключ не добавлен в облачную платформу, нажмите , введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    2.2. Если SSH-ключ добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ.

Опционально: Дополнительные настройки

  1. Чтобы создать прерываемый сервер, отметьте чекбокс Прерываемый сервер.

  2. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    2.1. Чтобы создать новую группу, нажмите , введите имя группы и выберите политику размещения на разных хостах:

    • желательно — система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;

    • обязательно — серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    2.2. Если группа создана, в поле Группа размещения выберите группу размещения.

  3. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляется тег с названием образа. Чтобы добавить новый тег, в поле Теги введите тег.

Опционально: Автоматизация

  1. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.

    Примеры скриптов и поддерживаемые форматы можно посмотреть в инструкции User data.

Создать аккаунт администратора

Чтобы работать в веб-интерфейсе Open WebUI, сначала создайте аккаунт администратора.

  1. В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.

  2. В карточке Open WebUI Virtual Machine нажмите Перейти в GUI.

  3. В веб-интерфейсе Open WebUI нажмите Давайте начнем.

  4. Введите имя пользователя.

  5. Введите электронную почту.

  6. Введите пароль.

  7. Нажмите Создать аккаунт Администратора.

Запустить Open WebUI

  1. В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.

  2. В карточке Open WebUI Virtual Machine нажмите Перейти в GUI.

  3. Введите электронную почту администратора.

  4. Введите пароль администратора.

  5. Нажмите Войти.