Перейти к основному содержимому

Облачный сервер с Lobe Chat VM

Последнее изменение:

Lobe Chat Virtual Machine — преднастроенный облачный сервер с готовым инструментом для развертывания больших языковых моделей (LLM) и работы с ними через веб‑интерфейс. Инструмент предназначен для быстрого старта в работе с чат-ботом.

Образ, из которого развертывается сервер, содержит:

  • Lobe Chat — веб-интерфейс для работы с LLM, который поддерживает большое количество провайдеров инференса моделей;

  • Docker — платформу для запуска контейнеризированных приложений;

  • драйверы, необходимые для работы с графическими процессорами (GPU).

Решаемые задачи

  • развертывание LLM с возможностью контроля использования токенов и их стоимости в реальном времени;
  • подключение к провайдерам инференса LLM и взаимодействие с моделями через чат-бот;
  • использование готовых AI-агентов.

Минимальные требования к ресурсам

Количество vCPU1
RAM2 ГБ
Загрузочный диск20 ГБ
Наличие GPUНе требуется

Создать облачный сервер c Lobe Chat VM

  1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные серверы.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену облачного сервера.

  5. Нажмите Создать.

Имя и расположение

  1. Введите имя сервера. Оно будет установлено как имя хоста в операционной системе.

  2. Выберите локацию, в которой будет создан сервер. От локации зависит список доступных конфигураций сервера и стоимость ресурсов. После создания сервера изменить локацию нельзя.

Источник

  1. Откройте вкладку Приложения.

  2. Выберите LobeChat VM.

  3. Опционально: если вам нужна другая актуальная или архивная версия приложения, в поле Версия выберите нужную версию.

Конфигурация

Выберите конфигурацию от 1 vCPU, RAM от 2 ГБ и размером загрузочного диска от 20 ГБ. Для всех линеек, кроме Shared и Dedicated, доступны два вида конфигураций сервера:

  • фиксированные конфигурации — конфигурации линеек с разными техническими характеристиками, в которых зафиксировано соотношение ресурсов;
  • произвольные конфигурации — конфигурации, в которых можно указать любое соотношение ресурсов.

В конфигурациях используются разные процессоры в зависимости от линейки и сегмента пула. Вы можете настроить выбранную конфигурацию. После создания сервера можно будет изменить конфигурацию.

  1. Откройте вкладку с линейкой.

  2. Нажмите Фиксированная.

  3. Опционально: вы можете настроить конфигурацию, если создаете сервер в сегментах пула ru-3b, ru-7a и ru-7b:

    3.1. Разверните блок с описанием настроек конфигурации.

    3.2. Опционально: выберите производителя процессора. Выбор производителя доступен не во всех пулах.

    3.3. Опционально: если вы хотите, чтобы за vCPU облачного сервера не закреплялись ядра физического процессора, снимите чекбокс Выделенные ядра. Подробнее в инструкции Выделенные ядра.

    3.4. Опционально: если для сервера с выделенными ядрами вы хотите выключить Hyper-Threading, снимите чекбокс Hyper-Threading (SMT).

    3.5. Опционально: если вы создаете сервер с выделенными ядрами и хотите разместить многопроцессорный сервер на одной NUMA-ноде, отметьте чекбокс Обязательное размещение на одной NUMA-ноде. Разместить на одной NUMA-ноде можно сервер с 4 vCPU и больше. Если ресурсы облачного сервера не получится разместить на одной ноде, он не создаcтся. Подробнее в подразделе Размещение на одной NUMA-ноде инструкции Выделенные ядра.

  4. Выберите конфигурацию.

  5. Если в выбранной конфигурации доступны и локальные, и сетевые диски, выберите диск, который будет использоваться в качестве загрузочного:

    • локальный диск — отметьте чекбокс Локальный SSD NVMe диск. Сервер с локальным диском можно создать только из образов и приложений;
    • сетевой диск — не отмечайте чекбокс.

    Объем оперативной памяти, который выделяется серверу, может быть меньше указанного в конфигурации — ядро операционной системы резервирует часть оперативной памяти в зависимости от версии ядра и дистрибутива. Выделенный объем на сервере можно проверить с помощью команды sudo dmesg | grep Memory.

Диски

  1. Если при настройке конфигурации вы не отметили чекбокс Локальный SSD NVMe диск, в качестве загрузочного диска сервера будет использоваться первый указанный сетевой диск. Чтобы настроить его:

    1.1. Выберите тип сетевого загрузочного диска.

    1.2. Укажите размер сетевого загрузочного диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    1.3. Если вы выбрали тип диска Универсальный v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  2. Опционально: добавьте дополнительный сетевой диск сервера:

    2.1. Нажмите Добавить.

    2.2. Выберите тип сетевого диска.

    2.3. Укажите размер сетевого диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    2.4. Если вы выбрали тип диска Универсальный v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет подключить новые дополнительные диски.

Сеть

Сервер может быть добавлен в новую подсеть или в уже существующую. Подсеть может быть:

  • приватная — подсеть без доступа из интернета или с одним статическим публичным IP-адресом. IP-адрес подключается к серверу, который будет доступен из интернета;
  • публичная — подсеть, в которой все адреса доступны из интернета.

  1. Нажмите Приватная подсеть.

  2. В поле Публичный IP-адрес для доступа из интернета выберите тип подсети:

    • Новый публичный IP-адрес — приватная подсеть со статическим публичным IP-адресом. Из интернета будет доступен только сервер, к которому подключен публичный IP-адрес;
    • Без публичного IP-адреса — приватная подсеть без доступа из интернета. К серверу нельзя будет подключиться из интернета, в том числе по SSH или RDP.

  3. Чтобы добавить сервер в существующую приватную подсеть:

    3.1. Разверните блок с настройками приватной подсети.

    3.2. В поле Подсеть выберите существующую подсеть.

    3.3. В поле Приватный IP укажите приватный IP-адрес сервера. Для приватной подсети с публичным IP-адресом публичный адрес будет автоматически подключен к приватному адресу.

  4. Чтобы добавить сервер в новую приватную подсеть существующей сети:

    4.1. Разверните блок с настройками приватной подсети.

    4.2. В поле Подсеть выберите Новая подсеть.

    4.3. Опционально: измените CIDR подсети.

    4.4. Опционально: включите тумблер DHCP.

    4.5. Опционально: в поле Шлюз измените IP-адрес шлюза по умолчанию.

    4.6. В поле Сеть выберите существующую сеть, в которой будет создана подсеть, или Новая сеть. Для приватной подсети с публичным IP-адресом автоматически будет создан роутер router-<network_name>, где <network_name> — имя сети.

    4.7. Если вы выбрали Новая сеть, введите имя сети.

  5. Чтобы добавить сервер в новую сеть и приватную подсеть:

    5.1. Разверните блок с настройками приватной подсети.

    5.2. Опционально: измените CIDR подсети.

    5.3. Опционально: включите тумблер DHCP.

    5.4. Опционально: в поле Шлюз измените IP-адрес шлюза по умолчанию.

    5.5. В поле Сеть выберите Новая сеть, чтобы создать новую сеть и приватную подсеть.

    5.6 Введите имя сети. Для приватной подсети с публичным IP-адресом автоматически будет создан роутер router-<network_name>, где <network_name> — имя сети.

Безопасность

Выберите группы безопасности для фильтрации трафика на портах сервера. Без групп безопасности трафик будет запрещен. Если блок отсутствует, в сети сервера выключена фильтрация трафика (port security). С выключенной фильтрацией трафика весь трафик будет разрешен.

Доступ

  1. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    1.1. Если SSH-ключ для проекта не добавлен в облачную платформу, нажмите Добавить SSH-ключ, введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    1.2. Если SSH-ключ для проекта добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ. SSH-ключ доступен только в том пуле, в котором он размещен.

  2. Опционально: в поле Пароль для «root»:

    2.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    2.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

Дополнительные настройки

  1. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    1.1. Чтобы создать новую группу, в поле Группа размещения нажмите Создать.

    1.2. Выберите Новая группа и введите имя группы.

    1.3. Выберите политику размещения на разных хостах:

    • желательно — soft-anti-affinity. Система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;
    • обязательно — anti-affinity. Серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    1.4. Если группа создана, в поле Группа размещения выберите группу размещения.

  2. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляются теги операционной системы и конфигурации. Чтобы добавить новый тег, в поле Теги введите тег.

  3. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в блоке Автоматизация в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.

Запустить Lobe Chat

  1. Откройте в браузере страницу http://<ip_address>:3000.

    Укажите <ip_address> — публичный IP-адрес облачного сервера. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → страница сервера → вкладка Порты → в карточке порта нажмите рядом с публичным IP-адресом.

  2. Введите имя пользователя — admin.

  3. Введите пароль — UUID сервера. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → в карточке сервера нажмите рядом с UUID.

  4. Нажмите Войти.