Перейти к основному содержимому

Unsloth Virtual Machine

Unsloth Virtual Machine — преднастроенный облачный сервер с инструментами для запуска, дообучения и развертывания AI-моделей.

Образ, из которого развертывается сервер, содержит:

  • Unsloth — приложение для запуска и обучения AI-моделей;

  • Docker — платформу для запуска контейнеризированных приложений;

  • Docker Compose — инструмент для запуска многоконтейнерных приложений в Docker;

  • Jupyter — единую среду разработки для работы с Jupyter Notebooks, JupyterLab, программным кодом и данными;

  • llama.cpp — утилиту для локального запуска и работы с большими языковыми моделями (LLM);

  • драйверы, необходимые для работы с графическими процессорами (GPU).

В Unsloth Virtual Machine вы можете обучать модели как через интерфейс Unsloth, так и через Jupyter.

Вы можете использовать локальные модели и подключать OpenAI-совместимые API внешних моделей. Минимальные требования к ресурсам отличаются для использования локальных и внешних моделей.

Перед созданием сервера ознакомьтесь с лицензионными соглашениями программного обеспечения, которое входит в образ.

Функциональные возможности

  • запуск локальных моделей или подключение внешних OpenAI-совместимых API;
  • генерация изображений, аудио и видео;
  • поддержка встроенного RAG, веб-поиска и глубокого анализа (Deep Research);
  • дообучение LLM, моделей для генерации изображений, аудио и видео, а также эмбеддингов;
  • интеграция с AI-агентами (Claude Code, Codex) и Model Context Protocol (MCP);
  • создание датасетов из PDF, CSV, DOCX и других источников;
  • экспорт и развертывание моделей в форматах GGUF, FP8 и других.

Минимальные требования к ресурсам

Для использования локальных моделейДля использования OpenAI-совместимых API внешних моделей
Количество vCPU22
RAM4 ГБ4 ГБ
Загрузочный диск50 ГБ + место для локальной модели50 ГБ
GPU

Обязательно. Объем видеопамяти должен быть достаточным для весов модели

Не требуется

Начать работу с Unsloth

  1. Создайте публичный плавающий IP-адрес.

  2. Создайте облачный сервер с Unsloth Virtual Machine.

  3. Запустите Unsloth.

  4. Запустите Jupyter.

1. Создать публичный плавающий IP-адрес

Создайте публичный плавающий IP-адрес, чтобы облачный сервер с Unsloth был доступен из интернета.

Используйте подраздел Создать публичный плавающий IP-адрес инструкции Публичные плавающие IP-адреса.

2. Создать облачный сервер c Unsloth

  1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные серверы.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену облачного сервера.

  5. Нажмите Создать.

Имя и расположение

  1. Введите имя сервера. Оно будет установлено как имя хоста в операционной системе.

  2. Выберите локацию, в которой будет создан сервер. От локации зависит список доступных конфигураций сервера и стоимость ресурсов. После создания сервера изменить локацию нельзя.

Источник

  1. Откройте вкладку Приложения.

  2. Выберите Unsloth VM.

  3. Опционально: если вам нужна другая актуальная или архивная версия приложения, в поле Версия выберите нужную версию.

Конфигурация

Выберите конфигурацию линейки GPU от 2 vCPU, RAM от 4 ГБ и размером загрузочного диска от 50 ГБ. Для линейки доступны два вида конфигураций сервера:

  • фиксированные конфигурации — конфигурации линейки с разными техническими характеристиками, в которых зафиксировано соотношение ресурсов;
  • произвольные конфигурации — конфигурации, в которых можно указать любое соотношение ресурсов.

В конфигурациях используются разные процессоры в зависимости от линейки и сегмента пула. Вы можете настроить выбранную конфигурацию. После создания сервера можно будет изменить конфигурацию.

  1. Откройте вкладку с GPU линейкой.

  2. Нажмите Фиксированная.

  3. Опционально: вы можете настроить конфигурацию, если создаете сервер в сегменте мультизонального пула ru-6 или сегментах пулов ru-3b, ru-7a и ru-7b:

    3.1. Разверните блок с описанием настроек конфигурации.

    3.2. Опционально: выберите производителя процессора. Выбор производителя доступен не во всех пулах.

    3.3. Опционально: если вы хотите, чтобы за vCPU облачного сервера не закреплялись ядра физического процессора, снимите чекбокс Выделенные ядра. Подробнее в инструкции Выделенные ядра.

    3.4. Опционально: если для сервера с выделенными ядрами вы хотите выключить Hyper-Threading, снимите чекбокс Hyper-Threading (SMT).

    3.5. Опционально: если вы создаете сервер с выделенными ядрами и хотите разместить многопроцессорный сервер на одной NUMA-ноде, отметьте чекбокс Обязательное размещение на одной NUMA-ноде. Разместить на одной NUMA-ноде можно сервер с 4 vCPU и больше. Если ресурсы облачного сервера не получится разместить на одной ноде, он не создаcтся. Подробнее в подразделе Размещение на одной NUMA-ноде инструкции Выделенные ядра.

  4. Выберите GPU.

  5. Выберите конфигурацию.

  6. Если в выбранной конфигурации доступны и локальные, и сетевые диски, выберите диск, который будет использоваться в качестве загрузочного:

    • локальный диск — отметьте чекбокс Локальный SSD NVMe диск. Сервер с локальным диском можно создать только из образов и приложений;
    • сетевой диск — не отмечайте чекбокс Локальный SSD NVMe диск.

    Объем оперативной памяти, который выделяется серверу, может быть меньше указанного в конфигурации — ядро операционной системы резервирует часть оперативной памяти в зависимости от версии ядра и дистрибутива. Выделенный объем на сервере можно проверить с помощью команды sudo dmesg | grep Memory.

Диски

  1. Если при настройке конфигурации вы не отметили чекбокс Локальный SSD NVMe диск, в качестве загрузочного диска сервера будет использоваться первый указанный сетевой диск. Чтобы настроить его:

    1.1. Выберите тип сетевого загрузочного диска.

    1.2. Укажите размер сетевого загрузочного диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    1.3. Если вы выбрали тип диска Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  2. Опционально: добавьте дополнительный сетевой диск сервера:

    2.1. Нажмите Добавить.

    2.2. Выберите тип сетевого диска.

    2.3. Укажите размер сетевого диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    2.4. Если вы выбрали тип диска Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет подключить новые дополнительные диски.

Интернет

Настройте публичный доступ к серверу.

Облачный сервер будет добавлен в приватную подсеть, которая подключена к облачному роутеру с функцией 1:1 NAT и выходом в интернет. Доступ в интернет и из интернета будет осуществляться через облачный роутер. Сервер будет доступен из интернета по публичному плавающему IP-адресу.

  1. В поле Подключение из интернета выберите тип доступа Публичный плавающий IP-адрес.

  2. Выберите публичный плавающий IP-адрес, который вы создали на этапе 1.

Приватная сеть

Облачный сервер можно добавить в уже существующую или в новую приватную подсеть.

  1. В поле Подсеть выберите приватную подсеть.

  2. Опционально: в поле IP-адрес измените IP-адрес по умолчанию.

  3. В поле Роутер выберите существующий роутер или создайте новый.

    Если роутер не подключен к интернету, он будет автоматически подключен к интернету после создания сервера.

Безопасность

Выберите группы безопасности для фильтрации трафика на портах сервера. Без групп безопасности трафик будет запрещен. Если блок отсутствует, в сети сервера выключена фильтрация трафика (port security). С выключенной фильтрацией трафика весь трафик будет разрешен.

Доступ

  1. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    1.1. Если SSH-ключ для проекта не добавлен в облачную платформу, нажмите Добавить SSH-ключ, введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    1.2. Если SSH-ключ для проекта добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ. SSH-ключ доступен только в том пуле, в котором он размещен.

  2. Опционально: в поле Пароль для «root»:

    2.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    2.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

Дополнительные настройки

  1. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    1.1. Чтобы создать новую группу, в поле Группа размещения нажмите Создать.

    1.2. Выберите Новая группа и введите имя группы.

    1.3. Выберите политику размещения на разных хостах:

    • желательно — soft-anti-affinity. Система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;
    • обязательно — anti-affinity. Серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    1.4. Если группа создана, в поле Группа размещения выберите группу размещения.

  2. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляются теги операционной системы и конфигурации. Чтобы добавить новый тег, в поле Теги введите тег.

  3. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в блоке Автоматизация в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.

2. Запустить Unsloth

  1. Откройте в браузере страницу http://<ip_address>.

    Укажите <ip_address> — публичный плавающий IP-адрес облачного сервера, который вы создали на этапе 1.

  2. Введите пароль — UUID сервера. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → в карточке сервера нажмите рядом с UUID.

  3. Нажмите Login.

3. Запустить Jupyter

  1. Откройте в браузере страницу http://<ip_address>:8888.

    Укажите <ip_address> — публичный плавающий IP-адрес облачного сервера, который вы создали на этапе 1.

  2. Введите пароль — UUID сервера. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → в карточке сервера нажмите рядом с UUID.

  3. Нажмите Log in.