Перейти к основному содержимому

Unsloth Virtual Machine

Unsloth Virtual Machine — преднастроенный облачный сервер с инструментами для запуска, дообучения и развертывания AI-моделей.

Образ, из которого развертывается сервер, содержит:

  • Unsloth — приложение для запуска и обучения AI-моделей;

  • Docker — платформу для запуска контейнеризированных приложений;

  • Docker Compose — инструмент для запуска многоконтейнерных приложений в Docker;

  • Jupyter — единую среду разработки для работы с Jupyter Notebooks, JupyterLab, программным кодом и данными;

  • llama.cpp — утилиту для локального запуска и работы с большими языковыми моделями (LLM);

  • драйверы, необходимые для работы с графическими процессорами (GPU).

В Unsloth Virtual Machine вы можете обучать модели как через интерфейс Unsloth, так и через Jupyter.

Вы можете использовать локальные модели и подключать OpenAI-совместимые API внешних моделей. Минимальные требования к ресурсам отличаются для использования локальных и внешних моделей.

Перед созданием сервера ознакомьтесь с лицензионными соглашениями программного обеспечения, которое входит в образ.

Функциональные возможности

  • запуск локальных моделей или подключение внешних OpenAI-совместимых API;
  • генерация изображений, аудио и видео;
  • поддержка встроенного RAG, веб-поиска и глубокого анализа (Deep Research);
  • дообучение LLM, моделей для генерации изображений, аудио и видео, а также эмбеддингов;
  • интеграция с AI-агентами (Claude Code, Codex) и Model Context Protocol (MCP);
  • создание датасетов из PDF, CSV, DOCX и других источников;
  • экспорт и развертывание моделей в форматах GGUF, FP8 и других.

Минимальные требования к ресурсам

Для использования локальных моделейДля использования OpenAI-совместимых API внешних моделей
Количество vCPU22
RAM4 ГБ4 ГБ
Загрузочный диск50 ГБ + место для локальной модели50 ГБ
GPU

Обязательно. Объем видеопамяти должен быть достаточным для весов модели

Не требуется

Начать работу с Unsloth Virtual Machine

  1. Создайте облачный сервер с Unsloth Virtual Machine.

  2. Запустите Unsloth Virtual Machine.

  3. Запустите Jupyter.

1. Создать облачный сервер c Unsloth Virtual Machine

  1. В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену сервера.

  5. Нажмите Создать сервер.

Имя и расположение

  1. Введите имя сервера.

  2. Выберите локацию, в которой будет создан сервер. От локации зависит список доступных GPU. После создания сервера изменить локацию нельзя.

Источник

Выберите образ Unsloth VM (Ubuntu 22.04 LTS 64-bit).

GPU

  1. Нажмите Добавить GPU.

  2. Выберите тип GPU. При выборе GPU учитывайте минимальные требования к ресурсам для работы образа. Характеристики и описание GPU можно посмотреть в инструкции Графические процессоры (GPU).

  3. Укажите количество GPU.

После создания сервера можно будет изменить тип и количество GPU или удалить GPU. Подробнее в инструкции Изменить конфигурацию облачного сервера.

Конфигурация

  1. Укажите количество vCPU.

  2. Укажите размер RAM.

После создания сервера можно будет изменить конфигурацию.

Диски

  1. Выберите тип загрузочного диска. При использовании локального диска в качестве загрузочного GPU недоступны.

  2. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ).

  3. Если вы выбрали тип диска SSD Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  4. Опционально: чтобы добавить дополнительные диски:

    4.1. Нажмите Добавить диск.

    4.2. Выберите тип диска.

    4.3. Укажите размер диска в ГБ или ТБ. Максимальный размер для всех сетевых дисков — 10 240 ГБ (10 ТБ), для локального диска — 1 256 ГБ (1 ТБ).

    4.4. Если вы выбрали тип диска SSD Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет отключить от него дополнительные диски или подключить новые.

Сеть

Вы можете добавить сервер в новую подсеть или в уже существующую. Подсеть может быть:

  • приватная без доступа из интернета. К серверу нельзя будет подключиться из интернета, в том числе по SSH или RDP;
  • приватная с одним публичным IP-адресом. Статический публичный IP-адрес подключается к приватному адресу сервера через облачный роутер. Сервер будет доступен из интернета через этот публичный IP-адрес;
  • публичная, в которой все адреса доступны из интернета.
  1. Чтобы добавить сервер в существующую приватную подсеть:

    1.1. В поле Подсеть выберите существующую подсеть.

    1.2. Опционально: измените приватный IP-адрес сервера по умолчанию.

  2. Чтобы создать новую приватную подсеть:

    2.1. В поле Подсеть выберите тип подсети Приватная.

    2.2. Опционально: измените CIDR подсети.

    2.3. Опционально: включите тумблер DHCP. Подробнее о протоколе DHCP в статье блога Selectel Принципы работы протокола DHCP.

    2.4. Опционально: измените IP-адрес шлюза по умолчанию.

    2.5. Опционально: измените сеть, в которой будет создана подсеть, — можно выбрать существующую сеть или создать новую. Если вы создаете новую сеть, введите имя сети.

Опционально: Доступ

  1. В поле Пароль для «root»:

    1.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    1.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

  2. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    2.1. Если SSH-ключ не добавлен в облачную платформу, нажмите , введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    2.2. Если SSH-ключ добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ.

Опционально: Дополнительные настройки

  1. Чтобы создать прерываемый сервер, отметьте чекбокс Прерываемый сервер.

  2. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    2.1. Чтобы создать новую группу, нажмите , введите имя группы и выберите политику размещения на разных хостах:

    • желательно — система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;

    • обязательно — серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    2.2. Если группа создана, в поле Группа размещения выберите группу размещения.

  3. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляется тег с названием образа. Чтобы добавить новый тег, в поле Теги введите тег.

Опционально: Автоматизация

  1. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.

    Примеры скриптов и поддерживаемые форматы можно посмотреть в инструкции User data.

2. Запустить Unsloth Virtual Machine

  1. В панели управления в верхнем меню нажмите Продукты и выберите AI-маркетплейс.

  2. В карточке Unsloth Virtual Machine нажмите Перейти в GUI.

  3. Введите пароль — UUID сервера. Можно скопировать в панели управления: в верхнем меню нажмите ПродуктыAI-маркетплейс → в меню сервера выберите Скопировать UUID.

  4. Нажмите Login.

3. Запустить Jupyter

  1. Откройте в браузере страницу http://<ip_address>:8888.

    Укажите <ip_address> — публичный IP-адрес облачного сервера. Можно скопировать в панели управления: в верхнем меню нажмите ПродуктыAI-маркетплейс → страница сервера → вкладка Порты → в карточке порта нажмите рядом с публичным IP-адресом.

  2. Введите пароль — UUID сервера. Можно скопировать в панели управления: в верхнем меню нажмите ПродуктыAI-маркетплейс → в меню сервера выберите Скопировать UUID.

  3. Нажмите Log in.