Перейти к основному содержимому

Облачный сервер с RAGFlow

RAGFlow Virtual Machine — преднастроенный облачный сервер с инструментом RAG для глубокого анализа документов (Deep Document Understanding). Инструмент позволяет извлекать данные из различных источников для повышения точности ответов больших языковых моделей (LLM).

Образ, из которого развертывается сервер, содержит:

  • RAGFlow — платформу RAG для глубокого анализа документов;

  • Docker — платформу для запуска контейнеризированных приложений;

  • Docker Compose — инструмент для запуска многоконтейнерных приложений в Docker;

  • Elasticsearch — масштабируемую поисковую и аналитическую систему;

  • OpenSearch — масштабируемую поисковую и аналитическую систему с открытым исходным кодом;

  • Infinity — базу данных на основе искусственного интеллекта для LLM;

  • OceanBase — распределенную реляционную базу данных;

  • Seekdb — поисковую базу данных на основе искусственного интеллекта;

  • MySQL — реляционную систему управления базами данных;

  • MinIO — объектное хранилище, совместимое с S3;

  • Redis — систему управления in-memory базами данных класса NoSQL, которая работает с данными типа «ключ-значение»;

  • NATS — систему обмена сообщениями для распределенных систем;

  • Kibana — инструмент для анализа, визуализации и управления данными, хранящимися в Elasticsearch;

  • драйверы, необходимые для работы с графическими процессорами (GPU).

Перед созданием сервера ознакомьтесь с лицензионными соглашениями программного обеспечения, которое входит в образ.

Функциональные возможности

  • индексация и семантический поиск по базам знаний;

  • извлечение и обработка неструктурированных данных из различных источников: PDF-файлов, таблиц, изображений и других;

  • подготовка релевантного контекста из загруженных документов для повышения качества ответов LLM.

Минимальные требования к ресурсам

Количество vCPU4
RAM16 ГБ
Загрузочный диск80 ГБ
GPUОбязательно

Начать работу с RAGFlow

  1. Создайте публичный плавающий IP-адрес.

  2. Создайте облачный сервер с RAGFlow.

  3. Создайте аккаунт в RAGFlow.

  4. Запустите RAGFlow.

1. Создать публичный плавающий IP-адрес

Создайте публичный плавающий IP-адрес, чтобы облачный сервер с OpenClaw был доступен из интернета.

Используйте подраздел Создать публичный плавающий IP-адрес инструкции Публичные плавающие IP-адреса.

2. Создать облачный сервер с RAGFlow

  1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные серверы.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену облачного сервера.

  5. Нажмите Создать.

Имя и расположение

  1. Введите имя сервера. Оно будет установлено как имя хоста в операционной системе.

  2. Выберите локацию, в которой будет создан сервер. От локации зависит список доступных конфигураций сервера и стоимость ресурсов. После создания сервера изменить локацию нельзя.

Источник

  1. Откройте вкладку Приложения.

  2. Выберите RAGFlow VM.

  3. Опционально: если вам нужна другая актуальная или архивная версия приложения, в поле Версия выберите нужную версию.

Конфигурация

Выберите конфигурацию линейки GPU от 4 vCPU, RAM от 16 ГБ и размером загрузочного диска от 80 ГБ. Для линейки доступны два вида конфигураций сервера:

  • фиксированные конфигурации — конфигурации линейки с разными техническими характеристиками, в которых зафиксировано соотношение ресурсов;
  • произвольные конфигурации — конфигурации, в которых можно указать любое соотношение ресурсов.

В конфигурациях используются разные процессоры в зависимости от линейки и сегмента пула. Вы можете настроить выбранную конфигурацию. После создания сервера можно будет изменить конфигурацию.

  1. Откройте вкладку с GPU линейкой.

  2. Нажмите Фиксированная.

  3. Опционально: вы можете настроить конфигурацию, если создаете сервер в сегменте мультизонального пула ru-6 или сегментах пулов ru-3b, ru-7a и ru-7b:

    3.1. Разверните блок с описанием настроек конфигурации.

    3.2. Опционально: выберите производителя процессора. Выбор производителя доступен не во всех пулах.

    3.3. Опционально: если вы хотите, чтобы за vCPU облачного сервера не закреплялись ядра физического процессора, снимите чекбокс Выделенные ядра. Подробнее в инструкции Выделенные ядра.

    3.4. Опционально: если для сервера с выделенными ядрами вы хотите выключить Hyper-Threading, снимите чекбокс Hyper-Threading (SMT).

    3.5. Опционально: если вы создаете сервер с выделенными ядрами и хотите разместить многопроцессорный сервер на одной NUMA-ноде, отметьте чекбокс Обязательное размещение на одной NUMA-ноде. Разместить на одной NUMA-ноде можно сервер с 4 vCPU и больше. Если ресурсы облачного сервера не получится разместить на одной ноде, он не создаcтся. Подробнее в подразделе Размещение на одной NUMA-ноде инструкции Выделенные ядра.

  4. Выберите GPU.

  5. Выберите конфигурацию.

  6. Если в выбранной конфигурации доступны и локальные, и сетевые диски, выберите диск, который будет использоваться в качестве загрузочного:

    • локальный диск — отметьте чекбокс Локальный SSD NVMe диск. Сервер с локальным диском можно создать только из образов и приложений;
    • сетевой диск — не отмечайте чекбокс Локальный SSD NVMe диск.

    Объем оперативной памяти, который выделяется серверу, может быть меньше указанного в конфигурации — ядро операционной системы резервирует часть оперативной памяти в зависимости от версии ядра и дистрибутива. Выделенный объем на сервере можно проверить с помощью команды sudo dmesg | grep Memory.

Диски

  1. Если при настройке конфигурации вы не отметили чекбокс Локальный SSD NVMe диск, в качестве загрузочного диска сервера будет использоваться первый указанный сетевой диск. Чтобы настроить его:

    1.1. Выберите тип сетевого загрузочного диска.

    1.2. Укажите размер сетевого загрузочного диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    1.3. Если вы выбрали тип диска Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  2. Опционально: добавьте дополнительный сетевой диск сервера:

    2.1. Нажмите Добавить.

    2.2. Выберите тип сетевого диска.

    2.3. Укажите размер сетевого диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    2.4. Если вы выбрали тип диска Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет подключить новые дополнительные диски.

Интернет

Настройте публичный доступ к серверу.

Облачный сервер будет добавлен в приватную подсеть, которая подключена к облачному роутеру с функцией 1:1 NAT и выходом в интернет. Доступ в интернет и из интернета будет осуществляться через облачный роутер. Сервер будет доступен из интернета по публичному плавающему IP-адресу.

  1. В поле Подключение из интернета выберите тип доступа Публичный плавающий IP-адрес.

  2. Выберите публичный плавающий IP-адрес, который вы создали на этапе 1.

Приватная сеть

Облачный сервер можно добавить в уже существующую или в новую приватную подсеть.

  1. В поле Подсеть выберите приватную подсеть.

  2. Опционально: в поле IP-адрес измените IP-адрес по умолчанию.

  3. В поле Роутер выберите существующий роутер или создайте новый.

    Если роутер не подключен к интернету, он будет автоматически подключен к интернету после создания сервера.

Безопасность

Выберите группы безопасности для фильтрации трафика на портах сервера. Без групп безопасности трафик будет запрещен. Если блок отсутствует, в сети сервера выключена фильтрация трафика (port security). С выключенной фильтрацией трафика весь трафик будет разрешен.

Доступ

  1. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    1.1. Если SSH-ключ для проекта не добавлен в облачную платформу, нажмите Добавить SSH-ключ, введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    1.2. Если SSH-ключ для проекта добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ. SSH-ключ доступен только в том пуле, в котором он размещен.

  2. Опционально: в поле Пароль для «root»:

    2.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    2.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

Дополнительные настройки

  1. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    1.1. Чтобы создать новую группу, в поле Группа размещения нажмите Создать.

    1.2. Выберите Новая группа и введите имя группы.

    1.3. Выберите политику размещения на разных хостах:

    • желательно — soft-anti-affinity. Система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;
    • обязательно — anti-affinity. Серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    1.4. Если группа создана, в поле Группа размещения выберите группу размещения.

  2. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляются теги операционной системы и конфигурации. Чтобы добавить новый тег, в поле Теги введите тег.

  3. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в блоке Автоматизация в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.

3. Создать аккаунт в RAGFlow

  1. Откройте в браузере страницу http://<ip_address>.

    Укажите <ip_address> — публичный плавающий IP-адрес облачного сервера, который вы создали на этапе 1.

  2. Нажмите Sign up.

  3. Введите электронную почту.

  4. Введите имя пользователя.

  5. Введите пароль.

  6. Нажмите Continue.

4. Запустить RAGFlow

  1. Откройте в браузере страницу http://<ip_address>.

    Укажите <ip_address> — публичный плавающий IP-адрес облачного сервера, который вы создали на этапе 1.

  2. Введите электронную почту, которую вы указали на шаге 3 при создании аккаунта на этапе 3;

  3. Введите пароль, который вы указали на шаге 5 при создании аккаунта на этапе 3.

  4. Нажмите Sign in.