Перейти к основному содержимому

Облачный сервер с RAGFlow

Последнее изменение:

RAGFlow Virtual Machine — преднастроенный облачный сервер с инструментом RAG для глубокого анализа документов (Deep Document Understanding). Инструмент позволяет извлекать данные из различных источников для повышения точности ответов больших языковых моделей (LLM).

Образ, из которого развертывается сервер, содержит:

  • RAGFlow — платформу RAG для глубокого анализа документов;

  • Docker — платформу для запуска контейнеризированных приложений;

  • Docker Compose — инструмент для запуска многоконтейнерных приложений в Docker;

  • Elasticsearch — масштабируемую поисковую и аналитическую систему;

  • OpenSearch — масштабируемую поисковую и аналитическую систему с открытым исходным кодом;

  • Infinity — базу данных на основе искусственного интеллекта для LLM;

  • OceanBase — распределенную реляционную базу данных;

  • Seekdb — поисковую базу данных на основе искусственного интеллекта;

  • MySQL — реляционную систему управления базами данных;

  • MinIO — объектное хранилище, совместимое с S3;

  • Redis — систему управления in-memory базами данных класса NoSQL, которая работает с данными типа «ключ-значение»;

  • NATS — систему обмена сообщениями для распределенных систем;

  • Kibana — инструмент для анализа, визуализации и управления данными, хранящимися в Elasticsearch;

  • драйверы, необходимые для работы с графическими процессорами (GPU).

Перед созданием сервера ознакомьтесь с лицензионными соглашениями программного обеспечения, которое входит в образ.

Решаемые задачи

  • индексация и семантический поиск по базам знаний;

  • извлечение и обработка неструктурированных данных из различных источников: PDF-файлов, таблиц, изображений и других;

  • подготовка релевантного контекста из загруженных документов для повышения качества ответов LLM.

Минимальные требования к ресурсам

Количество vCPU4
RAM16 ГБ
Загрузочный диск80 ГБ
GPUОбязательно

Начать работу с RAGFlow

  1. Создайте публичный плавающий IP-адрес.

  2. Создайте облачный сервер с RAGFlow.

  3. Создайте аккаунт в RAGFlow.

  4. Запустите RAGFlow.

1. Создать публичный плавающий IP-адрес

Создайте публичный плавающий IP-адрес, чтобы облачный сервер с OpenClaw был доступен из интернета.

Используйте подраздел Создать публичный плавающий IP-адрес инструкции Публичные плавающие IP-адреса.

2. Создать облачный сервер с RAGFlow

  1. В панели управления в верхнем меню нажмите Продукты и выберите Облачные серверы.

  2. Нажмите Создать сервер.

  3. Заполните блоки:

  4. Проверьте цену облачного сервера.

  5. Нажмите Создать.

Имя и расположение

  1. Введите имя сервера. Оно будет установлено как имя хоста в операционной системе.

  2. Выберите локацию, в которой будет создан сервер. От локации зависит список доступных конфигураций сервера и стоимость ресурсов. После создания сервера изменить локацию нельзя.

Источник

  1. Откройте вкладку Приложения.

  2. Выберите RAGFlow VM.

  3. Опционально: если вам нужна другая актуальная или архивная версия приложения, в поле Версия выберите нужную версию.

Конфигурация

Выберите конфигурацию линейки GPU от 4 vCPU, RAM от 16 ГБ и размером загрузочного диска от 80 ГБ. Для линейки доступны два вида конфигураций сервера:

  • фиксированные конфигурации — конфигурации линейки с разными техническими характеристиками, в которых зафиксировано соотношение ресурсов;
  • произвольные конфигурации — конфигурации, в которых можно указать любое соотношение ресурсов.

В конфигурациях используются разные процессоры в зависимости от линейки и сегмента пула. Вы можете настроить выбранную конфигурацию. После создания сервера можно будет изменить конфигурацию.

  1. Откройте вкладку с GPU линейкой.

  2. Нажмите Фиксированная.

  3. Опционально: вы можете настроить конфигурацию, если создаете сервер в сегменте мультизонального пула ru-6 или сегментах пулов ru-3b, ru-7a и ru-7b:

    3.1. Разверните блок с описанием настроек конфигурации.

    3.2. Опционально: выберите производителя процессора. Выбор производителя доступен не во всех пулах.

    3.3. Опционально: если вы хотите, чтобы за vCPU облачного сервера не закреплялись ядра физического процессора, снимите чекбокс Выделенные ядра. Подробнее в инструкции Выделенные ядра.

    3.4. Опционально: если для сервера с выделенными ядрами вы хотите выключить Hyper-Threading, снимите чекбокс Hyper-Threading (SMT).

    3.5. Опционально: если вы создаете сервер с выделенными ядрами и хотите разместить многопроцессорный сервер на одной NUMA-ноде, отметьте чекбокс Обязательное размещение на одной NUMA-ноде. Разместить на одной NUMA-ноде можно сервер с 4 vCPU и больше. Если ресурсы облачного сервера не получится разместить на одной ноде, он не создаcтся. Подробнее в подразделе Размещение на одной NUMA-ноде инструкции Выделенные ядра.

  4. Выберите GPU.

  5. Выберите конфигурацию.

  6. Если в выбранной конфигурации доступны и локальные, и сетевые диски, выберите диск, который будет использоваться в качестве загрузочного:

    • локальный диск — отметьте чекбокс Локальный SSD NVMe диск. Сервер с локальным диском можно создать только из образов и приложений;
    • сетевой диск — не отмечайте чекбокс Локальный SSD NVMe диск.

    Объем оперативной памяти, который выделяется серверу, может быть меньше указанного в конфигурации — ядро операционной системы резервирует часть оперативной памяти в зависимости от версии ядра и дистрибутива. Выделенный объем на сервере можно проверить с помощью команды sudo dmesg | grep Memory.

Диски

  1. Если при настройке конфигурации вы не отметили чекбокс Локальный SSD NVMe диск, в качестве загрузочного диска сервера будет использоваться первый указанный сетевой диск. Чтобы настроить его:

    1.1. Выберите тип сетевого загрузочного диска.

    1.2. Укажите размер сетевого загрузочного диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    1.3. Если вы выбрали тип диска Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

  2. Опционально: добавьте дополнительный сетевой диск сервера:

    2.1. Нажмите Добавить.

    2.2. Выберите тип сетевого диска.

    2.3. Укажите размер сетевого диска в ГБ или ТБ. Учитывайте лимиты сетевых дисков на максимальный размер.

    2.4. Если вы выбрали тип диска Универсальный v2 или SSD Быстрый v2, укажите общее количество операций чтения и записи в IOPS. После создания диска вы можете изменить количество IOPS — уменьшить или увеличить. Количество изменений IOPS не ограничено.

    После создания сервера можно будет подключить новые дополнительные диски.

Интернет

Настройте публичный доступ к серверу.

Облачный сервер будет добавлен в приватную подсеть, которая подключена к облачному роутеру с функцией 1:1 NAT и выходом в интернет. Доступ в интернет и из интернета будет осуществляться через облачный роутер. Сервер будет доступен из интернета по публичному плавающему IP-адресу.

  1. В поле Подключение из интернета выберите тип доступа Публичный плавающий IP-адрес.

  2. Выберите публичный плавающий IP-адрес, который вы создали на этапе 1.

Приватная сеть

Облачный сервер можно добавить в уже существующую или в новую приватную подсеть.

  1. В поле Подсеть выберите приватную подсеть.

  2. Опционально: в поле IP-адрес измените IP-адрес по умолчанию.

  3. В поле Роутер выберите существующий роутер или создайте новый.

    Если роутер не подключен к интернету, он будет автоматически подключен к интернету после создания сервера.

Безопасность

Выберите группы безопасности для фильтрации трафика на портах сервера. Без групп безопасности трафик будет запрещен. Если блок отсутствует, в сети сервера выключена фильтрация трафика (port security). С выключенной фильтрацией трафика весь трафик будет разрешен.

Доступ

  1. Разместите на сервере SSH-ключ для проекта для безопасного подключения:

    1.1. Если SSH-ключ для проекта не добавлен в облачную платформу, нажмите Добавить SSH-ключ, введите имя ключа, вставьте публичный ключ в формате OpenSSH и нажмите Добавить.

    1.2. Если SSH-ключ для проекта добавлен в облачную платформу, в поле SSH-ключ выберите существующий ключ. SSH-ключ доступен только в том пуле, в котором он размещен.

  2. Опционально: в поле Пароль для «root»:

    2.1. Скопируйте пароль пользователя root — пользователя с неограниченными правами на все действия над системой.

    2.2. Сохраните пароль в безопасном месте и не передавайте в открытом виде.

Дополнительные настройки

  1. Если вы планируете создать несколько серверов и хотите повысить отказоустойчивость инфраструктуры, добавьте сервер в группу размещения:

    1.1. Чтобы создать новую группу, в поле Группа размещения нажмите Создать.

    1.2. Выберите Новая группа и введите имя группы.

    1.3. Выберите политику размещения на разных хостах:

    • желательно — soft-anti-affinity. Система постарается разместить серверы на разных хостах. Если при создании сервера не будет подходящего хоста, он будет создан на том же хосте;
    • обязательно — anti-affinity. Серверы в группе обязательно располагаются на разных хостах. Если при создании сервера не будет подходящего хоста, сервер не будет создан.

    1.4. Если группа создана, в поле Группа размещения выберите группу размещения.

  2. Чтобы добавить дополнительную информацию или фильтровать серверы в списке, добавьте теги сервера. Автоматически добавляются теги операционной системы и конфигурации. Чтобы добавить новый тег, в поле Теги введите тег.

  3. Чтобы добавить скрипт, который выполнится с помощью агента cloud-init при первом запуске операционной системы, в блоке Автоматизация в поле User data:

    • откройте вкладку Текст и вставьте скрипт текстом;
    • или откройте вкладку Файл и загрузите файл со скриптом.

3. Создать аккаунт в RAGFlow

  1. Откройте в браузере страницу http://<ip_address>.

    Укажите <ip_address> — публичный плавающий IP-адрес облачного сервера. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → в карточке сервера нажмите рядом с публичным плавающим IP-адресом.

  2. Нажмите Sign up.

  3. Введите электронную почту.

  4. Введите имя пользователя.

  5. Введите пароль.

  6. Нажмите Continue.

4. Запустить RAGFlow

  1. Откройте в браузере страницу http://<ip_address>.

    Укажите <ip_address> — публичный плавающий IP-адрес облачного сервера. Можно скопировать в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → в карточке сервера нажмите рядом с публичным плавающим IP-адресом.

  2. Введите электронную почту, которую вы указали на шаге 3 при создании аккаунта на этапе 3;

  3. Введите пароль, который вы указали на шаге 5 при создании аккаунта на этапе 3.

  4. Нажмите Sign in.