Подключить объектное хранилище Selectel к ClearML
Подключить объектное хранилище Selectel к ClearML
В ClearML для хранения датасетов, результатов и артефактов экспериментов можно подключить объектное хранилище Selectel.
Откройте конфигурационный файл ClearML
clearml.conf
. Измените блокиapi
,aws
иdevelopment
:api {
...
files_server: s3://s3.<pool>.storage.secloud.ru:443/<container_name>
...
}...
sdk {
...
aws {
s3 {
host: "s3.storage.selcloud.ru:443"
region: "ru-1"
key: "<key_id>"
secret: "<secret_key>"
use_credentials_chain: false
credentials: [{
bucket: "<container_name>"
secure: true
}]
}
boto3 {
pool_connections: 512
max_multipart_concurrency: 16
}
}
...
}
......
development {
...
default_output_uri: "s3://s3.<pool>.storage.secloud.ru:443/<container_name>/<path>"
...
}
...Укажите:
<container_name>
— имя контейнера в объектном хранилище, в котором будут храниться датасеты и артефакты. Имя можно посмотреть в панели управления в разделе Объектное хранилище → Хранилище → вкладка Контейнеры;<key_id>
— Access Key ID из S3-ключа, выданного пользователю;<secret_key>
— Secret Access Key из S3-ключа, выданного пользователю.<path>
— префикс в объектном хранилище;<pool>
— пул, в котором находится объектное хранилище (например, ru-1).
Чтобы загрузить датасеты в ClearML Server, запустите python-скрипт.
Пример скрипта для загрузки одного датасета:
# Создать датасет через класс Dataset
from clearml import Dataset
dataset = Dataset.create(
dataset_name="<dataset_name>",
dataset_project="<project_name>",
output_uri="s3://s3.storage.selcloud.ru:443/<container_name>/<path>",
)
# Добавить файлы в датасет
dataset.add_files(
path="<local_path_to_dataset>",
)
# Загрузить датасет в ClearML Server
dataset.upload()
# Закоммитить изменения в датасете
dataset.finalize()Укажите: