Описание продукта S3

S3 (объектное хранилище) — сервис Selectel для хранения и раздачи неограниченного объема неструктурированных и полуструктурированных данных в одном из пулов.

S3 регулируется условиями использования и по умолчанию соответствует 152-ФЗ.

S3 можно подключать в одном из пулов.

В продукте поддерживаются типы и роли пользователей и проекты.

Как работать с S3

Работать с S3 можно:

через S3 API, Swift API и Selectel Storage API. Для работы через API можно использовать различные инструменты (Rclone, AWS CLI, s3cmd и другие);
по протоколу FTP. Он использует Swift API для трансляции запросов в S3;
через панель управления Selectel, которая выполняет запросы в S3 через Swift API и Selectel Storage API. У панели управления есть ограничения на работу с большим количеством объектов и с объектами большого размера;
с помощью Terraform.

Решаемые задачи

S3 является универсальным хранилищем, его можно использовать для:

раздачи статической информации (данных сайтов и приложений), потоковой передачи данных и т. д. Для ускорения раздачи данных можно подключить CDN;
хранения резервных копий и архивов. Вы можете настроить резервное копирование сервера по расписанию, чтобы переносить важные данные в S3;
хранения больших объемов данных для машинного обучения и аналитики;
размещения статических сайтов.

Принцип работы

S3 построено на базе программно-определяемой распределенной системы хранения данных. Данные хранятся в виде объектов и реплицируются на три независимых сервера, которые находятся в разных стойках.

Объекты хранятся в бакетах и наследуют их настройки.

S3 имеет плоскую адресную структуру — в хранилище нет папок и иерархии, благодаря чему вы можете получать быстрый доступ к объектам по протоколу HTTP.

Каждый объект в хранилище содержит:

данные;
уникальный идентификатор, который используется хеш-функцией для определения местоположения объекта;
метаданные. Вы можете добавлять свои метаданные, чтобы реализовать собственную систему хранения и обработки данных.