S3 (cloud object storage, или s3 cloud storage) подходит для хранения данных любых форматов. В нем можно размещать как данные высоконагруженных сервисов, к которым приходится часто обращаться, так и редко используемые данные с долгим жизненным циклом: архивы, логи, журналы, базы данных, истории запросов, финансовую отчетность. Мы бережно разместим в хранилище массивы данных в исходном виде и будем четко следовать настроенным политикам доступа.
В S3 можно хранить бэкапы. В таком случае оно может помочь быстро восстановить данные при сбоях. Самый надежный вариант — когда сервер и хранилище с резервными копиями размещены в разных зонах доступности.
S3 (Cloud Object Storage или S3 Cloud Storage) подходит для хранения данных любых форматов. В нем можно размещать данные высоконагруженных сервисов, к которым приходится часто обращаться, и редко используемые данные с долгим жизненным циклом: архивы, логи, журналы, базы данных, истории запросов, финансовая отчетность, хранение данных для AI/ML, Big Data, активные аналитические пайплайны и другое.
Выделяют три типа облачных хранилищ: файловые, блочные и объектные.
В файловом хранилище хранение организовано по принципу иерархии: данные хранятся в файлах, файлы — в папках, папки объединены в подкаталоги и каталоги. В таком хранилище просто ориентироваться, поэтому его часто используют для совместной работы. Файловое хранилище подходит для больших объемов структурированных данных, однако из-за разветвленной иерархии плохо масштабируется.
В блочном хранилище файлы делятся на равнозначные блоки. У каждого из них есть свой идентификатор — по нему система хранения собирает блоки обратно в файлы. Блочное хранилище подходит для интеграции с корпоративными базами данных благодаря низким задержкам и высокой скорости ввода-вывода. Однако данными в блочном хранилище сложно управлять из-за отсутствия метаданных и большого количества настроек. Кроме того, такой тип хранилища один из самых дорогих, так как приходится платить за все пространство, даже если оно не занято данными.
В S3 файлы хранятся как объекты с набором свойств. Свойства хранят идентификатор и метаданные. В отличие от файлового хранилища, в S3 нет иерархии и его легко масштабировать. При этом приложениям удобно обращаться к данным: поддерживается доступ через различные протоколы и API.
Подробнее о сходствах и различиях файловых, блочных и объектных хранилищ в статье блога Что такое облачные хранилища и как используются.
S3 подходит для хранения неструктурированных и полуструктурированных данных:
Метаданные — это информация об объектах, которые размещены в хранилище: название, тип, размер, дата создания. Также можно добавлять собственные метаданные.
С помощью метаданных проще управлять хранилищем: сортировать, искать и удалять нужные объекты, назначать политики хранения, анализировать данные и многое другое.
Подробнее о начале работы с S3 в инструкции S3: Быстрый старт.
Перенести данные можно с помощью сторонних инструментов для работы с хранилищем — например, Rclone.
Подробнее о том, как подготовить площадку для миграции и осуществить миграцию данных, в инструкции Миграция в S3.
Вы можете:
Подробнее в инструкции Управлять доступом в S3.
Работать с хранилищем S3 можно:
Вы можете:
Подробнее в разделе Работа с объектами.
Скорость загрузки и выгрузки данных зависит от многих факторов — например, размера файлов, скорости интернет-соединения, пропускной способности канала, использования специальных утилит.
Да, вы можете подключить бакет как сетевой диск по FTP или с помощью сторонних утилит, например Rclone, WinSCP и других.
Подробнее о том, как монтировать бакет S3 в Linux, читайте в инструкции блога Как монтировать бакет объектного хранилища в Linux.
S3 построено на базе программно-определяемой распределенной системы хранения данных, которая использует распределенные методы защиты. Каждый объект сохраняется в нескольких независимых вариантах или преобразуется в набор специальных блоков, из которых его можно восстановить при необходимости. Это позволяет системе продолжать работу даже при отказе части инфраструктуры.
Наши дата-центры соответствуют международным стандартам Tier III и строго охраняются: камеры видеонаблюдения круглосуточно следят за дата-центрами внутри и снаружи, а доступ к оборудованию есть только у наших инженеров.
Ограничений нет, вы можете хранить любое количество объектов и любой объем данных — хранилище масштабируется автоматически.
В хранилище есть ограничение количества бакетов и запросов к API, подробнее в инструкции Ограничения S3.
S3 оплачивается по модели pay-as-you-go — оплата за потребленные ресурсы списывается каждый час.
На стоимость влияет класс хранения и потребление ресурсов:
Рассчитать примерную стоимость использования S3 можно в калькуляторе ресурсов.