Перейти к основному содержимому

FAQ по миграции в S3

Где физически размещается S3?

S3 размещается в разных локациях в трех странах — Россия, Казахстан и Узбекистан. Локация выбирается при создании бакета.

Посмотреть локации, в которых доступно S3, можно в подразделе S3 инструкции Доступность продуктов в локациях. Посмотреть адреса локаций можно в подразделе Инфраструктура Selectel инструкции Локации: страны, регионы, зоны доступности, пулы и адреса дата-центров.

Какой способ миграции из стороннего S3 использовать сейчас?

Мы рекомендуем выполнять миграцию через инструменты, например Rclone. Подробнее в инструкции Пример миграции в S3 через Rclone.

Миграция в S3 через панель управления может завершаться ошибкой при предельно высокой нагрузке на сервис. Отслеживать состояние сервиса миграций можно в статус-панели.

Как использовать S3 для хранения бэкапов инфраструктуры?

Вы можете хранить в S3 бэкапы, образы и другие данные.

Например, чтобы перенести образ диска в S3, используйте инструкцию Перенос образа диска в S3-совместимое хранилище стороннего провайдера.

От чего зависит скорость миграции?

Selectel не влияет на скорость миграции на стороне вашего провайдера. Скорость также зависит от промежуточных компонентов в сети. Мы работаем над тем, чтобы повысить скорость миграции на своей стороне, но не можем гарантировать ускорение миграции в каждом случае.

Для повышения скорости миграции:

  • используйте API и инструменты, например Rclone, подробнее в инструкции Пример миграции в S3 через Rclone;
  • настраивайте миграцию в несколько бакетов, а не в один;
  • распределяйте данные между несколькими локациями;
  • увеличивайте количество потоков данных, например при использовании Rclone.

Как реплицируются данные в S3?

Все данные в S3 реплицируются. Способ репликации зависит от выбранного пула:

  • мультизональный пул (ru-6) — реплики данных синхронно распределяются между тремя физически изолированными дата-центрами (ЦОД). Выдерживает полный выход из строя одного дата-центра без потери данных и остановки сервиса;
  • однозональный пул (ru-1, ru-3, ru-7, gis-1, uz-2, kz-1) — реплики данных синхронно распределяются в пределах одного дата-центра между несколькими независимыми физическими серверами в разных стойках. Выдерживает выход из строя отдельных дисков, серверов или стоек внутри одного ЦОД.

Не поддерживается автоматическая репликация данных в другие пулы, автоматический перенос или переключение на другой пул. Вы можете настроить резервное копирование в другой пул, регион или страну самостоятельно, либо хранить бэкапы на сторонней площадке.

Как дополнительно защитить свои данные в S3?

Вы можете:

Поддерживается ли резервное копирование данных в S3?

S3 поддерживает репликацию данных, но не создает резервные копии данных, из которых можно выполнить восстановление в случае недоступности.

Вы можете настроить резервное копирование по расписанию из S3 самостоятельно с помощью сторонних инструментов. Например, можно настроить резервное копирование в бакет S3 в другом пуле, зоне доступности или стране с помощью:

Почему в некоторых локациях недоступно холодное хранение?

Для повышения общей физической емкости и производительности S3 для новых бакетов мы объединяем классы хранения в отдельных регионах. Класс хранения уже созданных бакетов не меняется.

Посмотреть актуальную информацию по доступным к заказу классам хранения в определенной локации можно в панели управления при создании бакета в блоке Конфигурация → Класс хранения.

Какие есть гарантии безопасности данных в S3?

Условия использования продукта S3 и гарантии, которые дает Selectel, определяются документом Условия использования отдельных сервисов: «Объектное хранилище S3» и SLA. Подробнее о безопасности в Selectel на selectel.ru и в разделе Обеспечение безопасности при использовании продуктов Selectel.

Вы можете самостоятельно повысить безопасность своих данных в S3.

Какой объем данных можно перенести?

На стороне S3 нет ограничений по объему данных, которые можно перенести. Хранилище является масштабируемым.

Есть ограничения на некоторые сущности хранилища и количество запросов к API. Лимиты S3 и лимиты бакета вы можете устанавливать самостоятельно — по умолчанию они отключены.

Перенос больших объемов данных может занять время, в частности при высокой нагрузке на сервис.

Как рассчитать стоимость миграции в S3?

Независимо от способа и инструмента миграции возможность миграции в S3 предоставляется бесплатно.

При этом в Selectel бакет S3 тарифицируется по модели оплаты S3.

Если миграция выполняется:

  • из стороннего S3-совместимого хранилища: в бакете-приемнике в Selectel тарифицируются запросы к API и объем хранения. Входящий трафик не тарифицируется. Исходящий трафик оплачивается на стороне провайдера S3-хранилища, из которого выполняется миграция;
  • из другого бакета S3 Selectel: в бакете-источнике тарифицируются запросы к API, в бакете-приемнике — запросы к API и объем хранения. Трафик между бакетами является внутренним в Selectel и не тарифицируется.

Можно ли перенести бакет в другую локацию?

Вы можете переместить данные в другой пул — в том же или другом дата-центре (зоне доступности), в той же или в другой стране.

Для переноса используйте доступные способы миграции. После миграции вы можете удалить данные из исходного бакета или сохранить их в нескольких локациях для повышения отказоустойчивости.

Запросы к S3 завершаются ошибкой, что делать?

На данный момент во всех локациях наблюдается повышенная нагрузка на S3. Из-за этого запросы могут завершаться ошибками 5xx или прерываться из-за превышения таймаута.

Мы рекомендуем настраивать большие паузы между повторами и распределять данные между разными локациями S3. Рекомендации:

  • не повторять запрос мгновенно — это повышает нагрузку и часто приводит к серии ошибок 409 и 5xx;

  • настроить повторы для запросов с ошибками 5xx и таймаутами по экспоненциальной схеме:

    • начальная пауза — 10 секунд;
    • максимальная пауза — 60 секунд;
    • последовательность — 10 → 20 → 40 → 60 секунд;
    • суммарная продолжительность попыток — 5 минут.

  • снизить количество одновременно загружаемых данных;

  • не превышать лимиты запросов к API;

  • прерывать сегментированную загрузку (AbortMultipartUpload), если сегментированная загрузка (Multipart Upload) прервалась и вы не планируете завершать загрузку. В противном случае она остается незавершенной и уже загруженные сегменты будут тарифицироваться;

  • распределять данные между несколькими локациями S3, чтобы пиковая нагрузка одной локации не замедляла вашу работу. При массовых ошибках в одном регионе переключайте новые загрузки на другой.

Как работать с S3 после миграции?

Подробнее о возможностях продуктах, принципе и способах работы с S3 в инструкции Описание продукта S3. Для работы с хранилищем, бакетами и объектами используйте раздел S3.

Мы также рекомендуем пройти курс Product Dive: S3 от Selectel на платформе обучения Selectel.Стак.