Миграция в объектное хранилище
Мигрировать в Объектное хранилище Selectel из хранилища другого провайдера (AWS S3, Azure, GCP и др.) можно через Rclone.
Перед миграцией данных из хранилища другого провайдера (исходного) в объектное хранилище Selectel (целевое) подготовьте площадку для миграции.
Подготовить площадку для миграции
- Создайте контейнер в объектном хранилище Selectel.
- Подключитесь к хранилищу через Rclone.
- Создайте две новые конфигурации через S3 API — для целевого и исходного хранилища. Для исходного хранилища используйте параметры текущего провайдера.
Миграция данных
Выполните полное копирование объектов из исходного хранилища в целевое:
rclone copy -v -P --log-file=rclone.log --transfers=<transfers> <source_provider>:<container_name> <destination_provider>:<container_name>
Укажите:
<transfers>
— количество параллельных потоков копирования. 10 — рекомендуемое значение параметра. Уменьшите число потоков, если появляется большое количество ошибок тайм-аута;<source_provider>
— имя конфигурации исходного хранилища;<destination_provider>
— имя конфигурации целевого хранилища;<container_name>
— имя контейнера в целевом хранилище.
Запустите синхронизацию. Будут скопированы только измененные или новые объекты из исходного хранилища:
rclone sync -v -P --log-file=rclone.log --transfers=10 <source_provider>:<container_name> <destination_provider>:<container_name>
Укажите:
<source_provider>
— имя конфигурации исходного хранилища;<destination_provider>
— имя конфигурации целевого хранилища;<container_name>
— имя контейнера в целевом хранилище.
Остановите работу тех сервисов, которые используют исходное хранилище. Это нужно для консистентности данных.
Запретите изменение данных в исходном хранилище, оставьте только функцию чтения.
Синхронизируйте хранилища, при этом ранее скопированные объекты будут пропущены:
rclone sync -v -P --log-file=rclone.log --transfers=10 <source_provider>:<container_name> <destination_provider>:<container_name>
Укажите:
<source_provider>
— имя конфигурации исходного хранилища;<destination_provider>
— имя конфигурации целевого хранилища;<container_name>
— имя контейнера в целевом хранилище.
Когда синхронизация будет завершена, переключите работу сервисов на Объектное хранилище Selectel.
Опционально: удалите данные из исходного хранилища.