Skip to main content

Описание продукта Облако для Hive Metastore

For your information

Продукт находится на стадии публичного тестирования (public preview). На период публичного тестирования:

  • продукт предоставляется бесплатно;
  • SLA не применяется;
  • доступность сервисов не гарантируется;
  • финансовые и иные компенсации за недоступность или сбои не начисляются.

Мы предупредим вас об изменении условий заранее.

Облако для Hive Metastore – сервис для развертывания и управления кластерами с Hive Metastore в облаке. Hive Metastore позволяет хранить и управлять метаданными о схемах, таблицах и расположении данных в разных источниках. Подробнее об инструменте Hive Metastore в официальной документации Apache Hive.

Кластеры Hive Metastore можно создать в разных локациях. Подробнее в инструкции Доступность облака для Hive Metastore в локациях.

Для работы с кластерами Hive Metastore поддерживаются типы и роли пользователей, проекты и лимиты проекта и квоты.

Версии

В кластерах Hive Metastore поддерживается версия 4.2.0.

Решаемые задачи

  • централизованное хранение метаданных о схемах, таблицах и расположении данных в хранилищах;
  • обеспечение единого каталога для аналитических и вычислительных инструментов: Trino, Spark, Hive, Presto и других;
  • управление схемами данных: создание, изменение и удаление таблиц, представлений и партиций;
  • хранение метаданных о таблицах в lakehouse-форматах: Iceberg, Delta Lake, Hudi;
  • использование в платформах данных вместе с облачными базами данных, S3, облаком для Trino, облаком для Redash.

Состав кластера

Кластер Hive Metastore состоит:

  • из Hive Metastore, который предоставляет API для работы с метаданными;

  • базы данных PostgreSQL, в которой хранятся метаданные.

Принцип работы

Чтобы начать работу, создайте кластер.

При создании кластера вы выбираете конфигурации Hive Metastore и PostgreSQL. Доступны фиксированные конфигурации со сбалансированным распределением ресурсов vCPU:RAM. Если конфигурации не подходят, вы можете заказать собственную конфигурацию — создайте тикет и укажите соотношение ресурсов.

Для хранения данных, которые описывает Hive Metastore, используется S3. Подключение бакетов доступно только с типом адресации vHosted.

Кластер Hive Metastore можно подключить только к приватной подсети — без доступа из интернета. Подключаться из кластера можно к хранилищам данных как в приватной подсети, так и через интернет. Для подключения поддерживаются протоколы Thrift и REST. Подробнее в инструкции Подключиться к кластеру Hive Metastore.

Как работать с кластером Hive Metastore

После создания кластера вы можете:

Зоны ответственности

Selectel обеспечивает

  • подбор оборудования для высокой производительности кластеров Hive Metastore;
  • установку и стандартную настройку Hive Metastore;
  • обновление и обслуживание операционной системы и служебного ПО;
  • настройку и обслуживание служебной сети в кластере;
  • наличие ресурсов для масштабирования кластера, если вы инициировали масштабирование;
  • техническую поддержку.

Selectel не несет ответственность

  • за доступность и работоспособность внешних источников данных;
  • наличие необходимых прав доступа к источникам данных;
  • оптимальность написания SQL-запросов;
  • содержание и корректность данных в визуализациях, дашбордах и отчетах;
  • изменение конфигурации кластера Hive Metastore в соответствии с профилем нагрузки;
  • инициирование масштабирования кластера.

Стоимость

На период публичного тестирования (public preview) Облако для Hive Metastore предоставляется бесплатно. В будущем сервис станет платным — мы предупредим вас об изменении условий заранее.

Лимиты и ограничения

Selectel устанавливает лимит учетной записи и лимит проекта, а также квоты на ресурсы. Подробнее в инструкции Квоты и лимиты.

В кластерах Hive Metastore можно выбрать только фиксированные конфигурации, произвольный выбор vCPU и RAM недоступен. Если конфигурации не подходят, вы можете заказать собственную конфигурацию — создайте тикет и укажите соотношение ресурсов.