Перейти к основному содержимому

Описание продукта Облако для Hive Metastore

к сведению

Продукт находится на стадии публичного тестирования (public preview). На период публичного тестирования:

  • продукт предоставляется бесплатно;
  • SLA не применяется;
  • доступность сервисов не гарантируется;
  • финансовые компенсации за недоступность или сбои не начисляются.

Мы предупредим вас об изменении условий заранее.

Облако для Hive Metastore — сервис для развертывания и управления кластерами с Hive Metastore в облачной платформе Selectel. Hive Metastore позволяет хранить и управлять метаданными о схемах, таблицах и расположении данных в разных источниках. Подробнее об инструменте Hive Metastore в официальной документации Apache Hive.

Локации, в которых можно создать кластеры Hive Metastore, указаны в инструкции Доступность облака для Hive Metastore в локациях.

Для работы с кластерами Hive Metastore поддерживаются типы и роли пользователей, проекты и лимиты проекта и квоты.

Версии

В кластерах Hive Metastore поддерживается версия 4.2.0.

Решаемые задачи

  • централизованное хранение метаданных о схемах, таблицах и расположении данных в хранилищах;
  • обеспечение единого каталога для аналитических и вычислительных инструментов: Trino, Spark, Flink, Doris и других;
  • управление схемами данных: создание, изменение и удаление таблиц, представлений и партиций;
  • хранение метаданных о таблицах в lakehouse-форматах: Iceberg, Delta Lake, Hudi;
  • использование в платформах данных вместе с облачными базами данных, S3, облаком для Trino, облаком для Redash.

Принцип работы

Кластер Hive Metastore состоит:

  • из Hive Metastore, который предоставляет API для работы с метаданными;

  • базы данных PostgreSQL, в которой хранятся метаданные.

Чтобы начать работу, создайте кластер в панели управления.

При создании кластера вы выбираете конфигурации Hive Metastore и PostgreSQL. Доступны фиксированные конфигурации со сбалансированным распределением ресурсов vCPU:RAM. Если конфигурации не подходят, вы можете заказать собственную конфигурацию. Для этого создайте тикет и укажите соотношение ресурсов.

Для хранения данных, которые описывает Hive Metastore, используются S3-совместимые хранилища. Вы можете использовать S3 Selectel. Подключение бакетов доступно только с типом адресации vHosted.

Кластер Hive Metastore можно подключить только к приватной подсети — без доступа из интернета. Подключаться из кластера можно к хранилищам данных как в приватной подсети, так и через интернет. Для подключения поддерживаются протоколы Thrift и REST. Подробнее в инструкции Подключиться к кластеру Hive Metastore.

Как работать с кластером Hive Metastore

После создания кластера вы можете:

Зоны ответственности

Selectel обеспечивает

  • подбор оборудования для высокой производительности кластеров Hive Metastore;
  • установку и стандартную настройку Hive Metastore;
  • обновление и обслуживание операционной системы и служебного ПО;
  • настройку и обслуживание служебной сети в кластере;
  • наличие ресурсов для масштабирования кластера, если вы инициировали масштабирование;
  • техническую поддержку.

Selectel не несет ответственность

  • за доступность и работоспособность внешних источников данных;
  • наличие необходимых прав доступа к источникам данных;
  • оптимальность написания SQL-запросов;
  • содержание и корректность данных в визуализациях, дашбордах и отчетах;
  • изменение конфигурации кластера Hive Metastore в соответствии с профилем нагрузки;
  • инициирование масштабирования кластера.

Стоимость

На период публичного тестирования (public preview) облако для Hive Metastore предоставляется бесплатно. В будущем сервис станет платным — мы предупредим вас об изменении условий заранее.

Ограничения

Selectel устанавливает лимит учетной записи и лимит проекта, а также квоты на ресурсы. Подробнее в инструкции Квоты и лимиты.

В кластерах Hive Metastore можно выбрать только фиксированные конфигурации, произвольный выбор vCPU и RAM недоступен. Если конфигурации не подходят, вы можете заказать собственную конфигурацию. Для этого создайте тикет и укажите соотношение ресурсов.