Перейти к основному содержимому

Описание продукта Облако для Trino

к сведению

Продукт находится на стадии публичного тестирования (public preview). На период публичного тестирования:

  • продукт предоставляется бесплатно;
  • SLA не применяется;
  • доступность сервисов не гарантируется;
  • финансовые и иные компенсации за недоступность или сбои не начисляются.

Мы предупредим вас об изменении условий заранее.

Облако для Trino – сервис для развертывания и управления кластерами с распределенным аналитическим SQL-движком Trino в облаке. Trino позволяет выполнять SQL-запросы над большими объемами данных, которые хранятся в разных форматах и источниках. Подробнее об инструменте Trino в официальной документации Trino.

Кластеры Trino можно создать в разных локациях. Подробнее в инструкции Доступность облака для Trino в локациях.

Для работы с кластерами Trino поддерживаются типы и роли пользователей, проекты и лимиты проекта и квоты.

Версии

В кластерах Trino поддерживаются версии 482 и 483.

Решаемые задачи

  • аналитическая обработка больших объемов данных;
  • масштабирование аналитических вычислений за счет распределенной обработки в кластере;
  • выполнение интерактивных разовых (ad-hoc) SQL-запросов;
  • выполнение федеративных SQL-запросов к данным из различных источников: баз данных, шин данных, S3 и других;
  • обработка данных в разных форматах, в том числе lakehouse-форматах: Iceberg, Delta Lake, Hudi;
  • построение ETL/ELT-пайплайнов: загрузка и трансформация данных между источниками;
  • подготовка данных для BI-инструментов: Redash, Superset и других;
  • построение платформ данных вместе с облачными базами данных, S3, облаком для Redash, облаком для Hive Metastore.

Состав кластера

Кластер Trino состоит из координатора и воркеров.

Координатор

Координатор — управляющая нода кластера, которая:

  • принимает запросы от пользователей;
  • планирует выполнение SQL-запросов;
  • распределяет задачи между воркерами;
  • собирает результаты от воркеров.

В кластере Trino всегда только один координатор.

Воркеры

Воркеры — рабочие ноды кластера, которые:

  • выполняют задачи от координатора;
  • читают данные из источников с помощью коннекторов;
  • выполняют операции с данными;
  • обмениваются промежуточными результатами между собой;
  • возвращают финальные результаты координатору.

В кластере Trino может быть от 1 до 10 воркеров. Вы можете:

  • задать фиксированное количество воркеров;
  • или настроить автомасштабирование — количество воркеров будет меняться автоматически только в указанном диапазоне в зависимости от нагрузки на кластер.

Коннекторы

Коннектор — интерфейс для доступа к источнику данных определенного типа. Он преобразует данные из источника данных в схемы, таблицы, столбцы, строки и типы данных Trino. Это позволяет работать одинаково со всеми источниками данных, вне зависимости от их специфических требований.

Коннектор выбирается при создании каталога.

В кластерах Trino доступны коннекторы:

  • PostgreSQL;
  • MySQL;
  • Iceberg;
  • ClickHouse®.

Принцип работы

Чтобы начать работу, создайте кластер.

При создании кластера вы выбираете конфигурации для координатора и воркеров. Доступны фиксированные конфигурации со сбалансированным распределением ресурсов vCPU:RAM. У всех воркеров в кластере будет одинаковая конфигурация. Если конфигурации не подходят, вы можете заказать собственную конфигурацию — создайте тикет и укажите соотношение ресурсов.

Кластер Trino можно подключить только к приватной подсети. Вы можете включить внешний доступ, чтобы подключаться к графическому интерфейсу Trino или Trino CLI из интернета. Подробнее в инструкции Подключиться к кластеру Trino.

Каталоги можно добавить при создании кластера или в существующем кластере.

Как работать с кластером Trino

После создания кластера вы можете:

Зоны ответственности

Selectel обеспечивает

  • подбор оборудования для высокой производительности кластеров Trino;
  • установку и стандартную настройку Trino;
  • обновление и обслуживание операционной системы и служебного ПО;
  • настройку и обслуживание служебной сети в кластере;
  • наличие ресурсов для масштабирования кластера, если вы инициировали масштабирование;
  • техническую поддержку.

Selectel не несет ответственность

  • за корректность конфигурации каталогов и параметров подключения к источникам данных;
  • доступность и работоспособность внешних источников данных;
  • наличие необходимых прав доступа к источникам данных;
  • оптимальность написания SQL-запросов;
  • схему и структуру данных в источниках;
  • изменение конфигурации кластера Trino в соответствии с профилем нагрузки;
  • инициирование масштабирования кластера.

Стоимость

На период публичного тестирования (public preview) облако для Trino предоставляется бесплатно. В будущем сервис станет платным — мы предупредим вас об изменении условий заранее.

Лимиты и ограничения

Selectel устанавливает лимит учетной записи и лимит проекта, а также квоты на ресурсы. Подробнее в инструкции Квоты и лимиты.

В кластерах Trino для координатора и воркеров можно выбрать только фиксированные конфигурации, произвольный выбор vCPU и RAM недоступен. Если конфигурации не подходят, вы можете заказать собственную конфигурацию — создайте тикет и укажите соотношение ресурсов.

При создании кластера Trino можно добавить не больше 10 каталогов. Остальные каталоги можно добавить после создания кластера.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc. https://clickhouse.com.