Мониторинг кластера и нод Kafka
Вы можете отслеживать состояние кластера Kafka в панели управления:
- смотреть информацию об использовании нод кластера в виде графиков в панели управления;
- смотреть статус кластера;
- получать уведомления о заполненности диска.
Метрики нод кластера и баз данных можно также экспортировать в формате Prometheus.
Пос мотреть состояние нод кластера
- В панели управления перейдите в раздел Облачная платформа → Базы данных.
- Откройте страницу кластера → вкладка Мониторинг.
- В блоке Мониторинг серверов кластера посмотрите доступные метрики нод кластера.
Метрики нод кластера в панели управления
Посмотреть статус кластера
- В панели управления перейдите в раздел Облачная платформа → Базы данных.
- Посмотрите статус в строке кластера → столбец Статус.
Уведомления о заполненности диска
Если диск кластера будет заполнен на 80%, на почту аккаунта автоматически отправится уведомление.
Если диск кластера будет заполнен на 95% и более, кластер перейдет в статус DISK_FULL и будет работать только на чтение. Чтобы кластер работал на чтение и запись, очистите диск или масштабируйте кластер и выберите конфигурацию с бóльшим размером диска.
Очистить диск
Откройте транзакцию transaction_read_only = no и удалите ненужные данные с помощью одного из запросов:
-
DROP TABLE— удаляет структуру (данные, привилегии, индексы, constraints, триггеры). Используйте при полном удалении таблицы с данными и структурой:BEGIN;
SET transaction_read_only = no;
DROP TABLE table_name;
COMMIT; -
TRUNCATE TABLE— удаляет содержимое таблицы, при этом структура сохраняется. Работает быстрееDROP TABLE. Используйте при удалении всех строк таблицы с сохранением структуры таблицы:BEGIN;
SET transaction_read_only = no;
TRUNCATE TABLE table_name;
COMMIT; -
DELETE— используйте для удаления определенных строк.к сведениюМы не рекомендуем использовать запрос
DELETE FROM table WHERE ...для очистки диска. Этот запрос может создавать выборки больших размеров на больших таблицах и располагать их на диске. Оставшееся свободное место на диске может полностью закончиться, это приведет к проблемам с Kafka и необходимости восстанавливать его работу вручную.
Экспо ртировать метрики в формате Prometheus
Вы можете экспортировать метрики в формате Prometheus и затем самостоятельно настроить мониторинг и алерты для кластеров Kafka. Историческая информация для кластеров недоступна — метрики запрашиваются только в режиме реального времени.
Чтобы экспортировать метрики, нужно получить токен мониторинга. Токен дает доступ к метрикам всех кластеров в одном пуле проекта.
-
В панели управления перейдите в раздел Облачная платформа → Базы данных.
-
Откройте страницу кластера → вкладка Мониторинг.
-
В блоке Метрики в формате Prometheus нажмите Управлять токенами.
-
Нажмите Создать.
-
Введите имя токена.
-
Нажмите Создать. Токен будет сгенерирован автоматически.
-
Добавьте в конфигурационный файл Prometheus:
scrape_configs:
- job_name: get-metrics-from-dbaas
scrape_interval: 1m
static_configs:
- targets:
- '<pool>.dbaas.selcloud.ru'
scheme: https
authorization:
type: Bearer
credentials: <monitoring_token>Укажите:
<pool>— пул, в котором действует токен, напримерru-3. Адрес (URL) зависит от региона и пула, можно посмотреть в списке URL;<monitoring_token>— значение токена мониторинга.
-
Источник метрик появится по адресу
http://<localhost>:9090/targets.Укажите
<localhost>— IP-адрес, на котором установлен Prometheus. -
Посмотрите доступные метрики в формате Prometheus.
Метрики в формате Prometheus
Метрики в формате Prometheus предоставляются для всех кластеров. Конкретный кластер можно найти по идентификатору кластера базы данных в лейбле ds_id.