Мониторинг кластера, нод и баз данных Redis

Последнее изменение: 11 ноября 2024

Мониторинг кластера, нод и баз данных Redis

В облачных базах данных Redis можно отслеживать состояние кластера.

Для оценки общего состояния кластера посмотрите его статус.

Для более детального анализа можно:

• посмотреть состояние нод кластера — в виде графиков в панели управления;
• посмотреть состояние баз данных — в виде графиков в панели управления;
• экспортировать метрики нод кластера и баз данных в формате Prometheus.

Узнать о том, что на диске скоро закончится место, можно с помощью уведомления о заполненности диска.

Посмотреть статус кластера⁠

1. В панели управления перейдите в раздел Облачная платформа → Базы данных.
2. В строке кластера посмотрите статус.

ACTIVE	Кластер доступен
CREATING	Кластер создается
UPDATING	К кластеру применяются изменения
RESIZING	Кластер масштабируется
ERROR	Произошла ошибка, создайте тикет
DISK FULL	Диск заполнен, кластер работает только на чтение. Чтобы кластер работал на чтение и запись, масштабируйте кластер и выберите конфигурацию с бóльшим размером диска
DEGRADED	Часть нод кластера недоступна
DELETING	Кластер удаляется

Посмотреть состояние нод кластера⁠

1. В панели управления перейдите в раздел Облачная платформа → Базы данных.
2. Откройте страницу кластера → вкладка Мониторинг.
3. В блоке Мониторинг серверов кластера нажмите Серверы кластера.
4. В поле Сервер выберите ноду, метрики которой вы хотите посмотреть.
5. Посмотрите доступные метрики нод кластера.

Метрики нод кластера в панели управления⁠

vCPU	На сколько процентов загружены ядра нод кластера
CPU iowait	Cколько процентов времени процессор потратил на ожидание ввода/вывода
Память	Занятая память без учета кэша и буферов операционной системы в процентах или гигабайтах
Диск	Занятое место на диске в процентах или гигабайтах. Файловая система резервирует под служебные нужды 4% объема диска, поэтому занятое место больше реально используемого на эти 4%
Нагрузка сети	Количество бит или пакетов, отправленных и принятых через сетевой интерфейс
Диск, скорость чтения и записи	Скорость чтения данных в Б/с и записи данных в КБ/с
Диск, количество операций IOPS	Количество операций чтения и записи в секунду
OOM	Количество процессов, которые завершились ошибкой Out of Memory из-за нехватки оперативной памяти
Load Average	Среднее значение загрузки системы за период времени. Показывает, какое количество процессов обрабатывается ядрами кластера. Показатель представлен в виде трех значений — за одну минуту, пять минут и 15 минут. Эти значения должны быть не больше, чем количество ядер на ноде

Посмотреть состояние баз данных⁠

1. В панели управления перейдите в раздел Облачная платформа → Базы данных.
2. Откройте страницу кластера → вкладка Мониторинг.
3. В блоке Мониторинг серверов кластера нажмите Базы данных.
4. В поле Сервер выберите ноду, метрики которой вы хотите посмотреть.
5. Посмотрите доступные метрики баз данных.

Метрики баз данных в панели управления⁠

Подключения	Количество подключений к базам данных кластера
Запросы	Количество успешных и неудачных запросов в секунду. Неудачными считаются запросы, при которых ключ не существует, вытеснен из-за превышения лимита памяти или его срок жизни (TTL) истек
Количество ключей	Количество ключей во всех базах данных и количество ключей с заданным сроком жизни (TTL)
Вытесненные и устаревшие ключи	Отображается два параметра: Evicted — количество ключей, вытесненных из-за превышения лимита памяти; Expired — количество ключей с истекшим сроком жизни.
Медленные запросы	Количество медленных запросов в секунду. Медленными считаются запросы, которые выполняются дольше 0,01 секунды

Экспортировать метрики в формате Prometheus⁠

1. Получите токен.
2. Получите метрики в формате Prometheus.

1. Получить токен⁠

Токен дает доступ к метрикам всех кластеров проекта в одном пуле.

1. В панели управления перейдите в раздел Облачная платформа → Базы данных.

2. Откройте страницу кластера → вкладка Мониторинг.

3. В блоке Токены для Prometheus нажмите Добавить токен. Токен будет сгенерирован автоматически.

4. Скопируйте токен. Для этого в строке токена нажмите .

2. Получить метрики в формате Prometheus⁠

Историческая информация для кластеров недоступна — метрики запрашиваются только в режиме реального времени. Список всех метрик, которые поддерживаются в облачных базах данных, и их описание можно посмотреть в таблице Метрики в формате Prometheus.

Конфигурационный файл

1. Добавьте в конфигурационный файл Prometheus:

   scrape_configs:
     - job_name: get-metrics-from-dbaas
       scrape_interval: 1m
       static_configs:
         - targets:
           - '<pool>.dbaas.selcloud.ru'
       scheme: https
       authorization:
         type: Bearer
         credentials: <monitoring_token>

   Укажите:

   • <pool> — пул, в котором действует токен, например ru-3. Адрес (URL) зависит от региона и пула, можно посмотреть в списке URL;
   • <monitoring_token> — токен мониторинга, который вы получили ранее.

2. Откройте в браузере страницу, на которой будут доступны метрики в формате Prometheus:

   http://<ip_address>:9090/targets

   Укажите <ip_address> — IP-адрес, на котором установлен Prometheus.

3. Самостоятельно настройте мониторинг и алерты для кластеров баз данных.

CLI

1. Откройте CLI.

2. Чтобы получить метрики, отправьте запрос:

   curl -L "https://<pool>.dbaas.selcloud.ru/metrics" -H "Authorization: Bearer <monitoring_token>"

   Укажите:

   • <pool> — пул, в котором действует токен, например ru-3. Адрес (URL) зависит от региона и пула, можно посмотреть в списке URL;
   • <monitoring_token> — токен мониторинга, который вы получили ранее.

   В ответе появятся доступные метрики в формате Prometheus.

3. Самостоятельно настройте мониторинг и алерты для кластеров баз данных.

Метрики в формате Prometheus⁠

Метрики в формате Prometheus предоставляются для всех кластеров. Конкретный кластер можно найти по идентификатору кластера базы данных в лейбле ds_id.

Метрики уровня инфраструктуры

dbaas_memory_percent	Занятая память без учета кэша и буферов операционной системы (RAM) в процентах
dbaas_memory_bytes	Занятая память без учета кэша и буферов операционной системы (RAM) в байтах
dbaas_oom_count	Количество процессов, которые завершились ошибкой Out of Memory из-за нехватки оперативной памяти
dbaas_cpu	Использование vCPU на нодах кластера базы данных в процентах
dbaas_cpu_iowait	Время ожидания ввода/вывода в процентах
dbaas_disk_percent	Занятое место на диске в процентах. Файловая система резервирует под служебные нужды 4% объема диска, поэтому занятое место больше реально используемого на эти 4%
dbaas_disk_bytes	Занятое место на диске в байтах. Файловая система резервирует под служебные нужды 4% объема диска, поэтому занятое место больше реально используемого на эти 4%
dbaas_disk_read_iops	Количество операций чтения в секунду
dbaas_disk_write_iops	Количество операций записи в секунду
dbaas_disk_read_bytes	Скорость чтения данных с диска в байтах в секунду
dbaas_disk_write_bytes	Скорость записи данных на диск в байтах в секунду
dbaas_node_load1	Среднее значение загрузки системы за одну минуту. Показывает, какое количество процессов обрабатывается ядрами кластера
dbaas_node_load5	Среднее значение загрузки системы за пять минут. Показывает, какое количество процессов обрабатывается ядрами кластера
dbaas_node_load15	Среднее значение загрузки системы за 15 минут. Показывает, какое количество процессов обрабатывается ядрами кластера
dbaas_network_receive_bytes	Количество байт, принятых через сетевой интерфейс
dbaas_network_transmit_bytes	Количество байт, отправленных через сетевой интерфейс
dbaas_network_receive_packets	Количество пакетов, принятых через сетевой интерфейс в секунду
dbaas_network_transmit_packets	Количество пакетов, отправленных через сетевой интерфейс в секунду
dbaas_role	Роль ноды: 0 — роль неизвестна; 1 — мастер; 2 — реплика

Метрики уровня приложения

dbaas_connected_clients	Количество подключений к базам данных кластера
dbaas_keyspace_hits_total	Количество успешных запросов в секунду
dbaas_keyspace_misses_total	Количество неудачных запросов в секунду. Неудачными считаются запросы, которые показывают, что ключ не существует, вытеснен из-за превышения лимита памяти или его срок жизни истек
dbaas_db_keys	Общее количество ключей во всех базах данных
dbaas_db_keys_expiring	Общее количество устаревших ключей
dbaas_evicted_keys_total	Количество ключей, вытесненных из-за превышения лимита памяти
dbaas_expired_keys_total	Количество ключей с истекшим сроком жизни
dbaas_slowlog_length	Количество медленных запросов в секунду. Медленными считаются запросы, которые выполняются дольше 0,01 секунды

Уведомления о заполненности диска⁠

Если диск кластера будет заполнен на 80%, уведомление появится в панели управления и будет отправлено на электронную почту Владельца аккаунта и тех пользователей, которые подписаны на категорию уведомлений «Услуги и сервисы».

Если диск кластера будет заполнен на 95% и более, кластер перейдет в статус DISK_FULL и будет работать только на чтение. Чтобы кластер работал на чтение и запись, масштабируйте кластер и выберите конфигурацию с бóльшим размером диска.