Мониторинг кластера, нод и баз данных PostgreSQL TimescaleDB

В облачных базах данных PostgreSQL TimescaleDB вы можете отслеживать состояние кластера.

Для оценки общего состояния кластера посмотрите его статус.

Для более детального анализа некоторые метрики можно посмотреть в виде графиков в панели управления:

метрики нод кластера;
метрики баз данных;
метрики пулера соединений.

Полный набор доступных метрик можно экспортировать в формате Prometheus.

Время в панели управления соответствует времени, установленному на вашем устройстве, и не зависит от региона, где размещен кластер.

примечание

Например, вы создали кластер в Ташкенте, в пуле uz-1. На устройстве, с которого вы зашли в панель управления, установлен часовой пояс Москвы. Время на графиках метрик будет отображаться в часовом поясе Москвы.

Узнать о том, что на диске скоро закончится место, можно с помощью уведомления о заполненности диска.

Посмотреть статус кластера

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.

В строке кластера посмотрите статус.

ACTIVE	Кластер доступен
CREATING	Кластер создается
UPDATING	К кластеру применяются изменения
RESIZING	Кластер масштабируется
ERROR	Произошла ошибка, создайте тикет
DISK FULL	Диск заполнен, кластер работает только на чтение. Чтобы кластер работал на чтение и запись, очистите диск или масштабируйте кластер и выберите конфигурацию с бóльшим размером диска
DEGRADED	Часть нод кластера недоступна
DELETING	Кластер удаляется

Посмотреть состояние нод кластера

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Мониторинг.
В блоке Мониторинг кластера нажмите Ноды кластера.
В поле Сервер выберите ноду, метрики которой вы хотите посмотреть.
Посмотрите доступные метрики нод кластера.

Метрики нод кластера в панели управления

vCPU	На сколько процентов загружены ядра нод кластера
CPU iowait	Cколько процентов времени процессор потратил на ожидание ввода/вывода
Память	Занятая память без учета кэша и буферов операционной системы в процентах или гигабайтах
Диск	Занятое место на диске в процентах или гигабайтах. Файловая система резервирует под служебные нужды 4% размера диска, поэтому занятое место больше реально используемого на эти 4%
Нагрузка сети	Количество бит или пакетов, отправленных и принятых через сетевой интерфейс
Диск, скорость чтения и записи	Скорость чтения данных в Б/с и записи данных в КБ/с
Диск, количество операций IOPS	Количество операций чтения и записи в секунду
OOM	Количество процессов, которые завершились ошибкой `Out of Memory` из-за нехватки оперативной памяти
Load Average	Среднее значение загрузки системы за период времени. Показывает, какое количество процессов обрабатывается ядрами кластера. Показатель представлен в виде трех значений — за одну минуту, пять минут и 15 минут. Эти значения должны быть не больше, чем количество ядер на ноде

Посмотреть состояние баз данных

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Мониторинг.
В блоке Мониторинг кластера нажмите Базы данных.
В поле Сервер выберите ноду, метрики которой вы хотите посмотреть.
Посмотрите доступные метрики баз данных.

Метрики баз данных в панели управления

Подключения	Количество подключений к каждой базе данных кластера и суммарное количество подключений ко всем базам данных
Время выполнения самого долгого запроса	Время выполнения самого долгого запроса в каждой базе данных кластера за период времени
Транзакции	Количество транзакций в секунду в каждой базе данных кластера
Попадание в кэш	Какой процент данных в запросе был прочитан из кэша — отношение `blks_hit` к сумме `blks_hit` и `blks_read`
Locks	Количество блокировок в каждой базе данных кластера
Deadlocks	Количество взаимных блокировок в каждой базе данных
Размер БД	Общий размер выбранной базы данных в мегабайтах
Размер файла статистики	Общий размер файла статистики в килобайтах
Размер WAL-файлов	Общий размер WAL-файлов в мегабайтах
Размер временных файлов	Общий размер временных файлов в килобайтах
Операции со строками	Количество операций в выбранной базе данных в секунду: `tup_deleted` — количество строк, удаленное запросами в базе данных в секунду; `tup_fetched` — количество строк, извлеченное запросами в базе данных в секунду; `tup_inserted` — количество строк, вставленное запросами в базе данных в секунду; `tup_returned` — количество строк, возвращенное запросами в базе данных в секунду; `tup_updated` — количество строк, измененное запросами в базе данных в секунду

Посмотреть состояние пулера соединений

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Мониторинг.
В блоке Мониторинг кластера нажмите Пулер соединений.
В поле Сервер выберите ноду, метрики которой вы хотите посмотреть.
Посмотрите доступные метрики нод кластера.

Метрики пулера соединений в панели управления

Подключения клиентов к пулу	Количество подключений клиентов к пулу в выбранной базе данных: `pools_client_active_connections` — количество подключений клиентов, связанных с серверными соединениями или простаивающих без запросов; `pools_client_waiting_connections` — количество подключений клиентов, где запрос отправлен, но соединения с нодой еще нет
Активные подключения к серверу	Количество серверных соединений, связанных с клиентами, в выбранной базе данных
Время ожидания ответа от сервера	Время ожидания ответа от ноды в выбранной базе данных в секундах
Максимальное время ожидания клиента в очереди	Максимальное время ожидания клиента в очереди в выбранной базе данных в секундах

Экспортировать метрики в формате Prometheus

Историческая информация для кластеров недоступна — метрики запрашиваются только в режиме реального времени. Список всех метрик, которые поддерживаются в облачных базах данных, и их описание можно посмотреть в таблице Метрики в формате Prometheus.

Получите токен.
Получите метрики в формате Prometheus.

1. Получить токен

Токен дает доступ к метрикам всех кластеров проекта в одном пуле.

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Мониторинг.
В блоке Токены для Prometheus нажмите Добавить токен. Токен будет сгенерирован автоматически.
Скопируйте токен. Для этого в строке токена нажмите .

2. Получить метрики в формате Prometheus

Конфигурационный файл
CLI

Добавьте в конфигурационный файл Prometheus:
```
scrape_configs:
  - job_name: get-metrics-from-dbaas
    scrape_interval: 1m
    static_configs:
      - targets:
        - '<domain>'
    scheme: https
    authorization:
      type: Bearer
      credentials: <token>
```
Укажите:
- <domain> — домен Managed Databases API. Это часть URL для обращения к API без https:// и /v1, например ru-3.dbaas.selcloud.ru. URL зависит от региона и пула, можно посмотреть в списке URL;
- <token> — токен, который вы скопировали при получении токена на шаге 5.
Откройте в браузере страницу, на которой будут доступны метрики в формате Prometheus:
```
http://<ip_address>:9090/targets
```
Укажите <ip_address> — IP-адрес, на котором установлен Prometheus.
Самостоятельно настройте мониторинг и алерты для кластеров баз данных.

Откройте CLI.
Чтобы получить метрики, отправьте запрос:
```
curl -L "https://<domain>/metrics" -H "Authorization: Bearer <token>"
```
Укажите:
- <domain> — домен Managed Databases API. Это часть URL для обращения к API без https:// и /v1, например ru-3.dbaas.selcloud.ru. URL зависит от региона и пула, можно посмотреть в списке URL;
- <token> — токен, который вы скопировали при получении токена на шаге 5.
В ответе появятся доступные метрики в формате Prometheus.
Самостоятельно настройте мониторинг и алерты для кластеров баз данных.

Метрики в формате Prometheus

Метрики в формате Prometheus предоставляются для всех кластеров. Конкретный кластер можно найти по идентификатору кластера базы данных в лейбле ds_id.

Метрики уровня инфраструктуры
Метрики уровня приложения

dbaas_memory_percent	Занятая память без учета кэша и буферов операционной системы (RAM) в процентах
dbaas_memory_bytes	Занятая память без учета кэша и буферов операционной системы (RAM) в байтах
dbaas_oom_count	Количество процессов, которые завершились ошибкой `Out of Memory` из-за нехватки оперативной памяти
dbaas_cpu	Использование vCPU на нодах кластера базы данных в процентах
dbaas_cpu_iowait	Время ожидания ввода/вывода в процентах
dbaas_disk_percent	Занятое место на диске в процентах. Файловая система резервирует под служебные нужды 4% размера диска, поэтому занятое место больше реально используемого на эти 4%
dbaas_disk_bytes	Занятое место на диске в байтах. Файловая система резервирует под служебные нужды 4% размера диска, поэтому занятое место больше реально используемого на эти 4%
dbaas_disk_read_iops	Количество операций чтения в секунду
dbaas_disk_write_iops	Количество операций записи в секунду
dbaas_disk_read_bytes	Скорость чтения данных с диска в байтах в секунду
dbaas_disk_write_bytes	Скорость записи данных на диск в байтах в секунду
dbaas_node_load1	Среднее значение загрузки системы за одну минуту. Показывает, какое количество процессов обрабатывается ядрами кластера
dbaas_node_load5	Среднее значение загрузки системы за пять минут. Показывает, какое количество процессов обрабатывается ядрами кластера
dbaas_node_load15	Среднее значение загрузки системы за 15 минут. Показывает, какое количество процессов обрабатывается ядрами кластера
dbaas_network_receive_bytes	Количество байт, принятых через сетевой интерфейс
dbaas_network_transmit_bytes	Количество байт, отправленных через сетевой интерфейс
dbaas_network_receive_packets	Количество пакетов, принятых через сетевой интерфейс в секунду
dbaas_network_transmit_packets	Количество пакетов, отправленных через сетевой интерфейс в секунду
dbaas_role	Роль ноды: `0` — роль неизвестна; `1` — мастер; `2` — реплика

dbaas_connections	Количество активных соединений с процессом PostgreSQL TimescaleDB. Например, можно использовать лейблы: `ds_name` — имя кластера базы данных; `datname` — имя базы данных.
dbaas_total_connections	Общее количество установленных соединений с процессом PostgreSQL TimescaleDB
dbaas_max_tx_duration	Время выполнения самого долгого запроса в секундах
dbaas_xact_commit_rollback	Количество транзакций в секунду в каждой базе данных кластера. Например, можно использовать лейблы: `ds_name` — имя кластера базы данных; `datname` — имя базы данных.
dbaas_tup_deleted	Количество строк в секунду, удаленное запросами в базе данных
dbaas_tup_fetched	Количество строк в секунду, извлеченное запросами в базе данных
dbaas_tup_inserted	Количество строк в секунду, вставленное запросами в базе данных
dbaas_tup_returned	Количество строк в секунду, возвращенное запросами в базе данных
dbaas_tup_updated	Количество строк в секунду, измененное запросами в базе данных
dbaas_xact_commit	Количество зафиксированных транзакций в секунду в базе данных
dbaas_xact_rollback	Количество транзакций в секунду в базе данных, для которых был выполнен откат
dbaas_cache_hit_ratio	Процент данных в запросе, которые были прочитаны из кэша — отношение `blks_hit` к сумме `blks_hit` и `blks_read`
dbaas_deadlocks	Количество взаимных блокировок в секунду в каждой базе данных. Например, можно использовать лейблы: `ds_name` — имя кластера базы данных; `datname` — имя базы данных.
dbaas_locks	Количество блокировок в секунду в каждой базе данных кластера. Например, можно использовать лейблы: `ds_name` — имя кластера базы данных; `datname` — имя базы данных.
dbaas_pg_pgss_query_texts_size_bytes	Размер файла со статистикой от `pg_stat_statements` в байтах
dbaas_pg_total_wals_size_bytes	Размер каталога с WAL-файлами в байтах
dbaas_pg_tmp_size_bytes	Размер временных файлов PostgreSQL TimescaleDB в байтах
dbaas_databases_size_bytes	Общий размер базы данных в байтах. Например, можно использовать лейбл `datname` — имя базы данных
dbaas_pg_trx_max_age	Количество транзакций, выполненных после последней заморозки с помощью операции VACUUM FREEZE или AUTOVACUUM
dbaas_pg_trx_percent_before_vacuum_freeze	Показывает, насколько возраст самой ранней транзакции в базе данных приблизился к порогу, после которого PostgreSQL принудительно запускает операцию VACUUM FREEZE. Порог определяется параметром `autovacuum\_freeze\_max\_age`
dbaas_pg_trx_percent_before_wraparound_risk	Показывает, насколько возраст самой ранней транзакции в базе данных приблизился к порогу, после которого возможно переполнение идентификаторов транзакций (wraparound)
dbaas_pgbouncer_pools_client_maxwait_seconds	Максимальное время ожидания клиента в очереди в секундах
dbaas_pgbouncer_pools_client_waiting_connections	Количество подключений клиентов, где запрос отправлен, но соединения с нодой еще нет
dbaas_pgbouncer_stats_client_wait_seconds_total	Время ожидания ответа от ноды в микросекундах
dbaas_pgbouncer_pools_client_active_connections	Количество подключений клиентов, связанных с серверными соединениями или простаивающих без запросов. Например, можно использовать лейблы: `ds_id` — идентификатор кластера базы данных; `data_base` — имя базы данных.
dbaas_pgbouncer_pools_server_active_connections	Количество серверных соединений, связанных с клиентами
dbaas_pg_replication_slot_active	Статус слота репликации: `0` — слот не используется. У слота нет потребителя, данные не передаются в принимающую базу данных, накапливаются в слоте репликации и занимают дополнительное место на диске; `1` — слот используется. У слота есть потребитель, данные передаются в принимающую базу данных
dbaas_pg_replication_slot_lag	Размер накопленных WAL-файлов в мегабайтах. Показывает, сколько транзакционной информации нужно обработать принимающей базе данных, чтобы догнать исходную базу данных

Уведомления о заполненности диска

Если диск кластера будет заполнен на 80%, уведомление появится в панели управления и будет отправлено на электронную почту Владельца аккаунта и тех пользователей, которые подписаны на категорию уведомлений «Услуги и сервисы».

Если диск кластера будет заполнен на 95% и более, кластер перейдет в статус DISK_FULL и будет работать только на чтение. Чтобы кластер работал на чтение и запись, очистите диск или масштабируйте кластер и выберите конфигурацию с бóльшим размером диска.