Использование дискового пространства в кластере Kafka

В облачных базах данных часть дискового пространства резервируется под служебные нужды. Общий объем зарезервированного пространства зависит от версии Kafka.

	Kafka 3.5	Kafka 4.1
Резерв для файловой системы	4% объема диска	4% объема диска
Резерв под операционную систему, компоненты сервиса и логи	8 ГБ	15 ГБ

Зарезервированная часть дискового пространства недоступна для размещения баз данных. Учитывайте это при выборе линейки конфигураций.

Вы можете отслеживать степень заполнения диска с помощью уведомлений о заполненности диска и метрик. Подробнее о метриках в инструкции Мониторинг кластера и нод Kafka.

При заполнении диска кластера на 95% и более кластер перейдет в статус DISK_FULL и будет работать только на чтение. Это необходимо, чтобы предотвратить полную блокировку или повреждение кластера из-за отсутствия свободного места. Чтобы кластер работал на чтение и запись, освободите место на диске или масштабируйте кластер и выберите конфигурацию с размером диска больше, чем в предыдущей конфигурации.

Уведомления о заполненности диска

Уведомления о заполненности диска направляются на электронную почту Владельца аккаунта и пользователей, которые подписаны на категорию уведомлений «Услуги и сервисы». Уведомления направляются при заполнении диска на 80% и 95%.

Освободить место на диске

Чтобы освободить место на диске, вы можете:

удалить топик;
настроить политику очистки данных.

Удалить топик

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Топики.
В меню топика выберите Удалить.
Введите имя топика для подтверждения удаления.
Нажмите Удалить.

Настроить политику очистки данных

warning

После изменения параметров log.retention.minutes и log.retention.hours в настройках СУБД кластер будет перезагружен и станет недоступным на время перезагрузки.

Чтобы ускорить очистку диска, измените политику хранения данных в настройках кластера. Kafka автоматически будет удалять данные по новым правилам.

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Настройки.
В блоке Настройки СУБД нажмите Изменить.
Укажите новые значения параметров для настройки политики очистки данных.
Нажмите Сохранить.

Параметры для настройки политики очистки данных

log.segment.bytes	Максимальный размер одного сегмента в разделе топика в байтах. Когда текущий сегмент будет заполнен, Kafka создаст новый сегмент. Значение по умолчанию — `1 073 741 824`
log.retention.bytes	Максимальный размер раздела топика в байтах. Когда раздел будет заполнен, Kafka начнет удалять старые сегменты. Значение по умолчанию — `-1` (максимальный размер не ограничен)
log.retention.ms	Время хранения сегмента в миллисекундах. Если не задано, используется параметр `log.retention.minutes`. Если указано `-1`, время хранения не ограничивается, даже если заданы параметры `log.retention.minutes` или `log.retention.hours`
log.retention.minutes	Время хранения сегмента в минутах. Если не задано, используется параметр `log.retention.hours`
log.retention.hours	Время хранения сегмента в часах. Используется, если не заданы параметры `log.retention.ms` и `log.retention.minutes`. Значение по умолчанию — `168`