Использование дискового пространства

На дисках кластера Kafka хранятся данные топиков и системные файлы, необходимые для работы кластера. Примерно 4% объема диска зарезервировано файловой системой, еще около 5 ГБ выделено под операционную систему, компоненты сервиса и логи. Остальной объем доступен для хранения данных Kafka.

Вы можете отслеживать заполненность диска с помощью метрик. Подробнее о метриках в инструкции Мониторинг кластера и нод Kafka. Узнать о том, что на диске скоро закончится место, можно с помощью уведомления о заполненности диска. Вы можете освободить место на диске.

Уведомления о заполненности диска

Если диск кластера заполнится на 80%, уведомление появится в панели управления и будет отправлено на электронную почту Владельца аккаунта и тех пользователей, которые подписаны на категорию уведомлений «Услуги и сервисы».

Если диск кластера заполнится на 95% и более, кластер перейдет в статус DISK_FULL и будет работать только на чтение. Чтобы кластер работал на чтение и запись, освободите место на диске или масштабируйте кластер и выберите конфигурацию с бóльшим размером диска.

Освободить место на диске

Чтобы освободить место на диске, вы можете:

удалить топик;
настроить политику очистки данных.

Удалить топик

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Топики.
В меню топика выберите Удалить.
Введите имя топика для подтверждения удаления.
Нажмите Удалить.

Настроить политику очистки данных

warning

После изменения параметров log.retention.minutes и log.retention.hours в настройках СУБД кластер будет перезагружен и станет недоступным на время перезагрузки.

Чтобы ускорить очистку диска, измените политику хранения данных в настройках кластера. Kafka автоматически будет удалять данные по новым правилам.

В панели управления в верхнем меню нажмите Продукты и выберите Облачные базы данных.
Откройте вкладку Активные.
Откройте страницу кластера → вкладка Настройки.
В блоке Настройки СУБД нажмите Изменить.
Укажите новые значения параметров для настройки политики очистки данных.
Нажмите Сохранить.

Параметры для настройки политики очистки данных

log.segment.bytes	Максимальный размер одного сегмента в разделе топика в байтах. Когда текущий сегмент будет заполнен, Kafka создаст новый сегмент. Значение по умолчанию — `1 073 741 824`
log.retention.bytes	Максимальный размер раздела топика в байтах. Когда раздел будет заполнен, Kafka начнет удалять старые сегменты. Значение по умолчанию — `-1` (максимальный размер не ограничен)
log.retention.ms	Время хранения сегмента в миллисекундах. Если не задано, используется параметр `log.retention.minutes`. Если указано `-1`, время хранения не ограничивается, даже если заданы параметры `log.retention.minutes` или `log.retention.hours`
log.retention.minutes	Время хранения сегмента в минутах. Если не задано, используется параметр `log.retention.hours`
log.retention.hours	Время хранения сегмента в часах. Используется, если не заданы параметры `log.retention.ms` и `log.retention.minutes`. Значение по умолчанию — `168`