Vector

Vector — это высокопроизводительный инструмент для сбора, обработки и передачи логов, метрик и других данных мониторинга в инфраструктуре.

С помощью Vector вы можете работать с логами в сервисе Логи: добавлять события из собственной инфраструктуры.

Перед началом работы настройте Vector.

Настроить Vector

Добавьте сервисного пользователя.
Выдайте пользователю S3-ключ.
Установите инструмент.
Настройте добавление событий.

1. Добавить сервисного пользователя

Добавьте сервисного пользователя с разрешением в области доступа Проекты и ролью:

member;
или reader.

Добавлять пользователей может Владелец аккаунта или пользователи с ролью iam_admin.

2. Выдать S3-ключ пользователю

Пользователи с доступом в панель управления могут выдавать себе S3-ключи, но мы рекомендуем создавать сервисных пользователей и выдавать S3-ключи им.

Выдавать S3-ключи другим пользователям может только Владелец аккаунта или пользователь с ролью iam_admin. Сервисный пользователь не может получить S3-ключ самостоятельно, потому что у него нет доступа в панель управления — ему должен выдать ключ Владелец аккаунта или iam_admin.

Для каждого проекта необходимо создавать отдельный ключ. На один проект можно выпустить несколько ключей.

В панели управления в верхнем меню нажмите Аккаунт.
Перейдите в раздел с нужным типом пользователей:
- Пользователи — для пользователей с доступом в панель управления;
- Сервисные пользователи — для сервисных пользователей.
Откройте страницу пользователя → вкладка Доступ .
В блоке S3-ключи нажмите Добавить ключ.
Введите имя ключа.
Выберите проект, для которого будет работать ключ.
Нажмите Сгенерировать. Будет сгенерировано два значения:
- Access key — Access Key ID, идентификатор ключа;
- Secret key — Secret Access Key, секретный ключ.
Нажмите Скопировать и сохраните ключ — после закрытия окна его нельзя будет просмотреть.

3. Установить инструмент

Используйте инструкцию Install Vector официальной документации Vector.

4. Настроить инструмент для добавления событий

Откройте CLI.
Откройте файл конфигурации /etc/vector/vector.yaml в текстовом редакторе nano:
```
nano /etc/vector/vector.yaml
```

Добавьте в файл vector.yaml конфигурацию для добавления логов. Пример конфигурации:

sources:
journald:
    type: "journald"

transforms:
clean_systemd:
    type: "remap"
    inputs: ["journald"]
    source: |
        . = {
            "hostname": get_hostname!(),
            "message": .message,
            "priority": .PRIORITY,
            "syslog_facility": .SYSLOG_FACILITY,
            "syslog_identifier": .SYSLOG_IDENTIFIER,
            "syslog_timestamp": .SYSLOG_TIMESTAMP,
            "pid": ._PID,
            "runtime_scope": ._RUNTIME_SCOPE
        }
        . = compact(., nullish: true)

        .timestamp = now()

filter_important:
    type: filter
    inputs: ["clean_systemd"]
    condition: |
    to_int!(.priority) <= 4

sinks:
cloudwatch:
    type: "aws_cloudwatch_logs"
    inputs: ["filter_important"]
    group_name: <logs_group_name>
    stream_name: <logs_stream_name>
    region: <pool>
    endpoint: <log_endpoint>
    encoding:
    codec: "json"
    auth:
    access_key_id: <access_key>
    secret_access_key: <secret_key>

Укажите:

<log_group_name> — имя группы логов, например s/lbaas/Loabalancer-1;
<log_stream_names> — список стримов, из которых нужно получать логи, например [http-c48d78e2-6f49-43b5-80b7-2f2b8e5f669d];
<pool> — пул, например ru-9;
<log_endpoint> — URL для обращения к API сервиса Логи. Список URL можно посмотреть в инструкции Список URL;
<access_key> — значение поля Access key из S3-ключа;
<secret_key> — значение поля Secret key из S3-ключа.

Выйдите из текстового редактора nano с сохранением изменений: нажмите Ctrl+Х, а затем Y+Enter.

Запустите Vector:

vector --config-yaml /etc/vector/vector.yaml