---
title: 'Метрики производительности модели inference-сервиса'
sidebar_label: 'Метрики производительности модели'
sidebar_position: 3
description: 'Описание метрик производительности модели inference-сервиса'
---

import { CustomTable } from 'docs-kit/components';
import Formbricks from '@theme/MDXComponents/Formbricks';

# Метрики производительности модели inference-сервиса

С помощью метрик вы можете сравнить производительность модели на разных конфигурациях и подобрать необходимую.
Метрики отображаются в карточке каждой [конфигурации](/foundation-models-catalog/create/configurations.mdx) при [создании inference-сервиса](/foundation-models-catalog/create/create-inference-service.mdx).

<CustomTable>
  <table>
    <tbody>
      <tr>
        <th>Avg Time to First Token</th>

        <td>
          Среднее время от получения запроса до генерации первого токена в миллисекундах
        </td>
      </tr>

      <tr>
        <th>Avg Request Throughput</th>

        <td>
          Среднее количество обрабатываемых запросов в секунду
        </td>
      </tr>

      <tr>
        <th>Output Token Throughput</th>

        <td>
          Среднее количество сгенерированных токенов в секунду
        </td>
      </tr>

      <tr>
        <th>Request Latency</th>

        <td>
          Среднее время от получения запроса до полного завершения ответа в секундах
        </td>
      </tr>
    </tbody>
  </table>
</CustomTable>

<Formbricks />