Показатели производительности модели inference-сервиса

Последнее изменение: 01 октября 2026Открыть в Markdown

Вы можете сравнить показатели производительности модели на разных конфигурациях и подобрать необходимую. Показатели производительности отображаются в карточке каждой конфигурации при создании inference-сервиса.

Avg Time to First Token	Среднее время от получения запроса до генерации первого токена в миллисекундах
Avg Request Throughput	Среднее количество обрабатываемых запросов в секунду
Output Token Throughput	Среднее количество сгенерированных токенов в секунду
Request Latency	Среднее время от получения запроса до полного завершения ответа в секундах