---
title: 'Параметры модели inference-сервиса'
sidebar_label: 'Параметры модели'
sidebar_position: 2
description: 'Описание параметров модели inference-сервиса'
---

import Formbricks from '@theme/MDXComponents/Formbricks';
import { CustomTable } from 'docs-kit/components';

# Параметры модели inference-сервиса

Вы можете указать параметры модели при [создании inference-сервиса](/foundation-models-catalog/create/create-inference-service.mdx).
Они определяют, как inference-сервис будет обрабатывать запросы и расходовать вычислительные ресурсы.

<CustomTable>
  <table>
    <tbody>
      <tr>
        <th>Тип данных для KV-кэша (Key-Value Cache)</th>

        <td>
          Формат хранения промежуточных вычислений модели при генерации токенов.
          Key-Value Cache — механизм ускорения генерации токенов в LLM на базе архитектуры трансформеров.
          Более компактные форматы снижают потребление памяти и позволяют обрабатывать более длинные контексты
        </td>
      </tr>

      <tr>
        <th>Максимальная длина контекста</th>

        <td>
          Максимальное количество токенов, которое модель может обработать в рамках одного запроса
        </td>
      </tr>
    </tbody>
  </table>
</CustomTable>

<Formbricks />