Конфигурации inference-сервисов
При создании inference-сервиса вы можете выбрать его конфигурацию. Список доступных конфигураций зависит от выбранной модели и ее параметров. В конфигурациях автоматически подобраны количество и тип графических процессоров (GPU), количество vCPU и RAM.
В карточке каждой конфигурации указаны ожидаемые метрики производительности модели. Вы можете сравнить конфигурации и подобрать необходимую для ваших задач.
После создания inference-сервиса конфигурацию изменить нельзя.