---
title: 'Описание продукта Foundation Models Catalog'
sidebar_label: 'Описание'
sidebar_position: 1
description: 'Как работает Foundation Models Catalog'
---

import Formbricks from '@theme/MDXComponents/Formbricks';

# Описание продукта Foundation Models Catalog

:::info

Продукт находится на стадии публичного тестирования (public preview).

:::

Foundation Models Catalog — это каталог преднастроенных ML-моделей с готовым API.
Модели развертываются в виде изолированных inference-сервисов с выделенными ресурсами (GPU, vCPU, RAM, диск).

Для работы с продуктом поддерживается модель управления доступом в продуктах Selectel: [типы пользователей](access-control/user-types.mdx), [роли](/access-control/role-reference.mdx), [проекты](/access-control/projects/about-projects.mdx) и [лимиты проекта и квоты](/access-control/projects/quotas.mdx).

## Решаемые задачи \{#tasks-to-be-solved}

* работа с моделями без необходимости самостоятельного развертывания инфраструктуры;

* подбор готовой инфраструктуры для ожидаемых или меняющихся нагрузок.
  Вы можете сравнить [метрики производительности модели](/foundation-models-catalog/create/metrics.mdx) на разных [конфигурациях inference-сервиса](/foundation-models-catalog/create/configurations.mdx) и подобрать необходимую, а также настроить автомасштабирование;

* тестирование и подбор разных моделей под свои проекты.
  Вы можете развернуть несколько моделей и сравнить, какая лучше справляется с вашими задачами;

* интеграция моделей в собственные проекты через выделенный эндпоинт.

## Принцип работы \{#principle-of-operation}

Foundation Models Catalog использует [ресурсы облачной платформы](/access-control/projects/about-projects.mdx#selectel-products-that-support-projects).
Каждая модель развертывается в виде изолированного inference-сервиса на базе кластера [Managed Kubernetes](/managed-kubernetes/) с GPU.
Веса моделей хранятся в [S3 Selectel](/s3/).

![](https://423.selcdn.ru/kb/fmc-about-foundation-models-catalog-architecture-LANG-THEME.png)

Для отказоустойчивости Foundation Models Catalog inference-сервисы развертываются в кластерах в разных [локациях](/infrastructure/locations.mdx).
Все кластеры с inference-сервисами управляются централизованно отдельным кластером через [Flux CD](https://fluxcd.io/flux/).
В одном кластере может работать несколько inference-сервисов — каждый изолирован друг от друга и масштабируется независимо.

Каждый inference-сервис использует подходящий inference-сервер в зависимости от типа модели.
Например, для больших языковых моделей (LLM) используется inference-сервер vLLM.

Запросы к моделям выполняются через выделенный эндпоинт, совместимый с OpenAI API.

## Как работать с Foundation Models Catalog \{#manage-product}

Вы можете работать с Foundation Models Catalog в [панели управления](https://my.selectel.ru/ml/default/models-catalog/) или через API.
Чтобы начать работу с Foundation Models Catalog, используйте инструкцию [Foundation Models Catalog: Быстрый старт](/foundation-models-catalog/quickstart.mdx).

При создании inference-сервиса вы можете выбрать его [конфигурацию](/foundation-models-catalog/create/configurations.mdx).
Список доступных конфигураций зависит от выбранной модели и ее [параметров](/foundation-models-catalog/create/model-parametrs.mdx).
При выборе конфигурации вы можете посмотреть ожидаемые [метрики производительности модели](/foundation-models-catalog/create/metrics.mdx).

Также при создании inference-сервиса вы можете выбрать [тип подключения к inference-сервису](/foundation-models-catalog/create/connection-types.mdx):

* публичный — доступ из интернета;

* приватный — доступ из приватной сети.
  Доступ можно настроить только через устройство в подсети inference-сервиса — например, [через облачный сервер](/foundation-models-catalog/manage/connection-with-cloud-server-in-private-subnet.mdx).

Эндпоинт автоматически сформируется после создания inference-сервиса и будет доступен в панели управления в карточке и на странице inference-сервиса.

В Foundation Models Catalog поддерживается только синхронный режим на стороне сервера.
На стороне клиента можно отправлять синхронные и асинхронные запросы.
Подробнее в инструкции [Режимы взаимодействия с inference-сервисом](/foundation-models-catalog/manage/interaction-modes.mdx).

Доступ к inference-сервису осуществляется через API-ключи.
Для каждого inference-сервиса API-ключи индивидуальные.
Вы можете [управлять API-ключами](/foundation-models-catalog/manage/manage-api-keys.mdx).

Вы можете масштабировать inference-сервис в зависимости от количества запросов к модели.
Чтобы масштабировать inference-сервис, [измените количество inference-инстансов](/foundation-models-catalog/manage/resize-inference-service.mdx#change-number-of-inference-instances) — развернутых экземпляров моделей.
Подробнее в инструкции [Масштабировать inference-сервис](/foundation-models-catalog/manage/resize-inference-service.mdx).

## Доступные модели \{#available-models}

Посмотреть актуальный перечень моделей можно в [панели управления](https://my.selectel.ru/ml/default/models-catalog/): в верхнем меню нажмите **Продукты** → **Foundation Models Catalog**.

## Зоны ответственности \{#areas-of-responsibility}

### Selectel обеспечивает \{#selectel-provides}

* инфраструктуру для создания inference-сервисов;

* доступ к моделям через публичный API, совместимый с OpenAI API;

* возможность масштабирования inference-сервисов;

* систему мониторинга inference-сервисов в панели управления;

* безопасность хранения данных в соответствии с требованиями 152-ФЗ;

* интеграцию с другими сервисами Selectel;

* техническую поддержку.

### Selectel не несет ответственность \{#selectel-is-not-responsible}

* за интеграцию моделей в ваши проекты;

* бизнес-логику работы моделей в ваших проектах.

## Стоимость \{#price}

Foundation Models Catalog оплачивается по модели оплаты [pay-as-you-go](/balance-and-payments/payment-models.mdx#pay-as-you-go).
С баланса каждый час списываются средства за предыдущий час использования [ресурсов облачной платформы](/access-control/projects/about-projects.mdx#selectel-products-that-support-projects).
На время публичного тестирования (public preview) количество токенов не учитывается в стоимости.
Подробнее в инструкции [Модель оплаты и цены Foundation Models Catalog](/foundation-models-catalog/about/payment.mdx).

### Что входит в стоимость \{#what-included-in-price}

* неограниченное количество токенов;

* бесплатное доменное имя для публичного доступа к модели.

## Ограничения \{#restrictions}

В Foundation Models Catalog не поддерживаются:

* работа с моделями в асинхронном режиме на стороне сервера;

* загрузка в каталог собственных моделей;

* развертывание моделей из каталога оn-premise, в [А-ЦОД](/certified-data-center-segment/), на [выделенных серверах](/dedicated/) и в [аттестованном облаке](/certified-cloud/).

<Formbricks />