Перейти к основному содержимому

Описание продукта ИИ-роутер

Последнее изменение:

ИИ-роутер – это сервис унифицированного доступа к генеративным ИИ-моделям, который предоставляет каталог моделей, централизованное управление ключами доступа, гибкое квотирование, консолидированную отчетность и сквозную аналитику. С его помощью можно выпустить универсальный API-ключ для всех доступных моделей.

Условия использования продукта ИИ-роутер определяются документом Условия использования отдельных сервисов: «ИИ-роутер» и SLA.

Решаемые задачи

  • подключение LLM-моделей OpenAI, Anthropic и других через один API-ключ;
  • использование одной кодовой базы для каждого OpenAI-совместимого провайдера;
  • оплата моделей с одного баланса вместо отдельных счетов у каждого провайдера;
  • настройка лимитов на запросы, токены или бюджет;
  • контроль потребления через детализированную аналитику в режиме реального времени.

Принцип работы

ИИ-роутер выступает в качестве универсального шлюза между вашим приложением и внешними LLM-провайдерами. Сервис отправляет запросы по OpenAI-совместимому API к подключенным моделям, подробнее в официальной документации OpenAI Developers. При этом не требуется настраивать интеграции с каждым провайдером отдельно — достаточно использовать в запросах API-ключ ИИ-роутера.

Как работать с ИИ-роутером

Чтобы начать работу, создайте ИИ-роутер и пополните баланс, подробнее в инструкции ИИ-роутер: Быстрый старт.

После создания ИИ-роутера вы можете:

Доступные модели

Посмотреть актуальный перечень моделей можно после создания ИИ-роутера в панели управления: в верхнем меню нажмите Продукты → ИИ-роутер → страница ИИ-роутера → вкладка Модели.

Зоны ответственности

Selectel обеспечивает

  • доступ к моделям через публичный API, совместимый с OpenAI API;
  • систему мониторинга ИИ-роутеров в панели управления;
  • аналитика потребления;
  • возможность управления лимитами на каждый ИИ-роутер и API-ключ;
  • техническую поддержку.

Selectel не несет ответственность

  • за работоспособность запросов, выполненных с API-ключами, и результаты запросов;
  • за обработку персональных данных в рамках сервиса;
  • интеграцию моделей в ваши проекты;
  • бизнес-логику работы моделей в ваших проектах.

Защита API-ключей от компрометации находится в вашей зоне ответственности.

Стоимость

ИИ-роутер оплачивается по модели pay-as-you-go. С баланса каждый час списываются средства за объем услуги, потребленный за предыдущий час, подробнее в инструкции Модель оплаты и цены ИИ-роутера.

Что входит в стоимость

Неограниченное количество токенов на использование доступных моделей, эквивалентное установленному вами денежному лимиту.

Ограничения

В ИИ-роутере не поддерживается:

  • возможность обучения ИИ-моделей;
  • загрузка собственных моделей в каталог;
  • развертывание моделей из каталога On-Premises, в А-ЦОД, на выделенных серверах и в аттестованном облаке.