Общая информация о продукте ML-платформа
ML-платформа Selectel — это подготовленная инфраструктура для реализации процессов ML-разработки: обучение, развертывание ML-моделей и прочее. Инфраструктура состоит из программных и аппаратных компонентов, которые настроены и подготовлены для работы.
При подборе компонентов ML-платформы используются все доступные конфигурации облачных серверов. После подключения платформы ее состав можно расширить собственными программными компонентами. Протестировано использование:
- ClearML;
- Kubeflow — подробнее об установке Kubeflow в инструкции Установить Kubeflow.
Дополнительных ограничений на управление кластером ML-платформы со стороны Selectel нет.
Компоненты платформы
По умолчанию ML-платформа cостоит:
- из аппаратных компонентов:
- облачная платформа — база для Managed Kubernetes c GPU NVIDIA® (Tesla T4, A2, A30, A100, A2000, A5000, GTX 1080, RTX 2080 Ti);
- программных компонентов:
- кластеры Managed Kubernetes с предварительной настройкой;
- домен для доступа к кластеру Managed Kubernetes;
- SSO Keycloak — авторизация во внутренних сервисах платформы;
- Prom Stack — мониторинг компонентов платформы;
- Forecastle — стартовая страница платформы;
- S3 — хранилище датасетов и данных экспериментов;
- Container Registry — хранение образов контейнеров.
В кластерах Managed Kubernetes:
- установлены драйверы;
- выполнено аннотирование нод;
- добавлены нужные GPU-ресурсы для вычислений;
- настроена сеть, в том числе Traefik Kubernetes Ingress.
При установке в кластер платформы ClearML, непосредственное управление ей происходит через SDK, который устанавливается в собственном IDE пользователя. Для запуска ML-экспериментов ClearML использует ноды кластера. Архитектура ClearML позволяет использовать различные конфигурации компонентов:
- один кластер Managed Kubernetes для всех ML-задач;
- несколько кластеров Managed Kubernetes — каждый для своей задачи (Inference и Training);
- подключение выделенного сервера в качестве вычислительной ноды для ML-экспериментов.
Подключить платформу
- В панели управления в верхнем меню нажмите Продукты и выберите ML-платформа.
- Нажмите Создать заявку на тест.
- Выберите тип данных.
- Укажите объем данных в ГБ или МБ.
- Опционально: чтобы мы могли порекомендовать подходящие способы подключения к ML-платформе, введите источник данных. Например: Selectel, on-premise или другие облачные провайдеры.
- Опционально: чтобы мы могли учесть ваши особые требования к безопасности данных в ходе теста, отметьте чекбокс Имеются дополнительные требования к обеспечению безопасности данных в тесте. Опишите требования в поле Комментарии к заявке.
- Укажите размер модели в ГБ или МБ.
- Укажите количество человек, которые будут одновременно пользоваться платформой.
- Выберите желаемую модель GPU или отметьте чекбокс Нет требований к модели GPU. Характеристики GPU можно посмотреть в подразделе Доступные GPU инструкции Создать облачный сервер с GPU.
- Введите контакты технического специалиста. Они нужны для уточнения технических деталей тестирования.
- Опционально: введите комментарии к заявке. Например, укажите желаемые инструменты, компоненты или требования к обеспечению безопасности данных в тесте.
- Нажмите Отправить заявку. Автоматически сформируется тикет с заявкой на тест ML-платформы.
- Дождитесь ответа сотрудника Selectel в тикете. Он свяжется с вами для уточнения деталей создания ML-платформы.
Стоимость
Стоимость ML-платформы рассчитывается после обработки заявки и подбора конфигурации. Она формируется только из стоимости компонентов платформы: кластера Managed Kubernetes, S3 и Container Registry.