Data Analytics Virtual Machine

Data Analytics Virtual Machine (DAVM) — это облачный сервер с готовым образом операционной системы и предустановленными инструментами для анализа данных и машинного обучения.

С помощью DAVM можно:

разрабатывать и обучать модели машинного обучения;
строить процессы обработки данных (ETL/ELT);
визуализировать данные (BI).

После создания DAVM в Jupyter Notebooks будут доступны подробные инструкции по работе с JupyterLab, Prefect, Apache Superset, Keycloak, PyTorch, TensorFlow и примеры кода.

Инструменты⁠

В образе для DAVM Data Analytics VM (Ubuntu 22.04 LTS 64-bit) предустановлены инструменты (подробнее в их официальной документации):

JupyterLab (версия 3.6.3) — единая среда разработки для работы с Jupyter Notebooks, программным кодом и данными;
Prefect (версия 2.10.16) — программное обеспечение для управления задачами по сбору, мониторингу и пакетной обработке данных;
Apache Superset (версия 3.0.0) — веб-приложение для визуализации, создания отчетов и дашбордов;
PostgreSQL — реляционная СУБД для хранения данных;
набор библиотек для машинного обучения: TensorFlow, PyTorch и другие. Посмотрите список в таблице Версии библиотек⁠;
драйверы GPU версии 550;
драйверы CUDA версии 11.8.

Создать DAVM⁠

Используйте инструкцию Создать облачный сервер.

Выберите:

сегмент пула — ru-7 или ru-9;
источник — готовый образ Data Analytics VM (Ubuntu 22.04 LTS 64-bit). Образ содержит драйверы, необходимые для работы с графическими процессорами;
конфигурацию — с RAM от 8 ГБ и объемом загрузочного диска от 100 ГБ.

Запустить DAVM⁠

Убедитесь, что прошло более семи минут после создания сервера — это время требуется для развертывания дополнительных сервисов и создания DNS-записей.
Откройте в браузере страницу DAVM. Используйте ссылку:
- home-<ip_address>.pl.davm.selcloud.ru
  
  Укажите <ip_address> — публичный IP-адрес облачного сервера, можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → страница сервера → вкладка Порты → столбец Публичный IP. В IP-адресе замените символы . на -, например 203-0-113-10;
- или ссылку из сообщения операционной системы, которое появляется при подключении к облачному серверу через консоль в панели управления⁠.
Авторизуйтесь в Keycloak. Используйте:
- логин — admin;
- пароль — ID облачного сервера, можно посмотреть в панели управления: в верхнем меню нажмите Продукты → Облачные серверы → страница сервера.
Введите новый пароль. Сохраните его — в случае утраты пароля мы не сможем его сбросить.

Версии библиотек⁠

absl-py	2.0.0	Jinja2	3.1.2	PyJWT	2.8.0
accelerate	0.23.0	jmespath	1.0.1	pyOpenSSL	23.3.0
aiobotocore	2.5.4	joblib	1.3.2	pyparsing	3.1.1
aiofiles	22.1.0	json5	0.9.14	pyproject_hooks	1.0.0
aiohttp	3.8.6	jsonpatch	1.33	PySocks	1.7.1
aioitertools	0.11.0	jsonpointer	2.4	python-dateutil	2.8.2
aiosignal	1.3.1	jsonschema	4.19.2	python-json-logger	2.0.7
aiosqlite	0.19.0	jsonschema-specifications	2023.7.1	python-slugify	8.0.1
alembic	1.12.1	jupyter	1.0.0	pytz	2023.3.post1
altair	5.1.2	jupyter_client	8.6.0	pytzdata	2020.1
ansiwrap	0.8.4	jupyter-console	6.6.3	PyWavelets	1.4.1
anyio	3.7.1	jupyter_core	5.5.0	PyYAML	6.0.1
apprise	1.6.0	jupyter-events	0.9.0	pyzmq	25.1.1
archspec	0.2.2	jupyter_scheduler	1.3.1	qtconsole	5.5.0
argon2-cffi	23.1.0	jupyter_server	2.10.0	QtPy	2.4.1
argon2-cffi-bindings	21.2.0	jupyter_server_fileid	0.9.0	readchar	4.0.5
arrow	1.3.0	jupyter-server-mathjax	0.2.6	referencing	0.30.2
asgi-lifespan	2.1.0	jupyter_server_terminals	0.4.4	regex	2023.10.3
asttokens	2.4.1	jupyter_server_ydoc	0.8.0	requests	2.31.0
astunparse	1.6.3	jupyter-telemetry	0.1.0	requests-oauthlib	1.3.1
async-generator	1.1	jupyter-ydoc	0.2.4	rfc3339-validator	0.1.4
async-timeout	4.0.3	jupyterhub	4.0.0	rfc3986-validator	0.1.1
asyncpg	0.29.0	jupyterlab	3.6.3	rich	13.6.0
attrs	23.1.0	jupyterlab-git	0.41.0	rpds-py	0.12.0
Babel	2.13.1	jupyterlab-pygments	0.2.2	rpy2	3.5.11
backports.functools-lru-cache	1.6.5	jupyterlab-s3-browser	0.12.0	rsa	4.9
beautifulsoup4	4.12.2	jupyterlab_server	2.25.1	ruamel.yaml	0.18.5
bleach	6.1.0	jupyterlab-widgets	3.0.9	ruamel.yaml.clib	0.2.7
blinker	1.7.0	keras	2.14.0	s3fs	2023.6.0
bokeh	3.3.0	kiwisolver	1.4.5	s3transfer	0.6.2
boltons	23.0.0	kubernetes	28.1.0	safetensors	0.4.0
boto3	1.28.17	lab	8	scikit-image	0.22.0
botocore	1.31.17	lazy_loader	0.3	scikit-learn	1.3.2
Bottleneck	1.3.7	libclang	16.0.6	scipy	1.11.3
Brotli	1.1.0	libmambapy	1.5.3	seaborn	0.13.0
build	1.0.3	lit	15.0.7	Send2Trash	1.8.2
cached-property	1.5.2	llvmlite	0.41.1	setuptools	68.2.2
cachetools	5.3.2	locket	1.0.0	simplegeneric	0.8.1
certifi	2023.7.22	lz4	4.3.2	simplejson	3.19.2
certipy	0.1.3	Mako	1.3.0	singleton-decorator	1.0.0
cffi	1.16.0	mamba	1.5.3	six	1.16.0
charset-normalizer	3.3.2	Markdown	3.5.1	smmap	5.0.1
click	8.1.7	markdown-it-py	3.0.0	sniffio	1.3.0
cloudpickle	3.0.0	MarkupSafe	2.1.3	sortedcontainers	2.4.0
cmake	3.25.0	matplotlib	3.8.1	soupsieve	2.5
colorama	0.4.6	matplotlib-inline	0.1.6	SQLAlchemy	1.4.50
comm	0.1.4	mdurl	0.1.2	stack-data	0.6.2
conda	23.10.0	mistune	3.0.2	starlette	0.27.0
conda-libmamba-solver	23.11.0	ml-dtypes	0.2.0	statsmodels	0.14.0
conda-package-handling	2.2.0	mpmath	1.3.0	sympy	1.12
conda_package_streaming	0.9.0	msgpack	1.0.6	tables	3.9.1
contourpy	1.2.0	multidict	6.0.4	tblib	2.0.0
coolname	2.2.0	multiprocess	0.70.15	tenacity	8.2.3
croniter	2.0.1	munkres	1.1.4	tensorboard	2.14.1
cryptography	41.0.5	nbclassic	1.0.0	tensorboard-data-server	0.7.2
cycler	0.12.1	nbclient	0.8.0	tensorflow	2.14.0
Cython	3.0.5	nbconvert	7.11.0	tensorflow-estimator	2.14.0
cytoolz	0.12.2	nbdime	3.2.1	tensorflow-io-gcs-filesystem	0.34.0
dask	2023.10.1	nbformat	5.9.2	termcolor	2.3.0
datasets	2.14.5	nest-asyncio	1.5.8	terminado	0.17.1
dateparser	1.1.8	networkx	3.2.1	text-unidecode	1.3
debugpy	1.8.0	notebook	6.5.4	textwrap3	0.9.2
decorator	5.1.1	notebook_shim	0.2.3	threadpoolctl	3.2.0
defusedxml	0.7.1	numba	0.58.1	tifffile	2023.9.26
dill	0.3.7	numexpr	2.8.7	tinycss2	1.2.1
distributed	2023.10.1	numpy	1.26.0	tokenizers	0.14.1
docker	6.1.3	nvidia-ml-py	12.535.133	toml	0.10.2
entrypoints	0.4	nvitop	1.3.1	tomli	2.0.1
et-xmlfile	1.1.0	oauthlib	3.2.2	toolz	0.12.0
exceptiongroup	1.1.3	openpyxl	3.1.2	torch	2.0.1+cu118
executing	2.0.1	opt-einsum	3.3.0	torchaudio	2.0.2+cu118
fastapi	0.104.1	orjson	3.9.10	torchvision	0.15.2+cu118
fastjsonschema	2.18.1	overrides	7.4.0	tornado	6.3.3
filelock	3.9.0	packaging	23.2	tqdm	4.66.1
flatbuffers	23.5.26	pamela	1.1.0	traitlets	5.9.0
fonttools	4.44.0	pandas	2.1.2	transformers	4.34.0
fqdn	1.5.1	pandocfilters	1.5.0	triton	2.0.0
frozenlist	1.4.0	papermill	2.4.0	truststore	0.8.0
fsspec	2023.6.0	parso	0.8.3	txt2tags	3.9
gast	0.5.4	partd	1.4.1	typer	0.9.0
gitdb	4.0.11	pathspec	0.11.2	types-python-dateutil	2.8.19.14
GitPython	3.1.40	patsy	0.5.3	typing_extensions	4.8.0
gmpy2	2.1.2	pendulum	2.1.2	typing-utils	0.1.0
google-auth	2.23.4	pexpect	4.8.0	tzdata	2023.3
google-auth-oauthlib	1.0.0	pickleshare	0.7.5	tzlocal	5.2
google-pasta	0.2.0	Pillow	10.1.0	unicodedata2	15.1.0
greenlet	3.0.1	pip	23.3.1	uri-template	1.3.0
griffe	0.36.9	pkgutil_resolve_name	1.3.10	urllib3	1.26.18
grpcio	1.59.2	platformdirs	3.11.0	uvicorn	0.24.0.post1
h11	0.14.0	plotly	5.14.1	wcwidth	0.2.9
h2	4.1.0	pluggy	1.3.0	webcolors	1.13
h5py	3.10.0	prefect	2.10.16	webencodings	0.5.1
hpack	4.0.0	prometheus-client	0.18.0	websocket-client	1.6.4
httpcore	1.0.1	prompt-toolkit	3.0.39	websockets	12
httpx	0.25.1	protobuf	4.24.4	Werkzeug	3.0.1
huggingface-hub	0.17.3	psutil	5.9.5	wheel	0.41.3
hyperframe	6.0.1	psycopg2-binary	2.9.6	widgetsnbextension	4.0.9
idna	3.4	ptyprocess	0.7.0	wrapt	1.14.1
imagecodecs	2023.9.18	pure-eval	0.2.2	xformers	0.0.22
imageio	2.31.5	py-cpuinfo	9.0.0	xlrd	2.0.1
importlib-metadata	6.8.0	pyarrow	14.0.0	xxhash	3.4.1
importlib-resources	6.1.1	pyasn1	0.5.0	xyzservices	2023.10.1
ipykernel	6.26.0	pyasn1-modules	0.3.0	y-py	0.5.9
ipympl	0.9.3	pycosat	0.6.6	yarl	1.9.2
ipython	8.17.2	pycparser	2.21	ypy-websocket	0.8.2
ipython-genutils	0.2.0	pycurl	7.45.1	zict	3.0.0
ipywidgets	8.1.1	pydantic	1.10.12	zipp	3.17.0
isoduration	20.11.0	Pygments	2.16.1	zstandard	0.22.0
jedi	0.19.1

Data Analytics Virtual Machine

Инструменты⁠​

Создать DAVM⁠​

Запустить DAVM⁠​

Версии библиотек⁠​

Инструменты⁠

Создать DAVM⁠

Запустить DAVM⁠

Версии библиотек⁠