Администрирование пакетов Python

В Tengri предусмотрены три различных варианта установки и администрирования пакетов Python, доступных пользователю:

  1. Установка любых пакетов Python без ограничений (открытый контур)

  2. Установка пакетов Python из внутреннего репозитория организации в закрытом контуре

  3. Использование закрытого списка пакетов Python, предустановленных для данной инсталляции

Выбор конкретного варианта зависит от предпочтений заказчика и обсуждается с ним на этапе согласования деталей поставки.

Вариант 1: Установка пакетов без ограничений

В случае этого варианта пользователи могут устанавливать любые пакеты Python через специальный инсталлятор пакетов на вкладке Python executor и использовать их в своей работе без каких-либо ограничений.

  • Необходимо подключение сервера, на котором развернут Tengri, к интернету.

Вариант 2: Установка пакетов из внутреннего репозитория

Детали реализации этого варианта зависят от инфраструктуры заказчика и обсуждаются отдельно.

  • Не нужно подключение сервера, на котором развернут Tengri, к интернету.

  • Необходим внутренний репозиторий с пакетами Python в инфраструктуре заказчика.

Вариант 3: Использование закрытого списка предустановленных пакетов

В случае этого варианта пользователи не могут самостоятельно устанавливать пакеты Python и пользуются только теми пакетами, которые предустановлены в рамках данной инсталляции.

  • Не нужно подключение сервера, на котором развернут Tengri, к интернету.

  • Не нужен внутренний репозиторий с пакетами Python в инфраструктуре заказчика.

Полный список предустановленных пакетов

# --- Core data manipulation & SQL ---
numpy
pandas
polars
duckdb
pyarrow
sqlalchemy
ibis-framework

# --- Visualization ---
matplotlib
plotly
streamlit

# --- ML & statistical modeling ---
scikit-learn
xgboost
lightgbm
statsmodels
scipy
torch
optuna
shap
mlflow

# --- NLP & LLM ---
transformers
sentence-transformers
langchain
tiktoken
openai

# --- ETL & pipelines ---
apache-airflow
dagster
dbt-core
pydantic
great-expectations

# --- Database connectors ---
psycopg
asyncpg
clickhouse-connect
redis
elasticsearch
minio
s3fs
fsspec
kafka-python
boto3
pyiceberg

# --- Geospatial ---
geopandas
h3

# --- Time-series ---
prophet
statsforecast

# --- Financial ---
yfinance

# --- Optimization ---
ortools

# --- Graph / network ---
networkx

# --- Web scraping & HTTP ---
httpx
beautifulsoup4
requests
urllib