Self-host Platform

1 Spark on Kubernetes: SparkOperator, submit mode и cluster mode 2 Driver и Executor Pods: resource requests, limits и node affinity 3 Python Dependencies: conda-pack, venv-pack и PEX - упаковка окружений 4 Docker Image для Spark: базовый image, кастомизация и registry 5 Hive Metastore: PostgreSQL backend, схема, HA и failover 6 Iceberg REST Catalog: установка, конфигурация и подключение из Spark 7 Project Nessie: Git-like branching для Iceberg - установка в Docker, ветки и merge 8 Service Accounts и Secrets: безопасный доступ к MinIO и PostgreSQL 9 Network Policies: изоляция Spark namespace и egress правила 10 History Server на K8s: event log в S3 и PersistentVolume 11 YARN: Resource Manager, Node Manager и режимы запуска Spark 12 CI/CD для Spark: тестирование, линтинг и автоматический деплой 13 CI/CD для Spark: GitHub Actions, pytest gate, venv-pack и автодеплой

Начать модуль