Airflow Tutorial — перевод на русский
Русский перевод официального туториала Apache Airflow из документации Airflow.
Содержание
| Страница | Описание |
|---|---|
| Airflow 101: первый workflow | Основы: что такое DAG, пример пайплайна, операторы, задачи, Jinja, документация, зависимости, тестирование |
| Pythonic DAG с TaskFlow API | ETL на @dag и @task, передача данных, multiple_outputs, virtualenv/Docker/K8s, сенсоры, шаблоны, run_if/skip_if |
| Построение простого пайплайна | CSV → Postgres: SQLExecuteQueryOperator, подключения, staging, merge, Docker Compose |
| Object Storage (облачное хранилище) | ObjectStoragePath, API → Parquet в S3, анализ DuckDB, fsspec, переносимые пайплайны |
| HITL (Human-in-the-Loop) | HITLEntryOperator, HITLOperator, ApprovalOperator, HITLBranchOperator, notifiers, ввод и выбор вариантов |
| Лучшие практики | Написание DAG, код верхнего уровня, переменные, расписания, watcher, снижение сложности, тестирование, моки, БД, обновления, конфликтующие зависимости (virtualenv, external Python, Docker, K8s) |
Источник: Airflow Tutorial, Best Practices. Перевод неофициальный.