Airflow Core Concepts — перевод на русский
Русский перевод раздела Core Concepts из официальной документации Apache Airflow.
Источник: Airflow Documentation — Core Concepts. Перевод неофициальный, для личного использования.
Содержание
| Страница | Описание |
|---|---|
| Обзор архитектуры | Компоненты Airflow, scheduler, DAG processor, webserver, воркеры, базовая и распределённая архитектура |
| DAG | Объявление DAG, зависимости задач, загрузка и запуск, default_args, декоратор @dag, ветвление, trigger rules, TaskGroups, Edge Labels, документация, упаковка, .airflowignore, пауза и удаление |
| Dag Run | Статус Dag Run, data interval, catchup, backfill, повторный запуск задач, внешние запуски, передача параметров, ожидание завершения |
| Tasks (задачи) | Типы задач, связи upstream/downstream, Task Instance, состояния, таймауты, SLA, исключения, heartbeat, executor_config |
| Operators (операторы) | Шаблоны задач, Jinja-шаблонизация, template_fields, literal(), render_template_as_native_obj, params, f-строки |
| Sensors (сенсоры) | Ожидание условий, режимы poke и reschedule, BaseSensorOperator, параметры сенсоров |
| TaskFlow | Декоратор @task, XComArg, контекст, логирование, передача объектов, сериализация, сенсоры |
| Справочник по шаблонам | Переменные шаблонов, var/conn, фильтры ds/ts, макросы, TaskFlow-контекст |
| Executor | Типы исполнителей, несколько исполнителей, BaseExecutor, написание своего исполнителя |
| Auth manager | Аутентификация и авторизация, BaseAuthManager, JWT, методы авторизации, CLI, расширение API |
| Object Storage | Абстракция объектных хранилищ (s3, gcs, Azure), Path API, fsspec, копирование, интеграции |
| Backfill | Создание запусков за прошедшие даты, переобработка, max_active_runs, dry run, CLI и UI |
| Message Queues | Событийное планирование DAG, опрос очередей, Triggers, BaseTrigger |
| XComs | Обмен данными между задачами, xcom_push/xcom_pull, бэкенды XCom, Object Storage, кастомные бэкенды |
| Variables | Глобальное хранилище ключ–значение, Variable.get(), шаблоны, отличия от XCom |
| Params | Runtime-параметры DAG и задач, JSON Schema, форма Trigger UI, секции, обязательные поля |
| CLI (краткий обзор) | Выжимка по CLI и переменным окружения: группы команд, dags/tasks/db/variables/connections/backfill/config, таблицы аргументов, env vars |
Документация основана на Airflow 3.x. Некоторые элементы могут отличаться в других версиях.