Перейти к содержанию

Airflow Docs (RU)

Неофициальный русский перевод документации Apache Airflow® и Astronomer Learn в Markdown. Для личного использования и GitHub.

Телеграм

@data_engineer_path

Содержание сайта

Раздел Описание
01. Basics Интерфейс, операторы, DAG, планирование, сенсоры, Connections, Variables, trigger rules
02. DAGs Контекст, декораторы, params, BranchOperator, XCom, task groups, Jinja, отладка, best practices
03. Инфраструктура Компоненты Airflow, БД, executors (Astro, K8s, Celery), масштабирование
04. Продвинутое Политики кластера, пуллы, deferrable, event-driven, Human-in-the-loop, K8s Pod Operator, setup/teardown
05. Написание DAG Object Storage, DAG Docs, DAG Factory, SQL checks, разработка в PyCharm/VS Code
06. dbt Интеграция dbt Core с Airflow (Cosmos), туториал, DbtTaskGroup, альтернативы
07. Core Concepts Официальная документация Airflow: архитектура, DAG, Dag Run, задачи, операторы, сенсоры, TaskFlow, CLI (обзор)
08. Tutorial Официальный туториал Airflow: первый workflow, TaskFlow, пайплайн, Object Storage, HITL, лучшие практики
09. Прочее Pydantic — модели, поля, типы, валидация из файлов, запросы, очереди, БД;
Ruff — линтер и форматтер Ruff, правила Airflow;
uv — менеджер пакетов Python (установка, возможности, справка, туториал DataCamp);
pytest — тестовый фреймворк: обзор, запуск, assert, фикстуры, subtests, monkeypatch, doctest;
ty — быстрый типчекер и language server: установка, проверка типов, интеграция с редакторами, конфигурация, правила, подавление и система типов;
Pendulum — работа с датой и временем: установка, создание и разбор, часовые пояса, Duration, Interval;
Black — форматтер кода: стиль, основы, внедрение в проект, isort/Flake8/Pylint

В каждом разделе — оглавление и ссылки на все страницы.

Использование

Читать в Markdown-редакторе или на GitHub; навигация по ссылкам между файлами. Оригинал: Airflow Docs, Astronomer Learn.

Лицензия: Apache Airflow — Apache Software Foundation. Репозиторий — неофициальный перевод для личного использования.