Перейти к содержанию

06. dbt

Раздел посвящён интеграции dbt Core с Apache Airflow с помощью пакета Cosmos (Astronomer).

Содержание раздела

  • Airflow и dbt — зачем связывать Airflow и dbt, настройка Astro-проекта, подготовка проекта dbt, подключение к хранилищу, написание DAG с Cosmos (DbtTaskGroup), альтернативы (BashOperator, manifest-файл).
  • Cosmos на Astro (Getting Started) — быстрый старт Cosmos на Astro: режим local, venv в Dockerfile, установка Cosmos, размещение dbt-проекта, DbtDag, запуск.
  • Cosmos на open-source Airflow — быстрый старт Cosmos на открытом Airflow: правка образа, venv в Dockerfile, установка Cosmos, размещение dbt-проекта, DbtDag.
  • Режимы выполнения (Execution Modes) — local, virtualenv, docker, kubernetes, AWS EKS, Azure Container Instance, GCP Cloud Run Job, AWS ECS, airflow_async, watcher, watcher_kubernetes; сравнение; Invocation Modes.
  • Режим Docker — пошаговый туториал: требования, установка Airflow и Cosmos, Postgres, сборка образа dbt, запуск DAG, ProfileConfig в Docker.
  • Операторы Cosmos — операторы под команды dbt (формат имени), DbtCloneLocalOperator (dbt clone), DbtSeedLocalOperator (dbt seed).