14
dbt + Spark
dbt-spark адаптер: SQL-трансформации поверх Spark, Iceberg-материализации и интеграция с Airflow.
platform
dbt
Контрольные задания
✓
Написать dbt incremental model поверх Iceberg с strategy=merge
✓
Настроить profiles.yml для Spark Thrift Server (метод thrift)
✓
Объяснить когда dbt заменяет PySpark-джобу, а когда нет
Уроки модуля
1
dbt Core: models, refs, sources и materialization types (table, view, incremental)
2
dbt-spark адаптер: методы подключения thrift, http, session и profiles.yml
3
dbt + Iceberg: file_format=iceberg, tblproperties и schema evolution
4
dbt Incremental Models: append, insert_overwrite и merge с unique_key
5
dbt macros для Spark: partition_by, clustered_by, location_root и submit_timeout
6
dbt Tests и Source Freshness: generic tests, singular tests, data contracts
7
dbt + Airflow: BashOperator dbt run vs SparkSubmitOperator, CI/CD pipeline
8
dbt vs PySpark: матрица выбора по сложности логики и объёму данных