16
Data Quality
Contract testing, lineage, data catalog - всё self-hosted.
platform
Контрольные задания
✓
Проверить unique business key
✓
Сделать reconciliation report
✓
Отправить плохие записи в quarantine
Уроки модуля
1
Great Expectations: Expectations, Suites и базовая проверка датасета
2
Great Expectations: Checkpoint и интеграция в Airflow/Spark pipeline
3
Soda Core: checks.yaml синтаксис и CLI-driven подход к тестированию
4
Schema Contracts: контракты на уровне схемы и drift-детекция
5
Reconciliation: подсчёт расхождений между источником и таргетом
6
OpenLineage: автоматический lineage через Spark listener
7
OpenLineage + Airflow + dbt: единый граф зависимостей данных
8
Data Catalog: OpenMetadata vs DataHub - установка и базовая настройка