19
Capstone Projects
Финальные проекты связывают весь стек end-to-end.
platform
lakehouse
streaming
Контрольные задания
✓
Собрать batch lakehouse проект end-to-end
✓
Собрать CDC → Iceberg pipeline
✓
Защитить решения по оптимизации
Уроки модуля
1
Проект 1: Batch Lakehouse - PostgreSQL → Bronze → Silver → Gold → ClickHouse
2
Проект 1: Airflow DAG - идемпотентность, retry и quality gate
3
Проект 2: CDC Pipeline - Debezium → Kafka → Spark Streaming → Iceberg MERGE
4
Проект 3: Optimization Lab - воспроизвести skew, устранить через AQE + salting
5
Проект 4: Production Runbook - мониторинг, алерты и incident response план
6
Архитектурный разбор: code review решений и защита технических решений