10
Open Table Formats
Apache Iceberg v2: snapshots, partitioning, MERGE, maintenance.
lakehouse
storage
Контрольные задания
✓
Создать Iceberg table v2
✓
Сделать MERGE INTO из CDC-потока
✓
Запустить compaction и expire snapshots
Уроки модуля
1
Apache Iceberg: зачем нужен table format и что он добавляет к Parquet
2
Iceberg Snapshot Model: дерево файлов метаданных и атомарные коммиты
3
Manifest Files и Manifest List: как Iceberg планирует scan без листинга
4
Hidden Partitioning: partition transforms без изменения SQL-запросов
5
Partition Evolution: изменение схемы партиционирования без перезаписи данных
6
Copy-on-Write: принцип работы, latency при write, быстрый read
7
Merge-on-Read: delete files, position deletes и equality deletes
8
MERGE INTO: upsert паттерн для CDC - структура запроса и настройки
9
Time Travel: запросы к историческим снапшотам и откат таблицы
10
Table Maintenance: rewrite_data_files, expire_snapshots, orphan files
11
Delta Lake: transaction log и сравнение с Iceberg snapshot model
12
Delta Lake: OPTIMIZE, VACUUM, Z-ordering и auto-optimize - production-операции для managed tables
13
Выбор формата: Iceberg vs Delta Lake vs Hudi - матрица по кейсам