04
Partitioning
Spark partitions в памяти и storage partitions на диске.
optimization
storage
Контрольные задания
✓
Подобрать число shuffle partitions
✓
Измерить размер выходных файлов
✓
Исправить high-cardinality partitioning
Уроки модуля
1
Shuffle Partitions: как выбрать spark.sql.shuffle.partitions вручную
2
AQE: adaptive coalescing - автоматический подбор числа партиций
3
AQE: автоматическое переключение join-стратегий в рантайме
4
Dynamic Partition Pruning: механизм star-schema и условия срабатывания
5
Bucketing: sort-merge join без shuffle - настройка и ограничения
6
Storage Partitioning: выбор колонок для partitionBy и анти-паттерны
7
Small Files Disease: причины, последствия и влияние на планировщик
8
Compaction: стратегии укрупнения файлов через Spark и Iceberg
9
Data Layout: Z-ordering, Hilbert curves и file skipping