03
Spark SQL Advanced
SQL как основной интерфейс аналитики: планы, JSON, catalog.
core
Контрольные задания
✓
Создать external Parquet table
✓
Прочитать EXPLAIN FORMATTED
✓
Сделать JSON flattening через from_json
Уроки модуля
1
EXPLAIN FORMATTED: чтение логического и физического плана пошагово
2
Аналитические запросы: GROUPING SETS, ROLLUP, CUBE без UDF
3
LATERAL VIEW и explode: unnesting массивов в строки
4
PIVOT: транспонирование строк в колонки и обратно
5
JSON: from_json, to_json, get_json_object, schema_of_json
6
Semi-structured данные: вложенные struct, flatten и нормализация
7
Catalog API: CREATE TABLE, ALTER TABLE, DESCRIBE DETAIL
8
Views и Temp Views: persistence, scoping и подводные камни
9
Hive Metastore: external vs managed tables и partitioned tables DDL
10
ANSI Mode: строгая типизация, implicit cast и совместимость
11
Spark Config: тюнинг памяти, shuffle, AQE и PySpark-специфика