00
Фундамент
Перед advanced-треком нужна уверенная база.
core
Контрольные задания
✓
Объяснить narrow vs wide transformations
✓
Написать 10 SQL задач с оконными функциями
✓
Запустить spark-submit локально
Уроки модуля
1
Что такое Apache Spark: место в экосистеме Big Data
2
Архитектура кластера: Driver, Executor и Cluster Manager
3
Spark vs Hadoop MapReduce: in-memory вычисления и Lazy Evaluation
4
RDD, DataFrame и Dataset: эволюция абстракций Spark
5
Transformations vs Actions: анатомия ленивых вычислений
6
Narrow vs Wide трансформации: shuffle изнутри
7
SparkSession: точка входа, конфигурация и master URL
8
spark-submit: упаковка зависимостей и запуск на кластере
9
Локальная установка PySpark и первый job с нуля
10
Глоссарий PySpark