00
START: Введение в PySpark
Практическое введение в PySpark с нуля: SparkSession, чтение и запись файлов, работа с колонками, фильтрация, группировка, джоины, работа с NULL, даты, строки, математические и оконные функции.
core
Контрольные задания
✓
Создать SparkSession с кастомными конфигурациями
✓
Прочитать CSV, JSON и Parquet файлы с различными опциями
✓
Применить фильтры с условиями AND/OR/NOT и паттерн-матчингом
✓
Написать groupBy с несколькими агрегациями через agg()
✓
Реализовать все типы джоинов и объяснить разницу
✓
Применить оконные функции rank, lead, lag и rowsBetween
Уроки модуля
1
Введение в PySpark
2
Настройка SparkSession
3
Чтение и запись файлов в PySpark
4
Чтение и запись CSV-файлов в PySpark
5
Чтение и запись JSON-файлов в PySpark
6
Обращение к колонкам в PySpark DataFrame
7
Выборка колонок в PySpark 📋
8
Фильтрация данных в PySpark
9
Группировка данных в PySpark
10
Джоины в PySpark
11
Пивот данных в PySpark
12
Работа с NULL-значениями в PySpark
13
Функции работы с датами и временем в PySpark
14
Математические функции в PySpark
15
Строковые функции в PySpark
16
Оконные функции в PySpark
17
Функции lead() и lag() в PySpark
18
Оконные функции с rowsBetween в PySpark