13
Kafka + Structured Streaming
Internals, retention, triggers, watermarks, stateful ops и streaming deduplication.
streaming
kafka
Контрольные задания
✓
Перезапустить query без потери offsets
✓
Реализовать streaming dedup с watermark - объяснить размер state
✓
Сделать DLQ topic
✓
Объяснить порядок записей внутри partition
Уроки модуля
1
Kafka Internals: producer routing, partition leader, ISR и acknowledgment
2
Log Segment Lifecycle: retention.ms, retention.bytes и segment rolling
3
Log Compaction: cleanup.policy=compact, tombstone и retention гарантии
4
Structured Streaming: micro-batch модель - trigger, batch, commit
5
Kafka Source: startingOffsets, failOnDataLoss, maxOffsetsPerTrigger
6
Output Modes: append, update, complete - что работает с чем
7
Checkpointing: WAL, offset commit и recovery при рестарте
8
Watermarks: late data handling и state expiration
9
Stateful Operations: mapGroupsWithState и управление state store
10
Stateful Deduplication: dropDuplicates + withWatermark - ограничение размера state и TTL
11
Kafka Sink: exactly-once через idempotent producer и транзакции
12
RocksDB State Store: stateStore.providerClass, snapshotting и sizing для production-grade stateful streaming