24
OpenCode & Agentic Workflows
OpenCode как центральный инструмент autonomous DE: настройка среды, custom skills, MCP ecosystem и полный agentic development workflow для PySpark.
platform
opencode
Контрольные задания
✓
Установить OpenCode CLI и подключить к локальному Spark-окружению
✓
Написать custom skill для генерации SCD2 merge-логики
✓
Подготовить agent context: spark_guidelines.md + /examples с паттернами
✓
Провести полный agentic workflow: от описания задачи до открытого PR
✓
Настроить MCP коннектор к DataHub или OpenMetadata
Уроки модуля
1
OpenCode: terminal-native AI-агент для Data Engineering
2
Настройка среды: VSCode + OpenCode + Dockerized Spark + Local Lakehouse
3
Agent Context: как дать AI-агенту знания Senior Data Engineer
4
Custom Skills для DE: SCD2, CDC, Bronze Ingestion и MERGE-паттерны
5
Custom Skills для DE (часть 2): Spark Reviewer, SQL Reviewer, DAG Generator, Contract Validator
6
MCP ecosystem для DE: catalog (DataHub / OpenMetadata), lineage (OpenLineage), schema registry - агент читает lineage и схемы напрямую
7
Agentic feature workflow: ticket → repo analysis → implementation plan → code generation → tests → validation → PR opening → human review
8
Autonomous code review workflow: AI проверяет shuffle explosion, cartesian joins, hardcoded paths, отсутствие broadcast hints, UDF без необходимости
9
Production agentic стек: solo/small team (OpenCode + Docker + GitHub Actions + Great Expectations) vs enterprise (MCP + Unity Catalog + Databricks + DataHub)
10
de-agent-skills: готовые PySpark и Spark SQL skills для AI-агента