OpenCode: terminal-native AI-агент для Data Engineering

# Переключение моделей в OpenCode:
opencode config set model claude-sonnet-4-5
opencode config set model gpt-4o
opencode config set model ollama/llama3.1:70b  # локальная через Ollama

Пользователь: "Найди все места, где используется функция load_events(),
и проверь, правильно ли передаются типы данных"

OpenCode (с LSP):
→ find_references("load_events")
   → [pipeline/etl.py:42, pipeline/backfill.py:17, tests/test_etl.py:89]
→ hover("load_events") → сигнатура: load_events(date: str, table: str) -> DataFrame
→ Читает etl.py:42: load_events(event_date, "events") - OK
→ Читает backfill.py:17: load_events(123, "events") - ОШИБКА: int вместо str!
→ "Нашёл проблему: backfill.py:17 передаёт int, ожидается str"

# Через PostgreSQL MCP:
"Посмотри схему таблицы orders в prod-базе, напиши PySpark-код
для её репликации в S3 в Parquet"

# Через GitHub MCP:
"Найди все изменения в spark_jobs/etl.py за последний месяц
и проверь, не сломали ли они partition pruning"

# Через S3 MCP:
"Проверь структуру s3://data-lake/events/year=2024/,
посчитай количество файлов и их суммарный размер"

# .opencode/skills/analyze-spark-log.yaml
name: analyze-spark-log
description: Анализирует логи Spark-задания и предлагает оптимизации
steps:
  - name: extract_errors
    tool: bash
    command: "grep -E 'ERROR|WARN|OOM|FetchFailed' {log_file} | tail -100"
  - name: check_gc
    tool: bash
    command: "grep 'GC overhead' {log_file} | wc -l"
  - name: analyze
    llm: true
    prompt: |
      Проанализируй эти логи Spark и определи:
      1. Основную причину проблемы
      2. Рекомендации по настройке памяти
      3. Предлагаемые изменения в коде

# .opencode/skills/check-hive-partition.yaml
name: check-hive-partition
description: Проверяет наличие и качество партиции в Hive/Delta
steps:
  - name: check_partition
    tool: bash
    command: |
      spark-sql -e "
        SHOW PARTITIONS {table} PARTITION (date='{date}');
        SELECT COUNT(*) FROM {table} WHERE date='{date}';
      "

DE: "spark-задание application_1234_5678 упало с OOM, вот путь к логам: /var/log/spark/"

OpenCode:
→ bash: grep -E "OutOfMemoryError|Java heap space" /var/log/spark/app_1234.log
→ bash: grep "GC overhead limit" /var/log/spark/app_1234.log | wc -l
→ read: spark_jobs/etl_daily.py
→ Нашёл: UDF обрабатывает строки без батчинга, объект в closure содержит большой DataFrame
→ "Проблема в etl_daily.py:87: closure захватывает reference_df (500MB).
   Предлагаю broadcast(reference_df) или вынести логику в Pandas UDF"
→ Пишет исправленный код
→ bash: python3 -m pytest tests/test_etl.py -v
→ Тесты прошли. Готово к деплою.

DE: "В s3://data-lake/events/ лежат Parquet файлы. Выясни схему и напиши PySpark-скрипт
для ежедневной агрегации по user_id с подсчётом событий по типу"

OpenCode:
→ MCP(S3): list_objects("data-lake", "events/")
→ bash: aws s3 cp s3://data-lake/events/year=2024/month=01/day=01/part-00000.parquet /tmp/
→ bash: python3 -c "import pyarrow.parquet as pq; print(pq.read_schema('/tmp/part-00000.parquet'))"
→ Схема: {user_id: string, event_type: string, ts: timestamp, value: double}
→ Пишет PySpark-скрипт с правильными типами и оптимальными настройками partition

DE: "Добавь в наш Terraform модуль новый S3 bucket для ML-артефактов с правильным lifecycle policy
(30 дней → Standard-IA, 90 дней → Glacier, 365 дней → delete)"

OpenCode:
→ read: terraform/modules/storage/main.tf
→ read: terraform/modules/storage/variables.tf
→ Понимает текущую структуру модуля
→ Пишет новый ресурс с lifecycle policy
→ bash: terraform validate
→ bash: terraform plan -target=aws_s3_bucket.ml_artifacts
→ "Изменения безопасны. Создаёт bucket и lifecycle rules. Готово к apply."

# Полностью локальная установка (без внешних API):
pip install opencode
ollama pull llama3.1:70b           # локальная модель
opencode config set model ollama/llama3.1:70b

# Работа на удалённом кластере через SSH:
ssh spark-master.internal
opencode  # запускается на удалённой машине, данные не покидают кластер

# Установка через pip
pip install opencode-ai
# или через npm
npm install -g @opencode/cli

# Настройка API ключа (для Claude):
export ANTHROPIC_API_KEY="your-key-here"
# или для локальной модели:
ollama serve &
opencode config set model ollama/codellama:34b

# Запуск OpenCode в директории проекта
cd /path/to/spark-project
opencode

# Диалог с агентом:
# > У меня упало Spark-задание. Лог находится в /tmp/spark-job.log
#   Проанализируй причину и предложи fix.

# Агент выполнит:
# 1. bash: cat /tmp/spark-job.log | grep -E "ERROR|Exception"
# 2. read: spark_jobs/failing_job.py
# 3. Анализ причины (OOM, Data Skew, Serialization error...)
# 4. Предложит конкретное исправление в коде
# 5. Запустит тесты: bash: pytest tests/ -v -k failing_job

// .opencode/config.json
{
  "mcp": {
    "postgres": {
      "type": "postgres",
      "connection": "postgresql://user:pass@prod-db:5432/analytics"
    },
    "github": {
      "type": "github",
      "token": "${GITHUB_TOKEN}"
    },
    "s3": {
      "type": "aws-s3",
      "region": "eu-west-1"
    }
  },
  "skills": [
    ".opencode/skills/analyze-spark-log.yaml",
    ".opencode/skills/check-airflow-dag.yaml"
  ]
}

# .opencode/skills/spark-optimize.yaml
name: spark-optimize
description: |
  Анализирует PySpark-код и предлагает оптимизации:
  broadcast joins, partition pruning, избавление от Python UDF.
trigger: "оптимизируй|optimize|slow spark"
steps:
  - name: read_code
    tool: read
    path: "{file}"
  - name: get_plan
    tool: bash
    command: "cd {project_root} && python3 -c \"
      from pyspark.sql import SparkSession
      spark = SparkSession.builder.master('local').getOrCreate()
      # run explain on the main query
    \""
  - name: analyze
    llm: true
    prompt: |
      Проанализируй этот PySpark-код и предложи оптимизации.
      Особое внимание: broadcast joins, partition pruning, UDF замены.
      Предоставь конкретный исправленный код.