LLM-as-judge: судья-модель,
критерии и калибровка

Зачем судья-модель

Три способа оценки из прошлых уроков образуют треугольник компромиссов. LLM-as-judge занимает золотую середину — и именно поэтому стал рабочей лошадкой оценки LLM.

Судья закрывает разрыв: оценивает смысловое качество (полезность, релевантность, тон), которое коду не под силу, но делает это на объёме, недоступном человеку. Типичные применения: массовая оценка в offline-экспериментах, quality-метрика на проде (на сэмпле трафика), автоматический скоринг в CI, вычисление метрик вроде RAGAS-faithfulness.

Три вида судей

Прежде чем писать промпт, выбери формат оценки — от него зависит и надёжность, и применимость.

Правило выбора перекликается с прошлым уроком про людей: сравнение надёжнее абсолютной оценки. Судье, как и человеку, проще стабильно сказать «A лучше B», чем «этот ответ на 7 из 10». Поэтому:

• Есть эталон → reference-based (самый надёжный): «совпадает ли ответ по смыслу с golden?».
• Сравниваешь версии → pairwise: «A или B лучше?» — идеально для выбора промпта/модели.
• Нужен абсолютный скор без эталона → score, но осторожно: абсолютные баллы нестабильны, склонны «дрейфовать».

Дизайн промпта-судьи

Судья настолько хорош, насколько хорош его промпт. По сути ты пишешь ту же рубрику, что для человека в прошлом уроке, — только адресат теперь модель. Компоненты хорошего judge-промпта:

• Роль и задача — «Ты строгий оценщик качества ответов. Оцени по критерию…».
• Чёткий критерий — один за раз (правильность отдельно от тона), с определением.
• Явная рубрика шкалы — что значит каждый балл: «5 = полностью верно и полно; 3 = частично; 1 = неверно».
• Chain-of-thought — попросить сначала обосновать, потом поставить оценку. Рассуждение заметно повышает качество и даёт объяснимость.
• Структурированный вывод — JSON {reasoning, score}, чтобы парсить надёжно.

JUDGE_PROMPT = """Ты — строгий оценщик качества ответов поддержки.
Оцени ОДИН критерий: ФАКТИЧЕСКАЯ ВЕРНОСТЬ ответа относительно вопроса.

Рубрика (шкала 1–5):
5 — всё верно, нет ошибок и выдумок
3 — в основном верно, есть неточность
1 — есть фактическая ошибка или галлюцинация

Вопрос: {question}
Ответ: {answer}

Сначала кратко ОБОСНУЙ (2–3 предложения), потом поставь оценку.
Верни СТРОГО JSON: {{"reasoning": "...", "score": <1-5>}}"""

def judge(question: str, answer: str) -> dict:
    raw = llm(JUDGE_PROMPT.format(question=question, answer=answer),
              temperature=0)          # детерминизм важнее креатива!
    return json.loads(raw)            # {"reasoning": "...", "score": 4}
# score нормируем к 0..1 при агрегации; reasoning храним для аудита

Искажения судьи

Помнишь искажения людей из прошлого урока? У LLM-судьи они те же — модель научилась им у людей. Игнорировать их — значит получать стабильно смещённые оценки. Ключевые и противоядия:

Калибровка судьи

Вот главный вопрос, который отделяет работающий LLM-judge от самообмана: «а судья вообще прав?». Ответ даёт калибровка — проверка судьи против человеческого эталона из прошлого урока. Логика прямая: судья хорош настолько, насколько его оценки согласуются с людьми.

1. Разметить людьми N примеров (golden) — по надёжной рубрике, высокая κ
2. Прогнать судью на тех же N примерах
3. Сравнить: agreement судья ↔ человек (Cohen's kappa / корреляция)
        │
        ├─ высокое согласие → судье можно доверять → масштабировать на объём
        └─ низкое           → чинить ПРОМПТ судьи (рубрика, критерий, CoT, модель)
                              → переоценить → снова сверить (петля)

Это замыкает пирамиду из прошлого урока: люди калибруют судью, судья масштабируется на весь трафик. Калибровка — не разовая: при смене модели-судьи, промпта или домена её надо повторять. И держи «мета-эталон» — небольшой набор с человеческими оценками, на котором регулярно перепроверяешь, что судья не «поехал».

from sklearn.metrics import cohen_kappa_score

# человеческий эталон (golden, из урока human evaluation) и оценки судьи
human_scores = [5, 3, 1, 4, 5, 2, 4, 1]   # разметка людьми
judge_scores = [5, 4, 1, 4, 5, 2, 3, 1]   # тот же набор, оценил судья

kappa = cohen_kappa_score(human_scores, judge_scores)
print(f"Согласие судья↔человек: {kappa:.2f}")   # напр. 0.68

# высокое (≈0.6+) → судья калиброван, масштабируем на 10 000 примеров
# низкое          → чинить промпт/рубрику/модель судьи и повторить калибровку
# ⚠️ повторять при смене модели-судьи, промпта или домена

Типичные ошибки

Шпаргалка

LLM-AS-JUDGE = модель оценивает выход системы по критериям
  золотая середина: масштаб (как код) + смысл (как человек), дёшево
  ⚠️ судья = ТОЖЕ LLM: галлюцинирует, искажения, недетерминизм → калибровать!

3 ВИДА:
  ① score (1–5/pass-fail) — просто, но абсолютный балл нестабилен, «дрейф»
  ② pairwise (A/B/tie)    — надёжнее (сравнивать легче) → выбор версий · но position bias
  ③ reference-based       — сверка с эталоном, самый надёжный · нужен ground truth
  правило: есть эталон→③ · сравниваешь версии→② · абсолют без эталона→① (осторожно)

ПРОМПТ-СУДЬЯ (= рубрика для модели):
  роль · ОДИН критерий с определением · явная рубрика шкалы (что=5, что=1)
  chain-of-thought (сначала обоснуй, потом балл) · JSON {reasoning, score}
  temperature=0 (детерминизм!) · один критерий за вызов

ИСКАЖЕНИЯ (те же, что у людей):
  position (первый) → оба порядка A,B и B,A + консистентность (ОБЯЗАТЕЛЬНО в pairwise)
  length (длинный) → «длина≠качество» · self-preference → судья ДРУГОГО вендора
  sycophancy (ведётся на уверенность) · formatting halo → критерии раздельно

КАЛИБРОВКА (главное!): сверить судью с ЧЕЛОВЕЧЕСКИМ эталоном
  люди размечают N → судья на тех же N → agreement (Cohen's kappa/корр.)
  высокое→масштабировать · низкое→чинить промпт/модель→повторить
  повторять при смене модели/промпта/домена · держать мета-эталон

ГРАБЛИ: верить без калибровки · position bias в pairwise · судья=оцениваемая модель ·
        «оцени в целом»

Практическое задание

Что дальше

Теперь у тебя есть масштабируемый калиброванный судья — можно оценивать тысячи ответов. Это открывает следующий шаг: A/B-тестирование промптов — как поставить эксперимент, набрать статистически значимую разницу между версиями и безопасно выкатить победителя.