ms-ai-architect/scripts/kb-eval/data/judge-bakeoff-report-v2-reconciled.md

Judge bake-off-rapport — S1 (Fase 3 de-risk)

Generert deterministisk av run-judge-bakeoff.mjs over gold-correctness-set.json + judge-bakeoff-results.json. Tall fra testet lib/judge-bakeoff.mjs. Ikke rediger for hånd — regenerer.

Forhåndsregistrert gate (låst FØR fan-out): recall ≥ 0.8, presisjon ≥ 0.7, OG judge-recall > staleness-recall.

Evaluerings-populasjon (P)

Volatil stratum + fetchbare claim_types (price ekskludert) — der feilene bor; unngår «invertert leverage».

metrikk	verdi
P totalt	255
Verifiserbare (correct/outdated/wrong)	240
Positive (reelle feil å fange)	40
Negative (correct)	200
Unsourced i P (kjørt, men utenfor P/R)	15

Arm-sammenligning (detektering over de 240 verifiserbare)

arm	TP	FP	FN	TN	presisjon	recall	recall Wilson 95%	F1
staleness (billig baseline)	0	0	40	200	n/a	0.0%	[0.0%, 8.8%]	n/a
judge (per-påstand groundedness)	35	3	5	197	92.1%	87.5%	[73.9%, 94.5%]	0.897
hybrid (union)	35	3	5	197	92.1%	87.5%	[73.9%, 94.5%]	0.897

Judge per claim_type (verifiserbar delmengde)

claim_type	positive	TP	FP	FN	presisjon	recall
taxonomy	11	11	3	0	78.6%	100.0%
status	8	7	0	1	100.0%	87.5%
sku	8	6	0	2	100.0%	75.0%
version	7	6	0	1	100.0%	85.7%
tpm	5	4	0	1	100.0%	80.0%
region	1	1	0	0	100.0%	100.0%

source_silent-diagnostikk

Judgen hentet siden men fant ikke verdien. Diagnostisk, ikke et flagg.

signal	antall	tolkning
På verifiserbar feil	2	judge-bom: reell feil oversett via «kan ikke verifisere»
På verifiserbar correct	3	judge reproduserte ikke et korrekt faktum mennesket fant
Enig med unsourced	5	judge reproduserer den uverifiserbare grensen (godt)
Uenig med unsourced	10	judge hevdet grunnet/ugrunnet der mennesket ikke fant kilde

GATE: ✅ PASS — bygg S3

• recall 0.875 ≥ 0.8? ja
• presisjon 0.921 ≥ 0.7? ja
• slår staleness (recall 0.000)? ja
• begrunnelse: all criteria met