feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs]
This commit is contained in:
parent
707a1b8edc
commit
045db566ba
8 changed files with 842 additions and 12 deletions
234
scripts/kb-eval/data/judge-bakeoff-report-v2-g5bgold.json
Normal file
234
scripts/kb-eval/data/judge-bakeoff-report-v2-g5bgold.json
Normal file
|
|
@ -0,0 +1,234 @@
|
|||
{
|
||||
"_meta": {
|
||||
"source": "gold-correctness-set.json + judge-bakeoff-results.json",
|
||||
"thresholds": {
|
||||
"minRecall": 0.7,
|
||||
"minPrecision": 0.6
|
||||
},
|
||||
"judged": 255
|
||||
},
|
||||
"population": {
|
||||
"total": 255,
|
||||
"verifiable": 240,
|
||||
"positives": 42,
|
||||
"negatives": 198,
|
||||
"unsourcedInP": 15
|
||||
},
|
||||
"arms": {
|
||||
"staleness": {
|
||||
"tp": 0,
|
||||
"fp": 0,
|
||||
"fn": 42,
|
||||
"tn": 198,
|
||||
"positives": 42,
|
||||
"negatives": 198,
|
||||
"flagged": 0,
|
||||
"precision": null,
|
||||
"recall": 0,
|
||||
"f1": null,
|
||||
"recallWilson": {
|
||||
"p": 0,
|
||||
"low": 0,
|
||||
"high": 0.08380161250916199
|
||||
},
|
||||
"precisionWilson": null
|
||||
},
|
||||
"judge": {
|
||||
"tp": 33,
|
||||
"fp": 5,
|
||||
"fn": 9,
|
||||
"tn": 193,
|
||||
"positives": 42,
|
||||
"negatives": 198,
|
||||
"flagged": 38,
|
||||
"precision": 0.868421052631579,
|
||||
"recall": 0.7857142857142857,
|
||||
"f1": 0.825,
|
||||
"recallWilson": {
|
||||
"p": 0.7857142857142857,
|
||||
"low": 0.6405986210195627,
|
||||
"high": 0.8829433146894876
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 0.868421052631579,
|
||||
"low": 0.7267282994850112,
|
||||
"high": 0.9424621712426856
|
||||
}
|
||||
},
|
||||
"hybrid": {
|
||||
"tp": 33,
|
||||
"fp": 5,
|
||||
"fn": 9,
|
||||
"tn": 193,
|
||||
"positives": 42,
|
||||
"negatives": 198,
|
||||
"flagged": 38,
|
||||
"precision": 0.868421052631579,
|
||||
"recall": 0.7857142857142857,
|
||||
"f1": 0.825,
|
||||
"recallWilson": {
|
||||
"p": 0.7857142857142857,
|
||||
"low": 0.6405986210195627,
|
||||
"high": 0.8829433146894876
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 0.868421052631579,
|
||||
"low": 0.7267282994850112,
|
||||
"high": 0.9424621712426856
|
||||
}
|
||||
}
|
||||
},
|
||||
"sourceSilent": {
|
||||
"onVerifiableNegative": 1,
|
||||
"onVerifiableError": 4,
|
||||
"agreesWithUnsourced": 5,
|
||||
"disagreesWithUnsourced": 10
|
||||
},
|
||||
"byClaimType": {
|
||||
"version": {
|
||||
"tp": 6,
|
||||
"fp": 0,
|
||||
"fn": 1,
|
||||
"tn": 21,
|
||||
"positives": 7,
|
||||
"negatives": 21,
|
||||
"flagged": 6,
|
||||
"precision": 1,
|
||||
"recall": 0.8571428571428571,
|
||||
"f1": 0.923076923076923,
|
||||
"recallWilson": {
|
||||
"p": 0.8571428571428571,
|
||||
"low": 0.4868654966809701,
|
||||
"high": 0.9743210440510252
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 1,
|
||||
"low": 0.6096569663469354,
|
||||
"high": 0.9999999999999999
|
||||
}
|
||||
},
|
||||
"tpm": {
|
||||
"tp": 4,
|
||||
"fp": 0,
|
||||
"fn": 1,
|
||||
"tn": 20,
|
||||
"positives": 5,
|
||||
"negatives": 20,
|
||||
"flagged": 4,
|
||||
"precision": 1,
|
||||
"recall": 0.8,
|
||||
"f1": 0.888888888888889,
|
||||
"recallWilson": {
|
||||
"p": 0.8,
|
||||
"low": 0.3755282641185388,
|
||||
"high": 0.9637768390302125
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 1,
|
||||
"low": 0.5100999795960008,
|
||||
"high": 1
|
||||
}
|
||||
},
|
||||
"region": {
|
||||
"tp": 1,
|
||||
"fp": 0,
|
||||
"fn": 1,
|
||||
"tn": 13,
|
||||
"positives": 2,
|
||||
"negatives": 13,
|
||||
"flagged": 1,
|
||||
"precision": 1,
|
||||
"recall": 0.5,
|
||||
"f1": 0.6666666666666666,
|
||||
"recallWilson": {
|
||||
"p": 0.5,
|
||||
"low": 0.09452865480086614,
|
||||
"high": 0.9054713451991339
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 1,
|
||||
"low": 0.2065432914738929,
|
||||
"high": 1
|
||||
}
|
||||
},
|
||||
"status": {
|
||||
"tp": 6,
|
||||
"fp": 1,
|
||||
"fn": 4,
|
||||
"tn": 42,
|
||||
"positives": 10,
|
||||
"negatives": 43,
|
||||
"flagged": 7,
|
||||
"precision": 0.8571428571428571,
|
||||
"recall": 0.6,
|
||||
"f1": 0.7058823529411764,
|
||||
"recallWilson": {
|
||||
"p": 0.6,
|
||||
"low": 0.3126695474501863,
|
||||
"high": 0.8318224187964902
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 0.8571428571428571,
|
||||
"low": 0.4868654966809701,
|
||||
"high": 0.9743210440510252
|
||||
}
|
||||
},
|
||||
"taxonomy": {
|
||||
"tp": 11,
|
||||
"fp": 3,
|
||||
"fn": 0,
|
||||
"tn": 83,
|
||||
"positives": 11,
|
||||
"negatives": 86,
|
||||
"flagged": 14,
|
||||
"precision": 0.7857142857142857,
|
||||
"recall": 1,
|
||||
"f1": 0.88,
|
||||
"recallWilson": {
|
||||
"p": 1,
|
||||
"low": 0.7411599827511859,
|
||||
"high": 1
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 0.7857142857142857,
|
||||
"low": 0.5241027622679172,
|
||||
"high": 0.9242875166308363
|
||||
}
|
||||
},
|
||||
"sku": {
|
||||
"tp": 5,
|
||||
"fp": 1,
|
||||
"fn": 2,
|
||||
"tn": 14,
|
||||
"positives": 7,
|
||||
"negatives": 15,
|
||||
"flagged": 6,
|
||||
"precision": 0.8333333333333334,
|
||||
"recall": 0.7142857142857143,
|
||||
"f1": 0.7692307692307692,
|
||||
"recallWilson": {
|
||||
"p": 0.7142857142857143,
|
||||
"low": 0.35892909014821267,
|
||||
"high": 0.9177828342909844
|
||||
},
|
||||
"precisionWilson": {
|
||||
"p": 0.8333333333333334,
|
||||
"low": 0.43649056343635395,
|
||||
"high": 0.9699474141282697
|
||||
}
|
||||
}
|
||||
},
|
||||
"gate": {
|
||||
"pass": true,
|
||||
"recallOk": true,
|
||||
"precisionOk": true,
|
||||
"beatsStaleness": true,
|
||||
"thresholds": {
|
||||
"minRecall": 0.7,
|
||||
"minPrecision": 0.6
|
||||
},
|
||||
"reasons": [
|
||||
"all criteria met"
|
||||
]
|
||||
}
|
||||
}
|
||||
Loading…
Add table
Add a link
Reference in a new issue