feat(ms-ai-architect): Spor 2b gull-rekonsiliering — 12 uenigheter løst, fasit herdet (P 84→92%, R 84→88%) [skip-docs]

4 gull-feil rettet (FP1/FP2/FP6/FN1) + 1 note-fiks (FP4); 8 judge-feil dokumentert som kalibreringsmål for Spor 2a/judge-prompt-v3. Hver endring live-belagt mot MS Learn. Nedre-grense-policy vedtatt. 0 uløste uenigheter. Suite 637/637. Logg: docs/ref-kb-gold-reconciliation-2026-06.md; herdet rapport: judge-bakeoff-report-v2-reconciled (frozen v2 beholdt).
This commit is contained in:
Kjell Tore Guttormsen 2026-06-30 07:20:21 +02:00
commit 4ab1138760
5 changed files with 404 additions and 12 deletions

View file

@ -35,7 +35,7 @@ Fiks-manifest: `scripts/kb-eval/data/spor0-fix-manifest.json` (38 fikser, 25 fil
### Spor 2 — Press pålitelighet mot 100 % (hardningen)
- **(a) Ensemble for recall:** union av N *diverse* judge-linser (f.eks. eksakt-verdi / strukturell / status-fokus). Mål single vs ensemble på gull-settet FØR adopsjon (operatørens «bygg begge og mål»). Union hever recall (mål: > 84,2 %), senker presisjon — tapet absorberes av menneske-i-loopen (c). Adopter kun hvis gull-målt forbedring.
- **(b) Gull-rekonsiliering:** løs hver judge-vs-gull-uenighet (v2: 6 FP + 6 FN) mot live kilde. Hver er enten judge-feil ELLER gull-feil; å løse dem kalibrerer judgen OG retter fasiten. (FP-ene inkluderer trolig diskutable gull-labels, f.eks. «100+» som nedre grense ble flagget — gull bør avgjøre om nedre-grense-påstander teller som feil.) Mål: 0 uløste uenigheter.
- **(b) Gull-rekonsiliering:** **FERDIG (2026-06-30)** — alle 12 uenigheter løst mot live kilde. **4 gull-feil rettet** + 1 note-fiks; **8 judge-feil** dokumentert som kalibreringsmål. Herdet fasit: presisjon 84,2 %→**92,1 %**, recall 84,2 %→**87,5 %** (judgen var bedre enn rå-bakeoffen viste — fasiten var kontaminert). Nedre-grense-policy vedtatt (grov understatement >~2× = feil). **0 uløste uenigheter.** Full logg: `ref-kb-gold-reconciliation-2026-06.md`; herdet rapport: `judge-bakeoff-report-v2-reconciled.{json,md}` (frozen v2 beholdt som gate-artefakt).
- **(c) Menneske-i-loopen fiks-protokoll:** judge flagger → operatør/ekspert bekrefter mot kilde → fiks + `verified`-bump. Garanterer ~100 % *fiks*-presisjon selv ved 84 % *judge*-presisjon. **Aldri auto-fiks.**
- **Verifisering:** ensemble P/R ≥ single på gull; 0 uløste judge-vs-gull-uenigheter; dokumentert at ingen fiks shippet uten menneske-bekreftelse.
@ -80,10 +80,10 @@ Garantien er en **invariant håndhevet av tre porter**, ikke et engangs-oppryddi
| S1 (de-risk) | ✅ FULLFØRT | — (v2 GATE PASS) |
| Spor 0 (fiks 38) | 🟡 STARTET (manifest klart) | Kjør manifest i fokusert sesjon m/ kilde-reverifisering |
| Spor 1 (korpus-skala) | ⏳ grønt lys | Authority-backfill + frontmatter → korpus-pass (Voyage `/trekplan`) |
| Spor 2 (hardning) | ⏳ grønt lys | Ensemble-måling på gull + gull-rekonsiliering |
| Spor 2 (hardning) | 🟡 2b ✅ FERDIG (gull herdet) | 2a ensemble-måling på herdet gull (gjenstår) |
| Spor 3 (mekanisme) | 🟢 Port 1+2+3 ✅ KOMPLETT (inkr/gulv/CT5 + full-pass worklist P3d) | Mekanismen ferdig; dormant til Spor 1. Neste spor: Spor 2b (gull-rekonsiliering) → Spor 1 korpus-pass |
**Avhengigheter:** Spor 0 uavhengig (nå). Spor 3 Port 2 (create-guard) MÅ på plass før/sammen med korpus-fiksing (ellers reverserer generatoren). Spor 2b (gull-rekonsiliering) bør før Spor 1 korpus-pass (bunnsolid fasit før vi skalerer målingen). Advisor-filer koordineres mot Cosmo-utfasing (S-Cosmo).
**Avhengigheter:** Spor 0 uavhengig (nå). Spor 3 Port 2 (create-guard) MÅ på plass før/sammen med korpus-fiksing (ellers reverserer generatoren). Spor 2b (gull-rekonsiliering) ✅ ferdig 2026-06-30 — bunnsolid fasit på plass før Spor 1 skalerer målingen. Advisor-filer koordineres mot Cosmo-utfasing (S-Cosmo).
## 7. Verifisering — slik beviser vi «nær-100 %» (nordstjerne)
Etter Spor 0+1-fiksing: trekk et **NYTT, ferskt gull-utvalg** (friske påstander, ikke de vi fikset mot) og mål feilraten på maskin-verifiserbar populasjon → **mål < ~2 %**. Måling på den fikset-mot prøven er kontaminert; kun en fersk prøve beviser at korpuset faktisk er nær-100 %. Dette gull-utvalget blir også neste kalibreringssett for kadens-judgen.