ms-ai-architect/docs/ref-kb-correctness-program-2026-06.md

Program — Reference-fil-korrekthet mot nær-100 % + mekanisme som holder den der

Opprettet 2026-06-26. Operatør-mandat (eksakt): «Alle reference-filene må til enhver tid være 100 % til å stole på, og du må lage en mekanisme som sikrer dette.» Full kvalitetsoffensiv godkjent; Spor 0 først, så grønt lys for skala (Spor 1–3). Dokumenteres skikkelig her; Voyage (/trekplan / /trekexecute) er foreslått motor for skala-fasen.

Forutsetning: S1 de-risket judgen (v1 FAIL → v2 målrettet iterasjon GATE PASS, recall 84,2 % / presisjon 84,2 %). Grunnlag: docs/ref-kb-workflow-plan-2026-06.md (Fase 0–4 + roadmap), docs/ref-kb-audit-2026-06.md, docs/ref-kb-direction-note-2026-06.md.

---

1. Ærlig ramme (premisser programmet bygger på — ikke re-litiger)

1. «100 % til enhver tid» er en prosess-garanti, ikke en øyeblikks-garanti. Microsoft endrer kildene kontinuerlig; ingen statisk fil kan være korrekt i evig tid. Den oppnåelige garantien er: intet upekt/uverifisert innhold shipper, og enhver drift fanges innen én refresh-syklus. Det er den operasjonelle definisjonen av «100 % til å stole på» (§4).
2. De 38 kjente feilene er et utvalg, ikke fasiten. Målt på 255 volatile påstander; base-rate 13,4 % ⇒ det fulle korpuset (~306 kildebelagte filer) har statistisk hundrevis av samme feilklasse vi ennå ikke har sett. Spor 0 fikser utvalget; Spor 1 avdekker resten korpus-vidt.
3. Taket på én judge-runde er ~84 % recall. Judgen er en høystakk-reduserer, ikke siste autoritet. Nær-100 % fiks-korrekthet oppnås av loopen (judge flagger → menneske bekrefter mot kilde → fiks), ikke av judgen alene. Aldri auto-fiks.
4. Pris/unsourced er maskin-uverifiserbar (74 % av pris; JS-rendrede Azure-sider). Disse merkes eksplisitt «ikke maskinverifiserbar» og forblir operatør-gated. Nær-100 %-målet gjelder den maskin-verifiserbare populasjonen (sku/version/tpm/status/region/taxonomy).

2. Mål (suksesskriterium — måles mot brukerverdi)

En bruker som chatter med pluginen får korrekte, kilde-belagte MS-svar, og mekanismen holder det slik automatisk: (a) flagget feilrate på maskin-verifiserbar populasjon < ~2 % målt på et ferskt gull-utvalg; (b) ingen reference-fil shipper uten kilde + verifiseringsdato; (c) drift fanges innen én KB-refresh-syklus; (d) pris/unsourced er ærlig merket og operatør-gated.

3. De fire sporene

Spor 0 — Fiks de kjente 38 nå (judge-uavhengig, trygt) — STARTET

Fiks-manifest: scripts/kb-eval/data/spor0-fix-manifest.json (38 fikser, 25 filer, deterministisk fra gull-settet). Hver fiks har reverify_required: true.

• Protokoll per fiks (ufravikelig): (1) re-hent kilden (microsoft_docs_fetch på source) og bekreft korrekt verdi live (gull-notes er subagent-produsert — verifiseringsplikten krever fersk bekreftelse FØR en offentlig fil endres); (2) lokaliser den eksakte foreldede strengen i fila; (3) erstatt med kilde-bekreftet verdi; (4) sett fixed: true + verified-stempel.
• Rydd tverteklyngene: AI Search storage-tall er utdaterte og selvmotsigende på tvers av rag-cost-optimization.md, embedding-models-selection.md, rag-query-cost-reduction.md, vector-storage-cost-optimization.md — reconcile til én kilde-sann verdi. Samme for «Default/Enterprise → Quota Tiers»-omtalen (4 filer).
• Kvalitets-disiplin: kjøres i en fokusert sesjon (ikke som hale på en mettet kontekst) — offentlige filer for hele Norge tåler ikke hastverk.
• Verifisering: re-kjør judge på de 38 → alle grounded; storage-tall konsistente på tvers; suite grønn.

Spor 1 — Avdekk hele feilsettet korpus-vidt (S3-forutsetning + skalering)

• Authority-backfill: hver kildebelagt fil → sin autoritets-URL (recon: kun 3 URL-er har authority_source i dag — re-verifiseres mot url-registry.json FØR start).
• Full frontmatter (Fase 2 full): type / source / verified / verified_by per fil (OKF-kompatibel form).
• Korpus-pass: kjør v2-judgen over alle verifiserbare påstander i alle ~306 filer (ikke bare 255-utvalget). Output: komplett flagg-liste → mater Spor 0-protokollen korpus-vidt.
• Kostnad (ærlig): ~2700 ikke-batchbare microsoft_docs_fetch per full-pass — IKKE «$20–40 Batch». Flersesjons.
• Verifisering: hver ikke-advisor kildebelagt fil har authority_source; frontmatter validerer; flagg-lista persistert.

Spor 2 — Press pålitelighet mot 100 % (hardningen)

• (a) Ensemble for recall: union av N diverse judge-linser (f.eks. eksakt-verdi / strukturell / status-fokus). Mål single vs ensemble på gull-settet FØR adopsjon (operatørens «bygg begge og mål»). Union hever recall (mål: > 84,2 %), senker presisjon — tapet absorberes av menneske-i-loopen (c). Adopter kun hvis gull-målt forbedring.
• (b) Gull-rekonsiliering: løs hver judge-vs-gull-uenighet (v2: 6 FP + 6 FN) mot live kilde. Hver er enten judge-feil ELLER gull-feil; å løse dem kalibrerer judgen OG retter fasiten. (FP-ene inkluderer trolig diskutable gull-labels, f.eks. «100+» som nedre grense ble flagget — gull bør avgjøre om nedre-grense-påstander teller som feil.) Mål: 0 uløste uenigheter.
• (c) Menneske-i-loopen fiks-protokoll: judge flagger → operatør/ekspert bekrefter mot kilde → fiks + verified-bump. Garanterer ~100 % fiks-presisjon selv ved 84 % judge-presisjon. Aldri auto-fiks.
• Verifisering: ensemble P/R ≥ single på gull; 0 uløste judge-vs-gull-uenigheter; dokumentert at ingen fiks shippet uten menneske-bekreftelse.

Spor 3 — Mekanismen som holder det nær-100 % (Fase 4) — SE §4

Create-time-guard + kadens-judge + rapporterende gulv + frontmatter-kontrakt. Detaljert under, fordi dette ER «mekanismen som sikrer dette».

4. MEKANISMEN — «100 % til å stole på, til enhver tid» (operatørens kjernekrav)

Garantien er en invariant håndhevet av tre porter, ikke et engangs-opprydding:

Invariant: Hver maskin-verifiserbar påstand i en reference-fil er bekreftet mot sin siterte kilde innen siste <kadens>-vindu; intet reference-innhold shipper uten source + verified; drift flagges innen én refresh-syklus.

Port 1 — Frontmatter-kontrakt (tilstanden). Hver fil bærer: type (reference|template|methodology|regulatory) · source (autoritets-URL) · verified (dato sist bekreftet korrekt mot kilde) · verified_by (judge-vN / human). Template/methodology/regulatory er unntatt korrekthets-scope (skal ikke ha MS-source).

Port 2 — Create-time-guard (innløpet). scripts/kb-update/lib/transform.mjs (buildKbHeader/validateKbFile) + generate-skills:

• Nekter å emitte en reference-fil uten source.
• Nytt/regenerert innhold kjøres gjennom judgen FØR commit → født verifisert (verified=<i dag>, verified_by=judge-vN). Ellers re-introduserer neste KB-update driften (å øse en lekk båt).
• Verifisering: generator-test — reference-output har source+verified; mangler source ⇒ hard feil.

Port 3 — Kadens-judge (vedlikeholdet). På KB-refresh-kadens (IKKE SessionStart — for dyrt):

• Inkrementell: re-judge filer hvis source sitemap_lastmod > verified (akkurat det staleness-loopen ser — billig, fanger lastmod-synlig drift).
• Periodisk full-pass: judge over hele korpuset (fanger den drift-klassen staleness bommer på — base-rate viste staleness-recall 0/40).
• Flagg → menneske-bekreft → fiks → verified-bump. Rapporterende gulv (Spor D peker: «N filer eldre enn X siden verified» / «M ubekreftede flagg»), ikke hard SessionStart-gate (unngå alarm-tretthet på et 84 %-signal).
• Verifisering: SessionStart surfacer trust-ferskhets-signal uten falske alarmer; operatør-waiver-sti finnes; CT5 (sourcedness) ERSTATTER K8s rolle.

Hvorfor dette gir «til enhver tid»: du kan ikke garantere null drift i et øyeblikk (MS endrer ting når som helst), men du garanterer at (a) intet uverifisert shipper (Port 2), (b) tilstanden er eksplisitt og sporbar (Port 1), (c) drift fanges innen én syklus (Port 3). Det er den sterkeste ærlige garantien — og den er buildbar.

5. Voyage-bruk (operatør: «kanskje bruke Voyage aktivt»)

• Skala-fasen (Spor 1–3) er et lærebok-flersesjons-implementeringsløp → /trekplan med dette dokumentet som brief gir en revidert, adversarielt gjennomgått implementeringsplan; /trekexecute kjører den på tvers av sesjoner med failure-recovery.
• Spor 1 korpus-pass kan dra nytte av Voyage-orkestrering (parallelle judge-agenter per fil, schema-validert output).
• Spor 0 er lite nok til direkte utførelse (manifest finnes) — trenger ikke Voyage.
• Ikke auto-lansert: Voyage er tung maskineri; operatør kickstarter (/trekbrief el. /trekplan --brief <dette docet>). Anbefaling: kjør Spor 0 først, så /trekplan for Spor 1–3.

6. Sekvensering + status (2026-06-26)

Spor	Status	Neste konkrete handling
S1 (de-risk)	✅ FULLFØRT	— (v2 GATE PASS)
Spor 0 (fiks 38)	🟡 STARTET (manifest klart)	Kjør manifest i fokusert sesjon m/ kilde-reverifisering
Spor 1 (korpus-skala)	⏳ grønt lys	Authority-backfill + frontmatter → korpus-pass (Voyage /trekplan)
Spor 2 (hardning)	⏳ grønt lys	Ensemble-måling på gull + gull-rekonsiliering
Spor 3 (mekanisme)	⏳ grønt lys	Frontmatter-kontrakt → create-guard → kadens-judge (§4)

Avhengigheter: Spor 0 uavhengig (nå). Spor 3 Port 2 (create-guard) MÅ på plass før/sammen med korpus-fiksing (ellers reverserer generatoren). Spor 2b (gull-rekonsiliering) bør før Spor 1 korpus-pass (bunnsolid fasit før vi skalerer målingen). Advisor-filer koordineres mot Cosmo-utfasing (S-Cosmo).

7. Verifisering — slik beviser vi «nær-100 %» (nordstjerne)

Etter Spor 0+1-fiksing: trekk et NYTT, ferskt gull-utvalg (friske påstander, ikke de vi fikset mot) og mål feilraten på maskin-verifiserbar populasjon → mål < ~2 %. Måling på den fikset-mot prøven er kontaminert; kun en fersk prøve beviser at korpuset faktisk er nær-100 %. Dette gull-utvalget blir også neste kalibreringssett for kadens-judgen.