From f3836b0cfe88b01829e8e2ee06eceaf430e426ae Mon Sep 17 00:00:00 2001 From: Kjell Tore Guttormsen Date: Fri, 26 Jun 2026 17:50:46 +0200 Subject: [PATCH] =?UTF-8?q?docs(ms-ai-architect):=20roadmap=20m=C3=A5l-f?= =?UTF-8?q?=C3=B8rst=20=E2=80=94=20de-risk=20judge=20(S1=20bake-off)=20f?= =?UTF-8?q?=C3=B8r=20scaffolding=20(S3)=20[skip-docs]?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Bake-off bruker frosset gull-sett (evidence_url per paastand) -> uavhengig av backfill/frontmatter -> mål judgen FOERST. S3 (backfill+full frontmatter) gated bak S1: judge-spesifikk scaffolding, wasted hvis judgen ikke slaar staleness. S2 (type-tag) judge-uavhengig, kan tas foer/parallelt. Respekterer operatoerens maal-foerst-preferanse. --- docs/ref-kb-workflow-plan-2026-06.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/docs/ref-kb-workflow-plan-2026-06.md b/docs/ref-kb-workflow-plan-2026-06.md index 92e1245..9f09834 100644 --- a/docs/ref-kb-workflow-plan-2026-06.md +++ b/docs/ref-kb-workflow-plan-2026-06.md @@ -137,22 +137,22 @@ Lav risiko, forbedrer workflowen uansett senere valg. **NB: koordiner advisor-fi Fase 0 ✅ lukket; gaten sa **BYGG Fase 3 (scoped)**. Gjenstående arbeid har **én kritisk sti** (Fase 2 → Fase 3-forutsetninger → judge/bake-off → Fase 4) + **to uavhengige side-spor** (TOC-håndverk, Cosmo) + **ett lav-prio** (OKF). Hver sesjon har en **kjørbar gate** (autonomi-vennlig — gå ikke videre før kriteriet er grønt). Premiss-tall (389/306/83) er recon-funn over; eksekverende sesjon **re-verifiserer mot ground truth FØR den muterer** (premiss-verifiseringsplikt). -**Dependensgraf (kort):** +**Dependensgraf (kort) — mål-FØRST:** - `1c → 1b` (ellers reverserer generatoren TOC-arbeidet ved neste KB-update). -- Fase 2 type-tag `→` full frontmatter `→` produksjons-judge. -- **Bake-off bruker det FROSNE gull-settet (373)** ⇒ ikke blokkert av frontmatter-arbeidet. +- **Bake-off (S1) bruker det FROSNE gull-settet (373, `evidence_url` per påstand finnes allerede)** ⇒ uavhengig av frontmatter/backfill ⇒ judgen kan **de-rises FØR** scaffolding bygges. Dette er den retnings-avgjørende målingen, ikke type-tag. +- Fase 2 type-tag (S2): judge-uavhengig, nyttig uansett utfall (trengs selv for staleness-only sourcedness). Backfill + full frontmatter (S3): **KUN hvis S1 passerer** — ellers wasted, judge-spesifikk scaffolding. - Fase 3-mekanisme `→` Fase 4. - Cosmo berører `ms-ai-advisor` ⇒ kolliderer med strukturarbeid på advisor-filer (løses ved scoping, se beslutning 2). -### Kritisk sti +### Kritisk sti (mål-først: de-risk judgen før du bygger scaffolding rundt den) -**S1 — Fase 2: minimal type-tag.** Klassifiser alle ~389 filer `reference|template|methodology|regulatory` (sidecar-manifest el. mappekonvensjon — IKKE full YAML ennå). Skiller de ~83 kildeløse legitimt (mal/metodikk: `decision-trees`, `cost-models`) fra MS-fakta-uten-kilde (maskin-detekterbart defekt). NY `scripts/kb-eval/classify-ref-type.mjs` (TDD-først). **Scope:** klassifiser advisor-filer, men MUTÉR dem ikke (Cosmo-kollisjon). **Gate (kjørbar):** hver fil har én type; de kildeløse delt i to bøtter; reproduserbar (samme input → samme output); suite grønn. +**S1 — Judge-prototype + bake-off på frosset gull-sett (DE-RISK, retnings-avgjørende).** Bygg en minimal per-påstands groundedness-judge (Opus 4.8 xhigh) og kjør den mot de 373 gull-påstandene (hver har allerede `evidence_url` + ordrett påstand). Mål **staleness vs judge vs hybrid** på volatil populasjon, scoped til fetchbare claim_types (`taxonomy/status/version/tpm/sku/region`; `price` ekskludert). Trenger **ingen** backfill/frontmatter — gull-settet er selvbærende. **Gate:** judge presisjon/recall mot gull ≥ avtalt terskel OG slår staleness (recall 0/40); kjent felle adressert (invertert leverage — judgen «vinner» ikke ved å auto-score stabile lav-risiko-påstander). **HVIS FAIL:** stopp — judge ikke berettiget; fall tilbake på staleness + operatør-gating; **bygg IKKE S3**. ~1 sesjon de-risker hele kritisk sti. -**S2 — Fase 3-forutsetning (a)+(b): autoritets-backfill + full frontmatter.** Gi hver verifiserbar fil (~306 som siterer ≥1 MS Learn-URL, **EKSKL. advisor**) en `authority_source` + bygg full frontmatter (`type/source/verified`, OKF-form). Advisor-filenes frontmatter/backfill folder inn i **S-Cosmo** (unngår dobbeltarbeid). **Gate:** hver ikke-advisor verifiserbar fil har `authority_source`; frontmatter validerer; suite grønn. +**S2 — Fase 2: minimal type-tag (judge-uavhengig, nyttig uansett).** Klassifiser ~389 filer `reference|template|methodology|regulatory` (sidecar-manifest el. mappekonvensjon — IKKE full YAML ennå). Skiller de ~83 kildeløse legitimt (mal/metodikk: `decision-trees`, `cost-models`) fra MS-fakta-uten-kilde. NY `scripts/kb-eval/classify-ref-type.mjs` (TDD-først). Kan kjøres før/parallelt med S1 (billig). **Scope:** klassifiser advisor-filer, men MUTÉR dem ikke (Cosmo-kollisjon). **Gate:** hver fil har én type; kildeløse delt i to bøtter; reproduserbar; suite grønn. -**S3 — Fase 3-kjerne: judge-bygg + «bygg begge og mål».** Per-fil groundedness-judge (Opus 4.8 xhigh), scoped til fetchbare claim_types (`taxonomy/status/version/tpm/sku/region`; `price` → flagg «ikke maskinverifiserbar», operatør-gated). Mål **staleness vs judge vs hybrid** på det frosne gull-settet (volatil populasjon — der feilene bor; ikke kår vinner på stabile påstander). **Gate:** judge presisjon/recall mot gull ≥ avtalt terskel; bake-off-tabell kårer mekanisme; kjent felle adressert (invertert leverage — judgen «vinner» ikke ved å auto-score stabile lav-risiko-påstander). Kostnad: ~2700 ikke-batchbare `microsoft_docs_fetch`/full-pass (ikke «$20–40 Batch»). **Beslutning:** velg mekanisme. +**S3 — Fase 3-forutsetning (a)+(b): backfill + full frontmatter (KUN hvis S1 passerte).** Produksjons-scaffolding for judgen: gi hver verifiserbar fil (~306 som siterer ≥1 MS Learn-URL, **EKSKL. advisor**) en `authority_source` + full frontmatter (`type/source/verified`, OKF-form). Advisor folder inn i **S-Cosmo**. Gated bak S1 fordi dette er judge-spesifikt og wasted hvis judgen feilet. **Gate:** hver ikke-advisor verifiserbar fil har `authority_source`; frontmatter validerer; suite grønn. -**S4 — Fase 4: integrasjon & styring.** Fold valgt mekanisme inn i KB-refresh-kadens (IKKE SessionStart — for dyrt). Rapporterende gulv (Spor D peker, ikke hard gate, før kalibrert). CT5 (sourcedness) **ERSTATTER** K8s rolle. **Gate:** SessionStart surfacer innholds-signal uten falske regresjons-alarmer; operatør-waiver-sti finnes. +**S4 — Produksjons-judge-utrulling + Fase 4-integrasjon.** Rull judgen over korpuset (4 skills; advisor post-Cosmo). Fold valgt mekanisme inn i KB-refresh-kadens (IKKE SessionStart — for dyrt; ~2700 ikke-batchbare `microsoft_docs_fetch`/full-pass). Rapporterende gulv (Spor D peker, ikke hard gate, før kalibrert). CT5 (sourcedness) **ERSTATTER** K8s rolle. **Gate:** SessionStart surfacer innholds-signal uten falske regresjons-alarmer; operatør-waiver-sti finnes. ### Side-spor (uavhengig — interleaves når kritisk sti venter) @@ -168,4 +168,4 @@ Fase 0 ✅ lukket; gaten sa **BYGG Fase 3 (scoped)**. Gjenstående arbeid har ** 3. **N4-revekting** → avgjøres ved SH (policy, ikke defekt; TOC-håndheving drar 91–96 midlertidig < 90 → Spor D-alarm). 4. **Versjonsbump `83fd9b5`** → batch med S3- eller S-Cosmo-release. -**Anbefalt neste sesjon: S1** (Fase 2 type-tag — ren, testbar, retnings-uavhengig start på kritisk sti). Trygt alternativ hvis ønskelig: SH (TOC), men avklar beslutning 3 først. +**Anbefalt neste sesjon: S1** (judge-prototype + bake-off på frosset gull-sett — den retnings-avgjørende de-risk-målingen; krever ingen scaffolding, slår staleness-recall 0/40 eller stopper kritisk sti). S2 (type-tag) er judge-uavhengig og kan tas i samme/tidligere slot om ønskelig. Trygt alternativ: SH (TOC), men avklar beslutning 3 først.