open/ms-ai-architect
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions

docs(ms-ai-architect): roadmap mål-først — de-risk judge (S1 bake-off) før scaffolding (S3) [skip-docs]

Browse source 
Bake-off bruker frosset gull-sett (evidence_url per paastand) -> uavhengig av backfill/frontmatter -> mål judgen FOERST. S3 (backfill+full frontmatter) gated bak S1: judge-spesifikk scaffolding, wasted hvis judgen ikke slaar staleness. S2 (type-tag) judge-uavhengig, kan tas foer/parallelt. Respekterer operatoerens maal-foerst-preferanse.
This commit is contained in:
Kjell Tore Guttormsen 2026-06-26 17:50:46 +02:00
commit f3836b0cfe
1 changed files with 9 additions and 9 deletions
Download patch file Download diff file Expand all files Collapse all files

18
docs/ref-kb-workflow-plan-2026-06.md
View file

@ -137,22 +137,22 @@ Lav risiko, forbedrer workflowen uansett senere valg. **NB: koordiner advisor-fi
Fase 0 ✅ lukket; gaten sa **BYGG Fase 3 (scoped)**. Gjenstående arbeid har **én kritisk sti** (Fase 2 → Fase 3-forutsetninger → judge/bake-off → Fase 4) + **to uavhengige side-spor** (TOC-håndverk, Cosmo) + **ett lav-prio** (OKF). Hver sesjon har en **kjørbar gate** (autonomi-vennlig — gå ikke videre før kriteriet er grønt). Premiss-tall (389/306/83) er recon-funn over; eksekverende sesjon **re-verifiserer mot ground truth FØR den muterer** (premiss-verifiseringsplikt).
**Dependensgraf (kort):**
**Dependensgraf (kort) — mål-FØRST:**
- `1c → 1b` (ellers reverserer generatoren TOC-arbeidet ved neste KB-update).
- Fase 2 type-tag `→` full frontmatter `→` produksjons-judge.
- **Bake-off bruker det FROSNE gull-settet (373)** ⇒ ikke blokkert av frontmatter-arbeidet.
- **Bake-off (S1) bruker det FROSNE gull-settet (373, `evidence_url` per påstand finnes allerede)** ⇒ uavhengig av frontmatter/backfill ⇒ judgen kan **de-rises FØR** scaffolding bygges. Dette er den retnings-avgjørende målingen, ikke type-tag.
- Fase 2 type-tag (S2): judge-uavhengig, nyttig uansett utfall (trengs selv for staleness-only sourcedness). Backfill + full frontmatter (S3): **KUN hvis S1 passerer** — ellers wasted, judge-spesifikk scaffolding.
- Fase 3-mekanisme `→` Fase 4.
- Cosmo berører `ms-ai-advisor` ⇒ kolliderer med strukturarbeid på advisor-filer (løses ved scoping, se beslutning 2).
### Kritisk sti
### Kritisk sti (mål-først: de-risk judgen før du bygger scaffolding rundt den)
**S1 — Fase 2: minimal type-tag.** Klassifiser alle ~389 filer `reference|template|methodology|regulatory` (sidecar-manifest el. mappekonvensjon — IKKE full YAML ennå). Skiller de ~83 kildeløse legitimt (mal/metodikk: `decision-trees`, `cost-models`) fra MS-fakta-uten-kilde (maskin-detekterbart defekt). NY `scripts/kb-eval/classify-ref-type.mjs` (TDD-først). **Scope:** klassifiser advisor-filer, men MUTÉR dem ikke (Cosmo-kollisjon). **Gate (kjørbar):** hver fil har én type; de kildeløse delt i to bøtter; reproduserbar (samme input → samme output); suite grønn.
**S1 — Judge-prototype + bake-off på frosset gull-sett (DE-RISK, retnings-avgjørende).** Bygg en minimal per-påstands groundedness-judge (Opus 4.8 xhigh) og kjør den mot de 373 gull-påstandene (hver har allerede `evidence_url` + ordrett påstand). Mål **staleness vs judge vs hybrid** på volatil populasjon, scoped til fetchbare claim_types (`taxonomy/status/version/tpm/sku/region`; `price` ekskludert). Trenger **ingen** backfill/frontmatter — gull-settet er selvbærende. **Gate:** judge presisjon/recall mot gull ≥ avtalt terskel OG slår staleness (recall 0/40); kjent felle adressert (invertert leverage — judgen «vinner» ikke ved å auto-score stabile lav-risiko-påstander). **HVIS FAIL:** stopp — judge ikke berettiget; fall tilbake på staleness + operatør-gating; **bygg IKKE S3**. ~1 sesjon de-risker hele kritisk sti.
**S2 — Fase 3-forutsetning (a)+(b): autoritets-backfill + full frontmatter.** Gi hver verifiserbar fil (~306 som siterer ≥1 MS Learn-URL, **EKSKL. advisor**) en `authority_source` + bygg full frontmatter (`type/source/verified`, OKF-form). Advisor-filenes frontmatter/backfill folder inn i **S-Cosmo** (unngår dobbeltarbeid). **Gate:** hver ikke-advisor verifiserbar fil har `authority_source`; frontmatter validerer; suite grønn.
**S2 — Fase 2: minimal type-tag (judge-uavhengig, nyttig uansett).** Klassifiser ~389 filer `reference|template|methodology|regulatory` (sidecar-manifest el. mappekonvensjon — IKKE full YAML ennå). Skiller de ~83 kildeløse legitimt (mal/metodikk: `decision-trees`, `cost-models`) fra MS-fakta-uten-kilde. NY `scripts/kb-eval/classify-ref-type.mjs` (TDD-først). Kan kjøres før/parallelt med S1 (billig). **Scope:** klassifiser advisor-filer, men MUTÉR dem ikke (Cosmo-kollisjon). **Gate:** hver fil har én type; kildeløse delt i to bøtter; reproduserbar; suite grønn.
**S3 — Fase 3-kjerne: judge-bygg + «bygg begge og mål».** Per-fil groundedness-judge (Opus 4.8 xhigh), scoped til fetchbare claim_types (`taxonomy/status/version/tpm/sku/region`; `price` → flagg «ikke maskinverifiserbar», operatør-gated). Mål **staleness vs judge vs hybrid** på det frosne gull-settet (volatil populasjon — der feilene bor; ikke kår vinner på stabile påstander). **Gate:** judge presisjon/recall mot gull ≥ avtalt terskel; bake-off-tabell kårer mekanisme; kjent felle adressert (invertert leverage — judgen «vinner» ikke ved å auto-score stabile lav-risiko-påstander). Kostnad: ~2700 ikke-batchbare `microsoft_docs_fetch`/full-pass (ikke «$20–40 Batch»). **Beslutning:** velg mekanisme.
**S3 — Fase 3-forutsetning (a)+(b): backfill + full frontmatter (KUN hvis S1 passerte).** Produksjons-scaffolding for judgen: gi hver verifiserbar fil (~306 som siterer ≥1 MS Learn-URL, **EKSKL. advisor**) en `authority_source` + full frontmatter (`type/source/verified`, OKF-form). Advisor folder inn i **S-Cosmo**. Gated bak S1 fordi dette er judge-spesifikt og wasted hvis judgen feilet. **Gate:** hver ikke-advisor verifiserbar fil har `authority_source`; frontmatter validerer; suite grønn.
**S4 — Fase 4: integrasjon & styring.** Fold valgt mekanisme inn i KB-refresh-kadens (IKKE SessionStart — for dyrt). Rapporterende gulv (Spor D peker, ikke hard gate, før kalibrert). CT5 (sourcedness) **ERSTATTER** K8s rolle. **Gate:** SessionStart surfacer innholds-signal uten falske regresjons-alarmer; operatør-waiver-sti finnes.
**S4 — Produksjons-judge-utrulling + Fase 4-integrasjon.** Rull judgen over korpuset (4 skills; advisor post-Cosmo). Fold valgt mekanisme inn i KB-refresh-kadens (IKKE SessionStart — for dyrt; ~2700 ikke-batchbare `microsoft_docs_fetch`/full-pass). Rapporterende gulv (Spor D peker, ikke hard gate, før kalibrert). CT5 (sourcedness) **ERSTATTER** K8s rolle. **Gate:** SessionStart surfacer innholds-signal uten falske regresjons-alarmer; operatør-waiver-sti finnes.
### Side-spor (uavhengig — interleaves når kritisk sti venter)
@ -168,4 +168,4 @@ Fase 0 ✅ lukket; gaten sa **BYGG Fase 3 (scoped)**. Gjenstående arbeid har **
3. **N4-revekting** → avgjøres ved SH (policy, ikke defekt; TOC-håndheving drar 91–96 midlertidig < 90 → Spor D-alarm).
4. **Versjonsbump `83fd9b5`** → batch med S3- eller S-Cosmo-release.
**Anbefalt neste sesjon: S1** (Fase 2 type-tag — ren, testbar, retnings-uavhengig start på kritisk sti). Trygt alternativ hvis ønskelig: SH (TOC), men avklar beslutning 3 først.
**Anbefalt neste sesjon: S1** (judge-prototype + bake-off på frosset gull-sett — den retnings-avgjørende de-risk-målingen; krever ingen scaffolding, slår staleness-recall 0/40 eller stopper kritisk sti). S2 (type-tag) er judge-uavhengig og kan tas i samme/tidligere slot om ønskelig. Trygt alternativ: SH (TOC), men avklar beslutning 3 først.