Commit graph

13 commits

Author SHA1 Message Date
f3d52e0692 docs(ms-ai-architect): R0 tillit + dok-hygiene — anonymiser handover-kontekst, rett stale CLAUDE.md-pekere, programdok §6 à jour med §8, superseded-merke på workflow-plan, fjern For Cosmo-instruks [skip-docs] 2026-07-03 00:39:59 +02:00
4cd290c14b feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs]
Operatørvalg (c): én målrettet, prinsipiell prompt-iterasjon på den diagnostiserte
grounded-men-feil-feilmoden (eksakt-verdi-entailment). Terskel uendret; v1 frosset.

Full blind v2 fan-out (15 batcher Opus 4.8 xhigh, 255 P-påstander dekket):
- judge v2: recall 84.2% (32/38, PASS >=0.80, Wilson [69.6-92.6%]), presisjon 84.2%
  (PASS >=0.70), F1 0.842, slår staleness 0/38.
- Fiksen løste målet: sku recall 37.5%->75.0%, taxonomy 66.7%->100%.
- +6 ekte fangster (26->32) uten netto nye FP (6->6) => recall OG presisjon opp.

Forbehold (ærlig): andre måling på samme frosne sett etter v1 (erkjent); Wilson nedre
grense 69.6% < 0.80 ved n=38; én iterasjon. Gate-logikk => vei mot S3. Stoppet for
operatør-beslutning (S2/S3), eskalerer ikke selv.

run-judge-bakeoff.mjs: --results/--report-prefix flagg (v2 uten å klobbe v1). Suite 552/552.
2026-06-26 21:23:50 +02:00
79e34312ea feat(ms-ai-architect): S1 judge bake-off RESULT — GATE FAIL (recall 68.4% < 80%) [skip-docs]
Blind fan-out: 15 batcher Opus 4.8 xhigh, 255 P-påstander dekket (0 missing/dupes/extra),
hver judget mot live MS Learn via microsoft_docs_fetch (judgen så aldri gull-verdict).

Resultat mot forhåndsregistrert gate (recall >=0.80, presisjon >=0.70):
- judge: presisjon 81.3% (PASS), recall 68.4% (FAIL, Wilson [52.5-80.9%]), F1 0.743, 26/38 fanget
- staleness baseline: recall 0/38 (judge slår den desisivt)
- recall-drag konsentrert: sku 37.5%, taxonomy 66.7%; version/status/tpm allerede 80-86%
- 10/12 bommer var grounded-men-feil (brittle dekomponering, isolert til sku/taxonomy)

Per pre-registrert gate: STOPP, bygg IKKE S3. Fork (operatør) registrert i plan-doc:
(a) honorer FAIL, (b) scoped judge, (c) målrettet iterasjon + re-kjør.
2026-06-26 20:45:09 +02:00
3e39f2df6b feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs]
Deterministisk de-risk-harness for Fase 3-judgen (kjøres på frosset 373-påstands gull-sett):
- lib/judge-bakeoff.mjs: P-filter (volatil+fetchbar, price ekskl.), confusion-matrix
  for 3 armer (staleness/judge/hybrid), Wilson-bånd, forhåndsregistrert gate. 14 tester.
- extract-judge-claims.mjs: blind manifest (255 påstander, 0 label-lekkasje — testet invariant).
- judge-claim-prompt.md: blind per-påstands groundedness-judge (Opus xhigh, microsoft_docs_fetch).
- run-judge-bakeoff.mjs: join gull+results på id, gate-rapport (.json/.md).

Gate FORHÅNDSREGISTRERT (operatørvalg, før fan-out): recall ≥0.80, presisjon ≥0.70,
OG slår staleness (0/38). Evalueringspop P = 240 verifiserbare, 38 positive.
Suite 551/551 (538 + 13 nye).
2026-06-26 20:10:58 +02:00
f3836b0cfe docs(ms-ai-architect): roadmap mål-først — de-risk judge (S1 bake-off) før scaffolding (S3) [skip-docs]
Bake-off bruker frosset gull-sett (evidence_url per paastand) -> uavhengig av backfill/frontmatter -> mål judgen FOERST. S3 (backfill+full frontmatter) gated bak S1: judge-spesifikk scaffolding, wasted hvis judgen ikke slaar staleness. S2 (type-tag) judge-uavhengig, kan tas foer/parallelt. Respekterer operatoerens maal-foerst-preferanse.
2026-06-26 17:50:46 +02:00
54b203eae7 docs(ms-ai-architect): fler-sesjons-roadmap etter Fase 0-gaten (S1-S4 kritisk sti + side-spor + Cosmo-resolusjon) [skip-docs]
Kritisk sti: S1 type-tag -> S2 backfill+frontmatter -> S3 judge+bake-off -> S4 integrasjon. Side-spor: SH (TOC, 1c foer 1b), S-Cosmo (sist, absorberer advisor-strukturarbeid), S-OKF. Hver sesjon har kjoerbar gate. Cosmo-kollisjon loest: bake-off bruker frosset gull-sett (uavhengig av frontmatter); advisor produksjons-frontmatter folder inn i S-Cosmo. Gating-valg 1 (maal-foerst vs bygg-begge) loest av gaten.
2026-06-26 17:47:56 +02:00
49fd18c6d2 feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs]
compute-base-rate.mjs (tynn CLI over testet lib/base-rate.mjs) -> base-rate-report.{json,md}.
373 paastander: verifiserbar feilrate 13,4 % (40/299), Wilson [10,0 %, 17,7 %]; unsourced 19,8 %.
staleness-recall 0/40 = 0 % -> korrekthets-judge er eneste mekanisme som fanger feilene.
Feil konsentrert i fetchbare typer (sku 36 %, version 25 %, tpm 20 %); pris 74 % unsourced -> operatoer-gated.
GATE besluttet i plan-doc: BYGG Fase 3 scoped til fetchbare claim_types (taxonomy/status/version/tpm/sku/region); pris ikke maskinverifiserbar.
2026-06-26 17:15:54 +02:00
91556a38b5 docs(ms-ai-architect): marker Verified-trust-hazard LØST (83fd9b5) + åpent bump-spørsmål 2026-06-26 12:33:16 +02:00
5cff871c99 docs(ms-ai-architect): noter Verified-trust-hazard som rest (selv-erklært ≠ eksternt sjekket) 2026-06-26 12:08:24 +02:00
7ec5ac60b8 docs(ms-ai-architect): Fase 0 utførelses-spec (locked) — ~45 filer + kontroll-stratum, registry-inversjon, gull-set-schema 2026-06-26 11:57:32 +02:00
89eccf8881 docs(ms-ai-architect): Fase 1a A+B levert, C utsatt → Cosmo (roadmap-fangst)
Marker A (sitemap-prefiks 18→23) + B (skjemaløs URL-ekstraksjon) som levert
i workflow-planen med bevist effekt (21/24 rescued, +19 ekstraherbare).
Endring C (redirect-følging, 44 legacy m365-copilot + 3 omdøpte) foldet inn i
Cosmo-utfasingen — 20/21 filer er advisor, redigeres uansett der; root-cause
citat-fiks via ekte redirect-resolusjon (slug-rename verifisert). Registry-
refresh utsatt til neste kadens. Operatør-beslutninger 2026-06-26.
2026-06-26 10:34:48 +02:00
6ae0ed5821 docs(ms-ai-architect): reconcile ref-KB named/folder-premiss — 169/220/0 autoritativt
ref-file-audit.py re-kjørt: reproduserbart 169 navngitt / 220 mappe / 0 orphans.
Workflow-akse-1s 151/238 var et ikke-reproduserbart engangsanslag (strammere
named-heuristikk) — forkastet. Immaterielt: intet tiltak kjører på named/folder-
grensen, kun «0 orphans» (begge enige). Lukker reconcile-flagget i plan + notat.
2026-06-26 10:15:46 +02:00
d98cce371a docs(ms-ai-architect): gjennomtenkt plan for ref-fil-kvalitet + workflow (Fase 0-4, gated)
Fase 0 (gull-testsett/base-rate) gater korrekthets-bygging; Fase 1 trygge grep
(registry-herding + TOC + generator-anti-regresjon); Fase 2 minimal type-tag;
Fase 3 #2-på-#3-judge betinget; Fase 4 integrasjon. OKF-brief: full pakke for
second brain + følg standarden (operatør-direktiv).
2026-06-26 01:02:15 +02:00