ms-ai-architect/scripts/kb-eval
Kjell Tore Guttormsen b290022c59 feat(ms-ai-architect): #31 ratifisert — kanalen adjudiserer, og entryens eget utsettelses-premiss var usant [skip-docs]
idx-26s anvendt: nr. 7 og nr. 17 flyttet mellom kildeblokkene i
transparency-documentation-standards.md, lista renummerert.

ENTRYEN VAR UTSATT PAA TO PREMISSER. BEGGE MAALT USANNE.

(1) «Neither direction is derivable from the file.» Verified-blokka definerer
seg KANAL-spesifikt («MCP: microsoft-learn»), og kanalen er lesbar per kilde
fra URL-en. 11 av 12 Verified-kilder er learn.microsoft.com — eneste unntak er
nr. 7 (blogs.microsoft.com, PDF fra juni 2022). 0 av 5 Baseline-kilder er
learn.microsoft.com — eneste unntak er nr. 17 (learn.microsoft.com). Kanal-
avvikene ER status-avvikene. Merkene stemmer med kanalen i begge tilfeller;
plasseringen er gal i begge. Motsatt retning ville forfattet to USANNE
paastander: at en blogs.microsoft.com-PDF er hentet via MCP microsoft-learn,
og at en learn.microsoft.com-side er ren modellkunnskap.

(2) «Moving entries renumbers the list and touches every claim that counts it.»
Maalt usant. INGENTING refererer en kilde ved nummer — verken i fila eller
korpus-bredt. De to eneste tellende paastandene (:792 «17 URLs», :793 «12
oppfoert under Verified sources, 5 under Baseline sources») teller BLOKK-
MEDLEMSKAP og er invariante under det symmetriske byttet. idx-26j skrev den
footeren bevisst slik at den skulle overleve denne entryen uansett utfall; den
framsyntheten er grunnen til at editen kostet null nedstroems.

KLASSEN ER MAALT FOER SPOERSMAALET BLE STILT (#29/#30-disiplinen): 389 ref-filer,
31 kandidatfiler med baade verified- og baseline-blokk, BEGGE markoer-dialekter
(«(Status: X …)» og bar/kursiv «(X …)»), stramme blokkgrenser. 3 konflikter i 2
filer. Én haandverifisert som FALSK POSITIV og eksplisitt utenfor formen:
language-services-question-answering.md:646 leser «(verifisert via Microsoft
Trust Center)» — en ANNEN kanal enn den fila's Verified-blokk er definert av.
Klassen er 1 fil / 2 instanser.

ET NETT SOM FEILET FOERST, ført i formen fordi feilen er den gjenbrukbare
delen: foerste klassifiserer leste proveniens-ord HVOR SOM HELST i overskriften
og ga MIX for «Baseline sources (model knowledge + MCP-inferred)», som baerer
BAADE «Baseline» og «MCP». Fila med det KJENTE tilfellet ble dermed stille
filtrert bort, og sveipet rapporterte 0 konflikter over 27 filer. Ledende-token-
presedens rettet det; kandidatmengden vokste til 31. Et nett som ikke kan
reprodusere sitt eget kjente tilfelle maaler ingenting — og «0 funnet» fra et
slikt nett leser som «klassen er lukket».

VERIFISERT ETTER EDIT, ikke paastaatt: nummerering sammenhengende 1..17;
blokk-telling 12/5; begge tellende paastander lest om og fortsatt sanne;
URL-mengden byte-identisk med HEAD (ingen tapt, ingen lagt til); filen fortsatt
797 linjer; hver Verified-kilde na learn.microsoft.com, hver Baseline-kilde
ikke; korpus-sveipet kjoert om og nede paa det ene falske positive.
Alle 11 formers GOVERNS-pekere oppløser mot eksisterende, resolvede entries.

FOERSTE AV SIN OPERASJON: ingen tidligere entry har FLYTTET innhold mellom
blokker — presedensen er sletting og in-place-erstatning.

Koe: 57 entries (8 aapne, 49 resolved). Suite 1052/1052.

[skip-docs]: ingen doc-impact — ref-docs uendret paa 389, ingen fil lagt til
eller fjernet.
2026-08-12 22:48:00 +02:00
..
data feat(ms-ai-architect): #31 ratifisert — kanalen adjudiserer, og entryens eget utsettelses-premiss var usant [skip-docs] 2026-08-12 22:48:00 +02:00
lib feat(ms-ai-architect): G7-ankere kan baere sin egen fil — klasse-entryen for de 42 er skrevet, og #17 og #14 er begge oppfylt 2026-08-11 22:23:13 +02:00
apply-o2-ratified.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
apply-skill-op.mjs feat(ms-ai-architect): Spor D steg 1 — apply regenererer hel-korpus score-cache post-mutasjon (TDD) [skip-docs] 2026-06-23 19:51:04 +02:00
build-gold-set.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
build-judge-payloads.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
build-sample-frame.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
check-g7-queue.mjs feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
check-o2-returns.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
classify-fix-ops.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
compute-base-rate.mjs feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs] 2026-06-26 17:15:54 +02:00
detect-skill-lifecycle.mjs feat(ms-ai-architect): Sesjon 15 — B2 K10 søsken-scope-ikke-overlapp 2026-06-20 11:59:59 +02:00
eval.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
extract-judge-claims.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-claim-prompt-v2.md feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
judge-claim-prompt-v3.1.md feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs] 2026-06-30 13:43:52 +02:00
judge-claim-prompt-v3.md feat(ms-ai-architect): judge-claim-prompt-v3 (R1-R7 mot 8 feilmoduser) — G4 lukket, G1 v3 forfattet [skip-docs] 2026-06-30 10:14:31 +02:00
judge-claim-prompt.md feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-pass-manifest.mjs feat(ms-ai-architect): per-fil judge-pass-manifest (appendJudgedFile + pendingFiles resume-skip, data/ git-tracked, TDD) [skip-docs] 2026-07-04 23:17:01 +02:00
judge-prompt.md feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
lint-gold-consistency.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
plan-skill-op.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
ref-file-audit.py docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript 2026-06-26 00:25:39 +02:00
run-judge-bakeoff.mjs feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
score-skill.mjs feat(ms-ai-architect): Spor D Steg B — skill-quality lifecycle-gate + score-cache (TDD) 2026-06-23 18:26:29 +02:00