ms-ai-architect/scripts/kb-eval
Kjell Tore Guttormsen b57114746a feat(ms-ai-architect): #33 ratifisert — ankeret var renvasket, containeren var defekten, og sveip-eksponeringen var 1 streng ikke alle [skip-docs]
idx-26i lukket. Entryen bokfoerte seg selv som UMAALT kandidat og krevde to
avgjoerelser. Begge snudde under maaling, i motsatt retning av det entryen antok.

KORPUS-HALVDELEN — ANKERET ER RENVASKET, IKKE REPARERT.
1) Stempel-dekning maalt FOERST (#29-disiplinen): fila har NULL
   "**Confidence:**"-stempler. idx-26f sin defektklasse - uhjemlet spesifisitet
   UNDER et verifiseringsmerke, der defekten er merkets rekkevidde og ikke
   setningen - overfoeres derfor ikke. Det finnes ikke noe merke her aa
   overskride. Fila sitt eneste verifiseringsartefakt er footer-paret
   "Verification status: Alle kilder verifisert 2026-02", en datert paastand om
   KILDELISTA, ikke om enkeltpaastander.
2) Parentesen er ORDRETT TRO mot fila sin EGEN oppgitte kilde.
   concept-responsible-ai staar i fila sin "Microsoft kilder" og sier:
   "assess model fairness across sensitive groups, such as gender, ethnicity,
   age, and other characteristics". idx-26f sin soesterdefekt fantes fordi
   SCORECARD-sida bare sier "your desired sensitive groups"; denne fila
   attribuerer til en ANNEN side som faktisk oppgir de tre. Samme streng, ulik
   kilde, motsatt dom - og nettopp derfor kunne et sveip paa STRENGEN aldri ha
   adjudisert dette.

DEFEKTEN ER CONTAINEREN. Alle fire punktene verifisert mot levende kilde:
fairness assessment (concept-responsible-ai, ordrett) · explainability, inkl.
SHAP (how-to-machine-learning-interpretability: RAI dashboard bruker "LightGBM
paired with the SHAP (SHapley Additive exPlanations) Tree Explainer") · error
analysis ("cohorts with a higher error rate than the overall benchmark") ·
model monitoring ("data drift detection", under Accountability/MLOps). Alle
fire er AZURE MACHINE LEARNING. Overskriften sa Microsoft Foundry. Levende
Foundry-RAI-flate (responsible-use-of-ai-overview, hentet denne oekten) er
Discover/Protect/Govern med content filters, Guardrails, tracing og Defender-
varsler - ingen av de fire. Korpuset sier dette selv i
responsible-ai-training-awareness.md:280, saa fila motsa en soesterfil.

KLASSE-KORREKSJON: kryss-attribusjon (idx-26b sin klasse), ikke "replacement".
Entryens eget forbehold navnga den ekte defekten, men behandlet den som grunnen
til at ankeret kanskje var USKYLDIG - ikke som funnet selv.

OPPHAV MAALT, IKKE ANTATT. "git log -S" peker paa 03d596e (Foundry-navnesveipen
over 233 filer), men 03d596e^ viser at overskriften da sto som "### Azure AI
Foundry RAI-tools:". Sveipen fulgte sin egen oppgitte regel; feilattribusjonen
er eldre og ble bare baaret videre under nytt produktnavn. En mekanisk sveip er
ikke skyldig bare fordi git blame stopper der.

FORM: overskriften retarget til "### Azure Machine Learning RAI-verktoey:"
(korrekte norske diakritiske tegn i korpusfila; previewet var ASCII-sikret og
LABELEN er det ratifiserte objektet). Punktene uroert, fila fortsatt 314 linjer.
Overskriften ligger bevisst paa AZURE MACHINE LEARNING-niva og IKKE paa
"Responsible AI Dashboard"-niva: punkt 4 er MLOps, ikke en dashboard-komponent,
saa en Dashboard-overskrift ville latt reparasjonen ARVE kryss-attribusjons-
klassen den er skrevet for aa fjerne. Naboblokka lest om igjen HEL etter editen:
l.234 baerer allerede "Azure Machine Learning Responsible AI Dashboard", saa de
to blokkene leser naa som oversikt-saa-detalj paa ETT produkt.

KONVENSJONS-HALVDELEN — ENTRYENS EGET OMFANGS-PREMISS VAR USANT.
Entryen paastod at "every cross-file sweep recorded in this queue that greped
English strings alone has an unmeasured Norwegian half". Maalt: av 52 resolved
har bare 4 noe sveip-utsagn, og 2 av dem er ikke literale sveip - idx-26e sitt
er en MERKNAD om framtidige sveip, og idx-26d kjoerte en konsept-sjekk som
faktisk FANT kryss-fil-instansene og bokfoerte idx-26e ut av dem. Reell
eksponering: 2 entries, 4 strenger. Alle fire norske halvdeler kjoert:
"Powered by AI" 0 · "outlier analysis" 0 · "Dataset statistics" 0 ·
"gender, ethnicity, age" 7. Én streng av fire, i én entry av to.

OG DE 7 TREFFENE BAERER IKKE EN BLANK REGEL: fem er alminnelig fagprosa uten
produktattribusjon (diskrimineringslov, bias-testing, sjekklister). Bare to er
produktpaastander: dette ankeret, og responsible-ai-framework-overview.md:41 -
som attribuerer KORREKT til "Fairness assessment i RAI Dashboard". Den fila er
KONTROLLEN: den viser at den norske frasen ikke selv er en defektmarkoer, og at
denne fila var avviket og ikke moensteret. Et blankt tospraaklig sveip ville
kjoert paa 1/7 presisjon. Det ble lagt fram med den maalte presisjonen og
avslaatt; den filtrerte formen ble ratifisert som #33.

#33 KJOERT MOT EGEN REPARASJON: to andre steder nevner Foundry og RAI Dashboard
sammen (ai-act-microsoft-tools-mapping.md:33, responsible-ai-framework-
overview.md:188) - begge skiller dem eksplisitt og er korrekt attribuert.
Klassen er lukket paa én instans.

Historisk eksponering er LUKKET, ikke etterlatt aapen: alle fire tidligere
sveipede strenger har faatt sin norske halvdel maalt denne oekten.

Hel-linje-bevis: l.236 eksakt ny overskrift, l.237 anker uendret, 0 filer med
gammel streng. Suite 1052/1052. check-g7-queue exit 0. Koea: 58 entries
(5 aapne, 53 resolved), 13 former (#21-#33). Alle 13 GOVERNS-pekere opploeser
mot eksisterende, resolvede entries (skript-verifisert, ikke haand-talt).

[skip-docs]: ren KB-korrektur, ingen endring i kommandoer/agenter/skills/hooks.
2026-08-13 22:47:39 +02:00
..
data feat(ms-ai-architect): #33 ratifisert — ankeret var renvasket, containeren var defekten, og sveip-eksponeringen var 1 streng ikke alle [skip-docs] 2026-08-13 22:47:39 +02:00
lib feat(ms-ai-architect): G7-ankere kan baere sin egen fil — klasse-entryen for de 42 er skrevet, og #17 og #14 er begge oppfylt 2026-08-11 22:23:13 +02:00
apply-o2-ratified.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
apply-skill-op.mjs feat(ms-ai-architect): Spor D steg 1 — apply regenererer hel-korpus score-cache post-mutasjon (TDD) [skip-docs] 2026-06-23 19:51:04 +02:00
build-gold-set.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
build-judge-payloads.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
build-sample-frame.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
check-g7-queue.mjs feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
check-o2-returns.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
classify-fix-ops.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
compute-base-rate.mjs feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs] 2026-06-26 17:15:54 +02:00
detect-skill-lifecycle.mjs feat(ms-ai-architect): Sesjon 15 — B2 K10 søsken-scope-ikke-overlapp 2026-06-20 11:59:59 +02:00
eval.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
extract-judge-claims.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-claim-prompt-v2.md feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
judge-claim-prompt-v3.1.md feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs] 2026-06-30 13:43:52 +02:00
judge-claim-prompt-v3.md feat(ms-ai-architect): judge-claim-prompt-v3 (R1-R7 mot 8 feilmoduser) — G4 lukket, G1 v3 forfattet [skip-docs] 2026-06-30 10:14:31 +02:00
judge-claim-prompt.md feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-pass-manifest.mjs feat(ms-ai-architect): per-fil judge-pass-manifest (appendJudgedFile + pendingFiles resume-skip, data/ git-tracked, TDD) [skip-docs] 2026-07-04 23:17:01 +02:00
judge-prompt.md feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
lint-gold-consistency.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
plan-skill-op.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
ref-file-audit.py docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript 2026-06-26 00:25:39 +02:00
run-judge-bakeoff.mjs feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
score-skill.mjs feat(ms-ai-architect): Spor D Steg B — skill-quality lifecycle-gate + score-cache (TDD) 2026-06-23 18:26:29 +02:00