ms-ai-architect/scripts/kb-eval
Kjell Tore Guttormsen 9820f6c945 fix(ms-ai-architect): §9.15-rettelse — «45» var et gulv, og min egen sveip bar defekten den nettopp navnga
Sveipen som produserte 45 krevde at feltetiketten selv inneholder «MCP». En
telling hvis etikett mangler ordet er usynlig for den — nøyaktig dialekt-blindheten
§9.15 har som hovedlærdom, i sveipen som skulle rette den.

Etikett-fri sveip + haandklassifisering: 2 falske positive, 3 ekte til. Pluss
ai-risk-taxonomy-classification.md:458, en sifferloes overskrift («### MCP Calls
Summary») hvis telling staar i BLOKK-form under — en strukturell form ingen
linjebasert sveip kan enumerere.

Korrigert: >= 48 ekte linjer, og tallet er et GULV, ikke en maaling. Tre former
slapp unna: telling under etikett uten «MCP» (**Totalt:**), telling i blokk under
sifferloes overskrift, telling gjentatt i prosa.

To funn som endrer neste oekts oppdrag:
- Slettingen er ikke selv-fullfoerende. inferencing-optimization-caching.md
  oppgir 12 i footeren og GJENTAR det i prosa 24 linjer under. Kontrollert for
  denne oekten: ingen av de sju filene har slik rest. Men formen maa heretter
  kreve et rest-soek per fil.
- «Alle avvik gaar samme vei» har naa en kandidat-motsigelse.
  chain-of-thought-prompting.md:500 oppgir 4 over en liste med 3 verktoeykall —
  oppgitt > enumerert, motsatt vei, og utenfor populasjonen som ga «aatte av
  aatte». Retningsargumentet maa re-maales foer det siteres igjen.

Ogsaa: idx-26l sin stempel-paastand var UMAALT da den ble skrevet. Naa maalt og
den holder (ingen seksjonsterminale stempler i fila; de fire markoerene er
**Last updated:** paa l.5, inline *(Verified MCP 2026-04)* paa 729/738/739 knyttet
til enkeltkilder, og en overskrift paa 758 som staar ETTER footeren). Ordlyden er
strammet til aa foere maalingen, og at den kom i etterkant er navngitt — en
resolved entry er unntatt ankersjekk, saa ingenting ville noen gang fanget en
falsk faktapaastand inni en.

Suite: 15/15 paa g7-queue.
2026-08-09 14:51:05 +02:00
..
data fix(ms-ai-architect): §9.15-rettelse — «45» var et gulv, og min egen sveip bar defekten den nettopp navnga 2026-08-09 14:51:05 +02:00
lib feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
apply-o2-ratified.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
apply-skill-op.mjs feat(ms-ai-architect): Spor D steg 1 — apply regenererer hel-korpus score-cache post-mutasjon (TDD) [skip-docs] 2026-06-23 19:51:04 +02:00
build-gold-set.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
build-judge-payloads.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
build-sample-frame.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
check-g7-queue.mjs feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
check-o2-returns.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
classify-fix-ops.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
compute-base-rate.mjs feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs] 2026-06-26 17:15:54 +02:00
detect-skill-lifecycle.mjs feat(ms-ai-architect): Sesjon 15 — B2 K10 søsken-scope-ikke-overlapp 2026-06-20 11:59:59 +02:00
eval.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
extract-judge-claims.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-claim-prompt-v2.md feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
judge-claim-prompt-v3.1.md feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs] 2026-06-30 13:43:52 +02:00
judge-claim-prompt-v3.md feat(ms-ai-architect): judge-claim-prompt-v3 (R1-R7 mot 8 feilmoduser) — G4 lukket, G1 v3 forfattet [skip-docs] 2026-06-30 10:14:31 +02:00
judge-claim-prompt.md feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-pass-manifest.mjs feat(ms-ai-architect): per-fil judge-pass-manifest (appendJudgedFile + pendingFiles resume-skip, data/ git-tracked, TDD) [skip-docs] 2026-07-04 23:17:01 +02:00
judge-prompt.md feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
lint-gold-consistency.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
plan-skill-op.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
ref-file-audit.py docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript 2026-06-26 00:25:39 +02:00
run-judge-bakeoff.mjs feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
score-skill.mjs feat(ms-ai-architect): Spor D Steg B — skill-quality lifecycle-gate + score-cache (TDD) 2026-06-23 18:26:29 +02:00