ms-ai-architect/scripts/kb-eval
Kjell Tore Guttormsen 02b9c2a9ec feat(ms-ai-architect): de 29 umaalte idx-33-kandidatene adjudisert mot levende kilder - kilde per PASSASJE avgjorde [skip-docs]
Ordre 20260825T063639Z-3599226074. Ren adjudiseringsokt: ingen KB-fil rort,
anvendelse er en senere ordre.

Populasjon bekreftet som forste maling, ikke arvet: nettet har 51 kandidater,
17 med stage-2-verdikt; av de 34 uten hadde 5 alt dom fra 18.08-runden.
34 - 5 = 29. Alle 29 adjudisert, ingen utvalg, ingen utsatt.

Utfall over 29: 19 kildetro - 5 medlemmer (gren A: idx-33m/n/p, gren B:
idx-33l/o) - 4 av annen klasse (idx-33q/r/s = samme window-size-feil i tre
filer; idx-33t = droppet kvalifikator) - 0 ikke avgjorbare - 1 ikke en
paastandspassasje (cost-models Versjonshistorikk). idx-33u kom ut av en
kandidat som selv ble kildetro.

Det nye steget bar hele okten. For hver kandidat ble kilden fastslatt paa
SEKSJONSNIVA for henting. Tre ganger pekte fila selv feil vei:
ai-prompt-shield-network (samme fil som idx-33i - APIM-attributter hviler paa
llm-content-safety-policy, ikke paa jailbreak-detection), custom-dashboards
(RBAC attribuert til workbooks-automate, som ikke har noen RBAC-seksjon ->
idx-33u), og model-versioning (ingen av filas syv kilder dekker
online-endpoint-auth i det hele tatt -> idx-33t).

Falske positive maalt med nevner: det flaggede ordet var selv defektstedet i
2 av 29. I de 27 andre var det kildens EGET "only", en produktnavn-kollisjon,
en infinitiv "for aa", et treff over setnings-/linjegrense, eller et
sporsmaal i et beslutningstre. Sju av de 27 bar likevel en defekt et annet
sted i passasjen. Sveipet lokaliserer; det adjudiserer aldri (#33).

Maalt bifunn, latt staa apent med vilje: populasjonsregelen lekker naar
naermeste overskrift er en underoverskrift ("### Microsoft Learn (Verified
via MCP)") i stedet for seksjonsoverskriften ("## Kilder og verifisering").
Fem av de 29 kom inn slik; fire ble kildetro, den femte er idx-33o.

Koa: 69 -> 79 entries (16 apne / 63 resolved). Diff 121 tillegg / 0
slettinger - ingen reformatering. check-g7-queue 0 drift, suite 1052/1052.

_meta.ratified_forms["#34"] er BEVISST IKKE ROERT - den apne
operatorbeslutningen om idx-33i i GOVERNS staar.
2026-08-25 09:04:12 +02:00
..
data feat(ms-ai-architect): de 29 umaalte idx-33-kandidatene adjudisert mot levende kilder - kilde per PASSASJE avgjorde [skip-docs] 2026-08-25 09:04:12 +02:00
lib feat(ms-ai-architect): G7-ankere kan baere sin egen fil — klasse-entryen for de 42 er skrevet, og #17 og #14 er begge oppfylt 2026-08-11 22:23:13 +02:00
apply-o2-ratified.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
apply-skill-op.mjs feat(ms-ai-architect): Spor D steg 1 — apply regenererer hel-korpus score-cache post-mutasjon (TDD) [skip-docs] 2026-06-23 19:51:04 +02:00
build-gold-set.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
build-judge-payloads.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
build-sample-frame.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
check-g7-queue.mjs feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
check-o2-returns.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
classify-fix-ops.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
compute-base-rate.mjs feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs] 2026-06-26 17:15:54 +02:00
detect-skill-lifecycle.mjs feat(ms-ai-architect): Sesjon 15 — B2 K10 søsken-scope-ikke-overlapp 2026-06-20 11:59:59 +02:00
eval.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
extract-judge-claims.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-claim-prompt-v2.md feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
judge-claim-prompt-v3.1.md feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs] 2026-06-30 13:43:52 +02:00
judge-claim-prompt-v3.md feat(ms-ai-architect): judge-claim-prompt-v3 (R1-R7 mot 8 feilmoduser) — G4 lukket, G1 v3 forfattet [skip-docs] 2026-06-30 10:14:31 +02:00
judge-claim-prompt.md feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-pass-manifest.mjs feat(ms-ai-architect): per-fil judge-pass-manifest (appendJudgedFile + pendingFiles resume-skip, data/ git-tracked, TDD) [skip-docs] 2026-07-04 23:17:01 +02:00
judge-prompt.md feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
lint-gold-consistency.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
plan-skill-op.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
ref-file-audit.py docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript 2026-06-26 00:25:39 +02:00
run-judge-bakeoff.mjs feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
score-skill.mjs feat(ms-ai-architect): Spor D Steg B — skill-quality lifecycle-gate + score-cache (TDD) 2026-06-23 18:26:29 +02:00