ms-ai-architect/scripts/kb-eval
Kjell Tore Guttormsen 554cd418eb feat(ms-ai-architect): anvend form #35 paa alle fire medlemmene - korpus-bredt maalt foerst [skip-docs]
Ordre 20260825T112900Z-3603318296. Form #35 (motsier-kilden) anvendt paa
idx-33k, idx-33q, idx-33r og idx-33s. 9 hel-linje-editer i 4 KB-filer, alle
mot fersk microsoft-learn-henting 2026-08-25, med stempeldatoen flyttet i
samme edit.

KORPUS-BRED MAALING FOERST, MED NEVNER (#35s foedselsregel):
- llm-content-safety-policy: 8 filer siterer sida, 3 baerer en window-size-
  paastand, 3 av 3 bar defekten. De 5 oevrige ble lest, ikke bare telt -
  ingen har en window-size-rad. Tredje, ulikt blindt nett ("vindu" uten
  "window-size") fant null nye. Nettet validert mot kjent-positiv foerst.
- action-groups: 3 treff, alle i EN fil. Nevner 1 fil / 1 passasje, 1 bar
  defekten. Andre nett (managed identity x action-type-vokabular) enig paa 1.

REPARASJONER:
- idx-33k alerting-strategies-escalation 76 + 84: Azure Function stoetter
  managed identity (kilden: Yes, "Function App authorization"). BEGGE steder,
  som #35 krever. Aa flytte Azure Function ut av negativ-lista foreldreloest
  dens egen remedie ("HTTP trigger access key"), saa remedie-klausulen ble
  fullfoert til en 1:1-avbildning over de tre som staar igjen - hvert ledd
  fra samme henting og alt allerede asserteret i filas egen tabell.
- idx-33q/r/s: default-vinduet 10 000 -> 1 000 tegn for responser.

MAALT FUNN - REPARASJONEN VAR SELV-INVALIDERENDE I TO AV TRE. "for requests
brukes alltid default" var sann bare mens fila trodde default var 10 000. Aa
bytte tallet alene ville gjort halen til en NY motsigelse (1 000 for requests).
Halen baerer naa kildens egen verdi. Entryens frikjennelse av "andre halvdel"
gjaldt kun foerste klausul; ordrens smalere formulering var den riktige.

MAALT FUNN - ETT STEMPEL-MAAL VAR IKKE UNIKT. "*(Verified MCP 2026-04)*" staar
to ganger i alerting-strategies-escalation (82 og 249, ulike kilder). En hel-
linje-erstatning ville re-stemplet en usjekket passasje. Linjenummer-forankret
edit med hel-linje-guard; 249 verifisert uroert etterpaa.

BEVISST IKKE ROERT: idx-33t, idx-33u, idx-33v, idx-33d, idx-33i (ankervakt),
idx-18, idx-26ar, idx-26as, _meta.ratified_forms, window-size="8000" i
outbound-eksempel (lovlig konfigurert verdi), playground-vendoring, versjonsbump.

Koea: 80 entries (8 aapne / 72 resolved). Gate: check-g7-queue 0 drift,
suite 1052/1052.

[skip-docs]: rene KB- og koe-endringer; ingen kommandoer, agenter, skills,
hooks eller ref-doc-antall endret.
2026-08-25 13:51:33 +02:00
..
data feat(ms-ai-architect): anvend form #35 paa alle fire medlemmene - korpus-bredt maalt foerst [skip-docs] 2026-08-25 13:51:33 +02:00
lib feat(ms-ai-architect): G7-ankere kan baere sin egen fil — klasse-entryen for de 42 er skrevet, og #17 og #14 er begge oppfylt 2026-08-11 22:23:13 +02:00
apply-o2-ratified.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
apply-skill-op.mjs feat(ms-ai-architect): Spor D steg 1 — apply regenererer hel-korpus score-cache post-mutasjon (TDD) [skip-docs] 2026-06-23 19:51:04 +02:00
build-gold-set.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
build-judge-payloads.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
build-sample-frame.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
check-g7-queue.mjs feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
check-o2-returns.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
classify-fix-ops.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
compute-base-rate.mjs feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs] 2026-06-26 17:15:54 +02:00
detect-skill-lifecycle.mjs feat(ms-ai-architect): Sesjon 15 — B2 K10 søsken-scope-ikke-overlapp 2026-06-20 11:59:59 +02:00
eval.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
extract-judge-claims.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-claim-prompt-v2.md feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
judge-claim-prompt-v3.1.md feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs] 2026-06-30 13:43:52 +02:00
judge-claim-prompt-v3.md feat(ms-ai-architect): judge-claim-prompt-v3 (R1-R7 mot 8 feilmoduser) — G4 lukket, G1 v3 forfattet [skip-docs] 2026-06-30 10:14:31 +02:00
judge-claim-prompt.md feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-pass-manifest.mjs feat(ms-ai-architect): per-fil judge-pass-manifest (appendJudgedFile + pendingFiles resume-skip, data/ git-tracked, TDD) [skip-docs] 2026-07-04 23:17:01 +02:00
judge-prompt.md feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
lint-gold-consistency.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
plan-skill-op.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
ref-file-audit.py docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript 2026-06-26 00:25:39 +02:00
run-judge-bakeoff.mjs feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
score-skill.mjs feat(ms-ai-architect): Spor D Steg B — skill-quality lifecycle-gate + score-cache (TDD) 2026-06-23 18:26:29 +02:00