ms-ai-architect/scripts/kb-eval
Kjell Tore Guttormsen 2ba3cee060 fix(ms-ai-architect): idx-26t arvet ikke #21 — premisset om «ordrett samme form» var usant
STATE sendte denne oekten inn med at idx-26t baerer «ordrett samme form som
idx-26w», og at #21 derfor trolig kunne anvendes uten ny ratifisering. Maalt mot
fila er det usant, og forskjellen er noeyaktig det #21 dreier seg om.

GROUND TRUTH, :732:
  «**Total sources cited:** 10 unike URLer fra MCP-research + tavily-research»
idx-26w leser «fra MCP-research» ALENE. STATEs gjengivelse droppet
«+ tavily-research». #21 fyrer kun der provenans-kvalifikatoren OVERKLAIMER;
her gjoer den det ikke, fordi den navngir web-research-benet som dekker
presis de URLene microsoft-learn-serveren ikke kan levere: a2a-protocol.org
(x2), linuxfoundation.org, developers.googleblog.com.

Uavhengig bekreftet FOER denne oekten maalte: idx-26w sin egen summary trakk
allerede denne kontrasten skriftlig, og navnga nabolinja som en som «does
cover its non-Learn sources». Tre kilder er enige.

URL-CENSUS, to populasjoner, kjoert og ikke resonnert:
  Kilder-seksjonen (:670-slutt): 11 forekomster, 11 distinkte — 7 Learn,
  2 a2a-protocol.org, 1 linuxfoundation.org, 1 googleblog — fordelt paa 10
  nummererte entries, der entry 8 baerer to URLer.
  Hele fila: 14 distinkte; de tre ekstra er kode-eksempel-verter
  (agents.nav.no, to example.com) som ingen lesning teller som kilder.
TELLINGEN ER 10 SOM KILDER OG 11 SOM UNIKE URLer, og linja sier «unike URLer»
mens den gir kildetallet. Defekten er tellingens REFERENT, ikke dens
provenans — en annen defekt enn idx-26w.

ALLE SEKS RATIFISERTE FORMER UTELUKKET, hver mot sitt eget uttalte vilkaar:
 #21 krever overklaimende kvalifikator (maalt usant).
 #22 klassifiserer linja som KEEP, ikke delete — og #22 antok at keep-klasse
     betyr avgjoerbar, noe denne linja falsifiserer: den er tellbar to ganger,
     til to ulike tall.
 #23 krever en mikset delete/keep-linje; her finnes ingen delete-halvdel.
 #24 krever en header-parentes. #25 krever en delete-klasse-telling inne i
     linja; det finnes ingen aa fjerne. #26 er scopet til en annen fil.

Ingen edit er gjort i korpus. Maalingen er bokfoert i idx-26t, status forblir
open, og saken gaar til operatoeren som ny ratifiseringsforespoersel — som
STATEs egen instruks foreskrev for nettopp dette utfallet.

Suite 1052/1052.
2026-08-12 21:38:26 +02:00
..
data fix(ms-ai-architect): idx-26t arvet ikke #21 — premisset om «ordrett samme form» var usant 2026-08-12 21:38:26 +02:00
lib feat(ms-ai-architect): G7-ankere kan baere sin egen fil — klasse-entryen for de 42 er skrevet, og #17 og #14 er begge oppfylt 2026-08-11 22:23:13 +02:00
apply-o2-ratified.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
apply-skill-op.mjs feat(ms-ai-architect): Spor D steg 1 — apply regenererer hel-korpus score-cache post-mutasjon (TDD) [skip-docs] 2026-06-23 19:51:04 +02:00
build-gold-set.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
build-judge-payloads.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
build-sample-frame.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
check-g7-queue.mjs feat(ms-ai-architect): G7 lukket som mekanisme — navngitt review-kø (form b), valgt på måling 2026-08-03 21:10:00 +02:00
check-o2-returns.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
classify-fix-ops.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
compute-base-rate.mjs feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs] 2026-06-26 17:15:54 +02:00
detect-skill-lifecycle.mjs feat(ms-ai-architect): Sesjon 15 — B2 K10 søsken-scope-ikke-overlapp 2026-06-20 11:59:59 +02:00
eval.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
extract-judge-claims.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-claim-prompt-v2.md feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
judge-claim-prompt-v3.1.md feat(ms-ai-architect): G5b gull-friskhets-spot-sjekk LUKKET — 4 v3-FP re-adjudert mot live, ALLE stale gull (v3 flagget korrekt), baseline løftet v3 P89.7/R92.1 → P100/R92.9/0FP; v3.1 forfattet (ren recall-hardning, FP-vakt droppet) [skip-docs] 2026-06-30 13:43:52 +02:00
judge-claim-prompt-v3.md feat(ms-ai-architect): judge-claim-prompt-v3 (R1-R7 mot 8 feilmoduser) — G4 lukket, G1 v3 forfattet [skip-docs] 2026-06-30 10:14:31 +02:00
judge-claim-prompt.md feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
judge-pass-manifest.mjs feat(ms-ai-architect): per-fil judge-pass-manifest (appendJudgedFile + pendingFiles resume-skip, data/ git-tracked, TDD) [skip-docs] 2026-07-04 23:17:01 +02:00
judge-prompt.md feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
lint-gold-consistency.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
plan-skill-op.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
ref-file-audit.py docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript 2026-06-26 00:25:39 +02:00
run-judge-bakeoff.mjs feat(ms-ai-architect): S1 v2 targeted iteration — GATE PASS (recall 84.2%, precision 84.2%) [skip-docs] 2026-06-26 21:23:50 +02:00
score-skill.mjs feat(ms-ai-architect): Spor D Steg B — skill-quality lifecycle-gate + score-cache (TDD) 2026-06-23 18:26:29 +02:00