ms-ai-architect/tests/kb-eval
Kjell Tore Guttormsen c0f10618da feat(ms-ai-architect): OKF-konsum-cutter mot konsum-kontraktens §4, målt [skip-docs]
Deterministisk halvdel av konsum-skillen (ordre 20260826T123330Z-1842820111):
tokenisering, feltvekting, mekanisk supersesjonsregel og budsjett-kutt med
[unread]-kvittering mot hele kandidatnevneren. Eval-driver mot bake-off-korpuset.

Målt, budsjett 12 000 tegn, nevner 40 gullspørsmål:
  B1 kun indekslabel        6/40   feller 4/20
  B2 konform strategi      12/40   feller 0/20
  B3 kontroll uten OKF     12/40   feller 1/20
  B2+/B3+ (POST-HOC)       13/40 / 14/40

B2 == B3 er R3, den ene forhåndsregistrerte sammenligningen: med denne rangereren
gir OKF-metadataen ingen målbar gevinst på primærmetrikken. Differansen mot
bake-offens A3 (40/40, forfatter-informert velger = øvre grense) tilskrives per
låst regel R5 RANGEREREN, ikke OKF som teknologi.

Instrumentvalidering reproduserer eksakt: A1=31343, A2a=2884, hele bundlen=45580.
Suite 1097/1097 (1070 sporet + 27 nye). Negativ kontroll kjørt: tre mutasjoner i
bundle-cut.mjs, alle drept (1/1/3 feil), treet restaurert byte-identisk.

Konformitet mot §4: 8 av 10 oppfylt, punkt 3 delvis (falsifisering ikke skrevet
før kjøring), punkt 5 ikke oppfylt (markeringssett ikke deklarert).

[skip-docs]: ren intern måle- og evalueringsmekanikk. Ingen ny kommando, agent
eller skill; ingen brukervendt flate endret, så README/CLAUDE.md er uberørt.
2026-08-27 12:13:03 +02:00
..
test-apply-o2-ratified.test.mjs fix(ms-ai-architect): R11 — første korpus-edit; 4 ratifiserte O2-subtraksjoner anvendt (idx 17, 19, 33, 14-redusert) 2026-08-03 20:40:08 +02:00
test-apply-score-cache.test.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
test-base-rate.test.mjs feat(ms-ai-architect): Fase 0 steg 2 — verifiserings-fan-out (373 påstander) + gull-sett m/ deterministisk lastmod-join + TDD [skip-docs] 2026-06-26 15:16:10 +02:00
test-build-judge-payloads.test.mjs feat(ms-ai-architect): R7.1 — build-judge-payloads får --claims <path> (per-batch korpus-manifest, TDD; default = bakeoff-manifestet uendret) [skip-docs] 2026-07-18 11:16:22 +02:00
test-build-sample-frame.test.mjs feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs] 2026-06-26 14:18:53 +02:00
test-eval.test.mjs test(ms-ai-architect): Spor 1 — akseptansetester (residual scoped, worklist-aktivering, CT5/N4, poison-doc) [skip-docs] 2026-07-04 09:25:44 +02:00
test-fix-op-classify.test.mjs feat(ms-ai-architect): R11 §4b implementert — status-synonymtabellen målt, 8 forslag hånd-dømt [skip-docs] 2026-08-03 17:13:05 +02:00
test-g7-queue.test.mjs feat(ms-ai-architect): G7-ankere kan baere sin egen fil — klasse-entryen for de 42 er skrevet, og #17 og #14 er begge oppfylt 2026-08-11 22:23:13 +02:00
test-gold-consistency.test.mjs feat(ms-ai-architect): G3 gull-intern-konsistens-lint + G4 build-instruks-policy — §8 gap-lukk [skip-docs] 2026-06-30 09:55:15 +02:00
test-judge-bakeoff.test.mjs feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs] 2026-06-26 20:10:58 +02:00
test-judge-pass-manifest.test.mjs docs(ms-ai-architect): R11-flaggformat-spec + valideringstest (judge-output + augmentering) [skip-docs] 2026-07-04 23:24:06 +02:00
test-k10-sibling-overlap.test.mjs feat(ms-ai-architect): Spor D steg A — eng+infra K10-fix → korpus-invariant ≥90 oppfylt 2026-06-23 17:56:43 +02:00
test-o2-return-check.test.mjs feat(ms-ai-architect): reproduserbar V1/V2/V2b-sjekk av O2-returene (25 tester) [skip-docs] 2026-08-03 17:40:02 +02:00
test-okf-bundle-cut.test.mjs feat(ms-ai-architect): OKF-konsum-cutter mot konsum-kontraktens §4, målt [skip-docs] 2026-08-27 12:13:03 +02:00
test-score-skill.test.mjs feat(ms-ai-architect): Spor D steg 2 — score-skill CLI (--json/--gate/--skill) (TDD) 2026-06-23 17:16:44 +02:00
test-skill-lifecycle-detect.test.mjs feat(ms-ai-architect): Sesjon 14 — B1 fullført (coverage/gap + bloat/stale) [skip-docs] 2026-06-20 11:34:57 +02:00
test-skill-ops-apply.test.mjs feat(ms-ai-architect): Sesjon 19 — B3 merge-apply (cross-skill + taksonomi-persist) [skip-docs] 2026-06-20 20:54:13 +02:00
test-skill-ops-create.test.mjs feat(ms-ai-architect): Sesjon 20 — B3 create_skill (dvelende, konstruktiv op) [skip-docs] 2026-06-20 21:37:19 +02:00
test-skill-ops-merge-apply.test.mjs feat(ms-ai-architect): Sesjon 19 — B3 merge-apply (cross-skill + taksonomi-persist) [skip-docs] 2026-06-20 20:54:13 +02:00
test-skill-ops-merge.test.mjs feat(ms-ai-architect): Sesjon 16 — B3 ledger action-lag + merge_skills dry-run-planner 2026-06-20 17:10:33 +02:00
test-skill-ops-sanitize-retire.test.mjs feat(ms-ai-architect): Sesjon 17 — B3 sanitize_skill + retire_skill dry-run-planners [skip-docs] 2026-06-20 17:45:37 +02:00
test-skill-score-gate.test.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
test-skill-score.test.mjs feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs] 2026-06-29 15:10:14 +02:00
test-transform-criterion.test.mjs feat(ms-ai-architect): Spor 1 — Port-1-substrat migrert på 4 ikke-advisor-skills (243 Source + 327 Type + 325 TOC + stale-verified poison fjernet) [skip-docs] 2026-07-04 10:19:11 +02:00