open/ms-ai-architect
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions

feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs]

Browse source 
§4 Port 3 verifiseringskrav: «CT5 (sourcedness) ERSTATTER K8s rolle». K8 var
LLM-judge (sample 5 ref-filer, ikke-deterministisk); CT5 er samme signal gjort
deterministisk + hel-korpus fra Port 1-kontrakten. Per ref-kb-direction-note §45
MÅ de ikke leve parallelt (dobbelttelling + divergerende dashbord) — så K8 er
fjernet, ikke duplisert.

eval.mjs: checkCT5(refFiles) — blant filer som deklarerer type:reference, andel
med **Source:** (template/methodology/regulatory ekskludert fra nevneren).
Wiret som deterministic.CT5_sourcedness. parseTypeHeader/parseSourceHeader
importert fra kb-update/lib/kb-headers (tillatt retning).

skill-score.mjs: K8-kriteriet (source:judge) → CT5 (source:det, vekt 1).
available:false når referenceFiles=0 → droppet fra vektet snitt → tanker IKKE
scoren på umigrert korpus (alarm-tretthet unngått, direction-note §45).

judge-prompt.md: K8 fjernet fra rubrikk/instruksjon/JSON (judgen gjør nå
K1/K4/K7/K9).

Ekte kjøring: alle 5 skills CT5 dormant (referenceFiles:0, umigrert), scorer
uendret (91-96, 0 under mål). CT5 aktiveres deterministisk når Spor 1 migrerer.

TDD (Iron Law): 5 checkCT5 + 3 CT5-integrasjon; død K8-fixture-data ryddet.
Suite 620/620. Plugin-validering 239/0/0.
This commit is contained in:
Kjell Tore Guttormsen 2026-06-29 15:10:14 +02:00
commit 75ee9ec062
7 changed files with 153 additions and 23 deletions
Download patch file Download diff file Expand all files Collapse all files

14
scripts/kb-eval/lib/skill-score.mjs
View file

@ -109,12 +109,16 @@ export const CRITERIA = [
},
},
{
key: 'K8', label: 'kildehenvisning refs', weight: 1, floor: false, source: 'judge',
fix: 'Legg dated/Verified-header eller kilde-URL i ref-filene (≥0.80 andel).',
// CT5 — sourcedness (deterministic, whole-corpus). REPLACES the LLM-sampled
// K8 (same signal; must not run in parallel — ref-kb-direction-note §45).
// Dormant (available:false) until Port 1 migration declares reference types,
// so it never tanks the score on an unmigrated corpus.
key: 'CT5', label: 'sourcedness refs', weight: 1, floor: false, source: 'det',
fix: 'Gi ref-filene **Source:**-URL (Port 1-kontrakt) — ≥0.80 andel av type:reference-filer.',
read: (e) => {
const j = e.judge?.K8_sourceCitation;
if (!j) return { available: false };
return { available: true, sub: clamp01(num(j.ratio)), pass: !!j.pass, detail: `ratio ${num(j.ratio)}` };
const k = e.deterministic?.CT5_sourcedness;
if (!k || !k.referenceFiles) return { available: false };
return { available: true, sub: clamp01(num(k.ratio)), pass: !!k.pass, detail: `${num(k.sourced)}/${num(k.referenceFiles)} sourced` };
},
},
{