open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 1 Activity

feat(ms-ai-architect): Spor 3 Port 3 (CT5) — deterministisk sourcedness erstatter LLM-samplet K8 [skip-docs]

Browse source 
§4 Port 3 verifiseringskrav: «CT5 (sourcedness) ERSTATTER K8s rolle». K8 var
LLM-judge (sample 5 ref-filer, ikke-deterministisk); CT5 er samme signal gjort
deterministisk + hel-korpus fra Port 1-kontrakten. Per ref-kb-direction-note §45
MÅ de ikke leve parallelt (dobbelttelling + divergerende dashbord) — så K8 er
fjernet, ikke duplisert.

eval.mjs: checkCT5(refFiles) — blant filer som deklarerer type:reference, andel
med **Source:** (template/methodology/regulatory ekskludert fra nevneren).
Wiret som deterministic.CT5_sourcedness. parseTypeHeader/parseSourceHeader
importert fra kb-update/lib/kb-headers (tillatt retning).

skill-score.mjs: K8-kriteriet (source:judge) → CT5 (source:det, vekt 1).
available:false når referenceFiles=0 → droppet fra vektet snitt → tanker IKKE
scoren på umigrert korpus (alarm-tretthet unngått, direction-note §45).

judge-prompt.md: K8 fjernet fra rubrikk/instruksjon/JSON (judgen gjør nå
K1/K4/K7/K9).

Ekte kjøring: alle 5 skills CT5 dormant (referenceFiles:0, umigrert), scorer
uendret (91-96, 0 under mål). CT5 aktiveres deterministisk når Spor 1 migrerer.

TDD (Iron Law): 5 checkCT5 + 3 CT5-integrasjon; død K8-fixture-data ryddet.
Suite 620/620. Plugin-validering 239/0/0.
This commit is contained in:
Kjell Tore Guttormsen 2026-06-29 15:10:14 +02:00
commit 75ee9ec062
7 changed files with 153 additions and 23 deletions
Download patch file Download diff file Expand all files Collapse all files

14
scripts/kb-eval/judge-prompt.md
View file

@ -1,19 +1,19 @@
# LLM-judge-rubrikk (K1/K4/K7/K8/K9) — skill-kvalitet, ms-ai-architect
# LLM-judge-rubrikk (K1/K4/K7/K9) — skill-kvalitet, ms-ai-architect
Pinnet rubrikk for de semantiske eval-kriteriene som ikke kan måles deterministisk.
Kjøres som operatør-gated subagent-steg (Opus, én dommer per skill). De deterministiske
kriteriene (K2/K3/K5/K6 + ref-tall) måles av `eval.mjs`; denne dekker resten.
kriteriene (K2/K3/K5/K6 + ref-tall + CT5 sourcedness) måles av `eval.mjs`; denne dekker
resten. (Sourcedness var tidligere LLM-samplet K8; nå deterministisk CT5 — se eval.mjs.)
Placeholders: `<NAME>` = skill-navn, `<ROOT>` = plugin-rot, `<PATH>` = sti til SKILL.md.
---
Du er en skill-kvalitets-dommer (LLM-as-judge) for ms-ai-architect. Vurder skillen
`<NAME>` mot K1/K4/K7/K8/K9. Plugin-rot: `<ROOT>`. SKILL.md: `<PATH>`. Referansefiler:
`<NAME>` mot K1/K4/K7/K9. Plugin-rot: `<ROOT>`. SKILL.md: `<PATH>`. Referansefiler:
`<ROOT>/skills/<NAME>/references/`.
Les SKILL.md i sin helhet. For K8: sample 5 tilfeldige referansefiler og les headeren deres.
Vær streng og adversariell — ikke ros, ikke pynt på tall.
Les SKILL.md i sin helhet. Vær streng og adversariell — ikke ros, ikke pynt på tall.
- **K1 trigger-presisjon:** last det operatør-kuraterte settet for `<NAME>` fra
`<ROOT>/scripts/kb-eval/data/k1-trigger-prompts.json` (nøkkel `<NAME>`: `in_domain` [10] +
@ -28,8 +28,6 @@ Vær streng og adversariell — ikke ros, ikke pynt på tall.
i SKILL.md body som dupliserer ref-filer? Gi konkret eksempel. pass = score ≥ 4.
- **K7 imperativ/instruksjons-stil:** sample 10 instruksjonssetninger fra body; andel i
imperativ/infinitiv. pass = ratio ≥ 0.80.
- **K8 kildehenvisning i ref-filer:** for 5 samplede ref-filer, har header `Last updated` /
`Verified` / kilde-URL? Rapporter andel. pass = ratio ≥ 0.80.
- **K9 ingen VOLATIL tid-sensitiv info i SKILL.md body:** finnes **volatile** påstander DIREKTE i body
(ikke i ref-filer) — GA/preview-release-status, modellversjoner, SLA-/ytelses-/pris-tall, regions-
tilgjengelighet? List funn. pass = ingen volatile funn. **Utenfor scope (ikke funn):** stabile
@ -40,5 +38,5 @@ Vær streng og adversariell — ikke ros, ikke pynt på tall.
RETURNER KUN dette JSON-objektet (ingen annen tekst, ingen markdown-fence):
```
{"skill":"<NAME>","K1_triggerPrecision":{"provisional":false,"inDomainHitRate":0.0,"outDomainFalsePositiveRate":0.0,"precision":0.0,"pass":false,"misclassified":[],"notes":""},"K4_noDuplication":{"score":0,"pass":false,"evidence":""},"K7_imperativeStyle":{"ratio":0.0,"pass":false,"notes":""},"K8_sourceCitation":{"ratio":0.0,"pass":false,"sampledFiles":[],"notes":""},"K9_noTimeSensitive":{"pass":false,"findings":[]}}
{"skill":"<NAME>","K1_triggerPrecision":{"provisional":false,"inDomainHitRate":0.0,"outDomainFalsePositiveRate":0.0,"precision":0.0,"pass":false,"misclassified":[],"notes":""},"K4_noDuplication":{"score":0,"pass":false,"evidence":""},"K7_imperativeStyle":{"ratio":0.0,"pass":false,"notes":""},"K9_noTimeSensitive":{"pass":false,"findings":[]}}
```