Kjell Tore Guttormsen
75ee9ec062
§4 Port 3 verifiseringskrav: «CT5 (sourcedness) ERSTATTER K8s rolle». K8 var LLM-judge (sample 5 ref-filer, ikke-deterministisk); CT5 er samme signal gjort deterministisk + hel-korpus fra Port 1-kontrakten. Per ref-kb-direction-note §45 MÅ de ikke leve parallelt (dobbelttelling + divergerende dashbord) — så K8 er fjernet, ikke duplisert. eval.mjs: checkCT5(refFiles) — blant filer som deklarerer type:reference, andel med **Source:** (template/methodology/regulatory ekskludert fra nevneren). Wiret som deterministic.CT5_sourcedness. parseTypeHeader/parseSourceHeader importert fra kb-update/lib/kb-headers (tillatt retning). skill-score.mjs: K8-kriteriet (source:judge) → CT5 (source:det, vekt 1). available:false når referenceFiles=0 → droppet fra vektet snitt → tanker IKKE scoren på umigrert korpus (alarm-tretthet unngått, direction-note §45). judge-prompt.md: K8 fjernet fra rubrikk/instruksjon/JSON (judgen gjør nå K1/K4/K7/K9). Ekte kjøring: alle 5 skills CT5 dormant (referenceFiles:0, umigrert), scorer uendret (91-96, 0 under mål). CT5 aktiveres deterministisk når Spor 1 migrerer. TDD (Iron Law): 5 checkCT5 + 3 CT5-integrasjon; død K8-fixture-data ryddet. Suite 620/620. Plugin-validering 239/0/0.
2.9 KiB
2.9 KiB
LLM-judge-rubrikk (K1/K4/K7/K9) — skill-kvalitet, ms-ai-architect
Pinnet rubrikk for de semantiske eval-kriteriene som ikke kan måles deterministisk.
Kjøres som operatør-gated subagent-steg (Opus, én dommer per skill). De deterministiske
kriteriene (K2/K3/K5/K6 + ref-tall + CT5 sourcedness) måles av eval.mjs; denne dekker
resten. (Sourcedness var tidligere LLM-samplet K8; nå deterministisk CT5 — se eval.mjs.)
Placeholders: <NAME> = skill-navn, <ROOT> = plugin-rot, <PATH> = sti til SKILL.md.
Du er en skill-kvalitets-dommer (LLM-as-judge) for ms-ai-architect. Vurder skillen
<NAME> mot K1/K4/K7/K9. Plugin-rot: <ROOT>. SKILL.md: <PATH>. Referansefiler:
<ROOT>/skills/<NAME>/references/.
Les SKILL.md i sin helhet. Vær streng og adversariell — ikke ros, ikke pynt på tall.
- K1 trigger-presisjon: last det operatør-kuraterte settet for
<NAME>fra<ROOT>/scripts/kb-eval/data/k1-trigger-prompts.json(nøkkel<NAME>:in_domain[10] +out_of_domain[10]). IKKE generer egne prompts. For HVER prompt, avgjør KUN fradescription-feltet i<PATH>om skillen burde trigge (ignorer body, ref-filer og intent). Scoring: enin_domain-prompt er en TREFF hvis den trigger; enout_of_domain-prompt er en FALSK POSITIV hvis den trigger. RapporterinDomainHitRate(treff/10),outDomainFalsePositiveRate(falske positive/10), samletprecision(korrekte/20) ogmisclassified(list de feilklassifiserte promptene + hvorfor). Settet er operatør-kuratert → settprovisional=false. pass =inDomainHitRate ≥ 0.90OGoutDomainFalsePositiveRate ≤ 0.10. - K4 ingen duplisering (SKILL.md ↔ ref-filer): score 1–5 (5 = ingen duplisering). Finnes detalj i SKILL.md body som dupliserer ref-filer? Gi konkret eksempel. pass = score ≥ 4.
- K7 imperativ/instruksjons-stil: sample 10 instruksjonssetninger fra body; andel i imperativ/infinitiv. pass = ratio ≥ 0.80.
- K9 ingen VOLATIL tid-sensitiv info i SKILL.md body: finnes volatile påstander DIREKTE i body (ikke i ref-filer) — GA/preview-release-status, modellversjoner, SLA-/ytelses-/pris-tall, regions- tilgjengelighet? List funn. pass = ingen volatile funn. Utenfor scope (ikke funn): stabile identifikatorer som forordningsår (2024/1689), lovsaksnr (C-311/18), standard-versjonsnavn (OWASP LLM Top 10 2025, MADR v3.0), filnavn og generisk forklarende «preview»/«GA» uten konkret produkt-status. Disse er navngitte identifikatorer, ikke ferskhets-sensitive påstander.
RETURNER KUN dette JSON-objektet (ingen annen tekst, ingen markdown-fence):
{"skill":"<NAME>","K1_triggerPrecision":{"provisional":false,"inDomainHitRate":0.0,"outDomainFalsePositiveRate":0.0,"precision":0.0,"pass":false,"misclassified":[],"notes":""},"K4_noDuplication":{"score":0,"pass":false,"evidence":""},"K7_imperativeStyle":{"ratio":0.0,"pass":false,"notes":""},"K9_noTimeSensitive":{"pass":false,"findings":[]}}