From b32580f7e15162cd2ade377ed158bce7d4ec3119 Mon Sep 17 00:00:00 2001 From: Kjell Tore Guttormsen Date: Sat, 20 Jun 2026 06:17:02 +0200 Subject: [PATCH] =?UTF-8?q?docs(ms-ai-architect):=20planlegg=20SPOR=20A-re?= =?UTF-8?q?stsesjoner=20(S8=E2=80=93S12)=20+=20beslutninger?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Operatør godkjente alle 4 anbefalinger (2026-06-20). Roadmap «SPOR A — gjenstående sesjoner»: S8 6×5-vekting · S9 K4+K9 sec+gov · S10 K9 eng+infra · S11 K1 · S12 lukk (full LLM-judge + ny baseline). Hver med verifiserbart kriterium + gated SKILL.md-skriving + LLM-judge for K4/K9/K1. STATE peker på S8 som START HER. Tasks #28-32. Implementering starter neste sesjon. Co-Authored-By: Claude Opus 4.8 (1M context) Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ --- docs/kb-mechanism-redesign-plan.md | 26 ++++++++++++++++++++++++++ 1 file changed, 26 insertions(+) diff --git a/docs/kb-mechanism-redesign-plan.md b/docs/kb-mechanism-redesign-plan.md index 18cbcaf..685963b 100644 --- a/docs/kb-mechanism-redesign-plan.md +++ b/docs/kb-mechanism-redesign-plan.md @@ -279,3 +279,29 @@ K1-presisjon (0,95–1,0) er **PROVISORISK** — operatør må kuratere 20 trigg 4. **K1 (trigger-presisjon):** PROVISORISK — operatør må kuratere 20 trigger-prompts/skill. Flagg: governance-description mangler Schrems II-trigger; advisor-description over-trigger mot søsken-kommandoer. **Spor B (senere, samme tema):** scheduled deteksjon · kurs-spor (task #25) · low-currency-bøtta (51 filer) · bredere `**Source:**`-backfill. + +--- + +## SPOR A — gjenstående sesjoner (PLANLAGT, operatør godkjente alle 4 anbefalinger 2026-06-20) + +De 4 beslutning-gated punktene er nå **avgjort** (operatør: «følger anbefalingene gjennomgående»): +1. **6×5-vekting → A:** den kanoniske rubrikken (`security-scoring-rubrics-6x5.md`, Compliance 25/Data 20/Identity 20/Content 15/Network 10/Mon 10) er autoritativ. `security-assessment-agent` bruker den allerede som OBLIGATORISK. SKILL.md slutter å gjengi vekttall (peker til rubrikken); den adaptive 3-profil-modellen (Standard / Eksternt eksponert / Persondata-intensiv) foldes inn i *rubrikk-fila* med **Standard = kanonisk**. +2. **K9 → pragmatisk:** volatil status (GA/preview/versjon/SLA-/perf-tall) ut av SKILL.md body → ref-filer (currency-mekanismen holder dem ferske). Stabile refs blir (MADR v3.0, forordningsår 2024/1689, filnavn, generisk forklarende «preview»). +3. **K4 → orient+rute:** body beholder *hva/når/hvilken-fil*; *hvordan* flyttes til ref-fil. +4. **K1:** fiks 2 descriptions nå (governance +Schrems II-trigger; advisor strammere mot over-trigging); draft 20 kandidat-prompts/skill for operatør-review → mål presisjon. + +**Rød tråd (operatør-validert):** #1/#2/#3 har felles rotårsak for security — body bærer tall som hører i ref-filene. Ett disiplinert body-pass per skill løser flere kriterier samtidig. + +**Verifiseringsmekanisme:** K4/K9/K1 dømmes av den **operatør-gated LLM-judgen** (`scripts/kb-eval/judge-prompt.md` → `data/judge-results.json`, merges av `eval.mjs`). Hver sesjon som rører disse kjører judgen (scoped til relevante skills/kriterier) FØR ferdig-erklæring. Deterministiske kriterier (K2/K3/K5/K6/refTall) skal **aldri** regrederes (`eval --json` = akseptansemål). + +| Sesjon | Leveranse | Verifiserbart kriterium | +|---|---|---| +| **8** | **6×5-vekting (#1).** Fold adaptive workload-varianter inn i `security-scoring-rubrics-6x5.md` (Standard = kanonisk; foreslå eksakte varianttall, gated). Fjern divergerende vekttabell fra security SKILL.md → peker til rubrikken (behold risikoklassifiserings-tabellen — den er stabil). | `grep` security SKILL.md: ingen 3-kolonne-vekttabell med divergerende tall; rubrikken har én Standard + dokumenterte varianter; agent+skill peker samme kilde. `eval --json`: refTall/K5/K3 ikke regredert · validate 239 · kb-integrity grønt. **Antakelse testet:** ingen kode/test asserter SKILL.md-vekttallene (agenten bruker rubrikken — verifisert i S7-diskusjon; bekreft med `grep -r` på vekttallene før sletting). | +| **9** | **K4+K9 body-cleanup: security + governance** (begge feiler begge kriteriene). Tynn dupliserte avsnitt → pekere; flytt volatil status → ref. Gated forslag per skill FØR endring. | LLM-judge: **K4 ≥4/5 OG K9 PASS** for sec+gov. `eval --json`: K5/K3/refTall ikke regredert · kb-integrity (alle refs resolver) · validate 239. **Antakelse:** flyttet innhold finnes ALLEREDE i en ref-fil — verifiser FØR sletting fra body (ellers skriv ref-fil først, gated). | +| **10** | **K9-destale: engineering + infrastructure** (feiler kun K9). Volatil status ut av body. Gated forslag FØR endring. | LLM-judge: **K9 PASS** eng+infra. `eval --json` ikke regredert · validate 239. | +| **11** | **K1 (#4).** (a) 2 description-fikser: governance +Schrems II-trigger; advisor strammere (foreslå ordlyd, gated — K2-format må holdes). (b) draft 20 kandidat-prompts/skill → operatør-review → mål presisjon via judge. | LLM-judge **K1 ≥90 % treff / ≤10 % falske** for alle 5 (eller dokumentert avvik m/ begrunnelse) · K2 (description-format) fortsatt PASS etter edits. | +| **12** | **Lukk SPOR A.** Full LLM-judge re-run (K1/K4/K7/K8/K9) alle 5 → bekreft alle kriterier PASS → skriv ny `eval-baseline.json` (operatør-gated `--write`). (Kan foldes inn i S11 hvis lett.) | `eval-baseline.json`: ingen åpen eval-FAIL på tvers av K1–K9 for de 5 skills. STATE: SPOR A FERDIG → Spor B neste. | + +**Invariant gjennom alle sesjoner:** SKILL.md-/rubrikk-skriving er **gated** (presenter forslag FØR endring, som K5 i S7). Subagenter committer ALDRI. Validate + relevante tester grønne før commit. Push i vindu (hverdag 20–23 / helg fritt / operatør-go). Verifiseringsplikt: flyttet/endret fakta verifiseres mot kilde før skriving. + +**Etter SPOR A → Spor B:** scheduled deteksjon + siste integrasjon · kurs-spor (task #25) · low-currency-bøtta (51) · bredere `**Source:**`-backfill · onboarding-redesign (task #26, egen godkjenning).