docs(ms-ai-architect): Sesjon 9 SPOR A-resultater i roadmap + STATE
Sesjon 9 RESULTATER i roadmap (metode, per-skill-endringer, S10-binding) + S9-rad i PLANLAGT-tabellen merket FERDIG. STATE peker paa Sesjon 10 (K9-destale engineering + infrastructure) som neste. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
This commit is contained in:
parent
c4230d2e88
commit
a9ff401b6e
1 changed files with 22 additions and 1 deletions
|
|
@ -300,6 +300,27 @@ K1-presisjon (0,95–1,0) er **PROVISORISK** — operatør må kuratere 20 trigg
|
|||
|
||||
---
|
||||
|
||||
## Sesjon 9 (SPOR A — K4+K9 body-cleanup: security + governance) — RESULTATER (FERDIG, 2026-06-20)
|
||||
|
||||
**Begge S9-kriterier møtt for begge skills** (operatør-gated LLM-judge, fersk kald re-judge): security **K4 5/5 PASS · K9 PASS**; governance **K4 5/5 PASS · K9 PASS**. Deterministisk ikke regredert — faktisk forbedret: **validate 239 · kb-eval 15 · kb-update 122 · kb-integrity 192/182→192/192** (opp fra 182). gitleaks: 3 pre-eksisterende i `playground/vendor/` (utenfor changeset). Body krympet: security K3 203→191, governance K3 304→289; K5 sec 16→20 / gov 24→25 (full-sti-pekere fanges nå).
|
||||
|
||||
**Metode (verifiseringspliktig):** to parallelle read-only verifiserings-agenter kartla FØR sletting hvor hvert body-faktum bor i ref-filer (PRESENT/PARTIAL/ABSENT). Funn styrte hva som ble *flyttet* (alt i ref), *droppet* (uverifiserte tall) eller *beholdt* (unik/stabil logikk).
|
||||
|
||||
**Security (operatør-gated, 5 endringer):**
|
||||
- **K9:** Defender GA/preview/Azure-Gov-status → peker (alt verbatim i `defender-threat-protection-ai-services.md`). §3 ytelse: droppet **uverifiserte** tall (20-50ms, 5-10x, 80 % latens — fantes INGEN steder) + Batch/caching → pekere til faktiske ref-tall. GPT-4o-par → generisk. PTU «60-70 %» → ref. OWASP «2025» beholdt (stabil standard-versjon).
|
||||
- **K4:** risikoklassifiserings-tabellen (DIVERGERTE: 6 bånd vs 5, manglet «Uakseptabel») → peker til kanonisk rubrikk (operatør-godkjent, S8-konsistent). **Re-judge avdekket NY divergens:** P10/P50/P90-tabellen (flat ×0.6/×1.8) motsa kanonisk per-komponent-modell i `deterministic-cost-calculation-model.md` (agentens OBLIGATORISK-kilde). Antakelse-test bestått (ingenting asserter body-multiplikatorene) → tynnet til peker (samme klasse som S8-vekt + risikotabell). K4 3→5.
|
||||
- **Flagg lukket:** S8s «andre divergens» (risikotabell L63-69) er nå løst.
|
||||
|
||||
**Governance (operatør-gated, 2 endringer):**
|
||||
- **K9:** EU Data Boundary §2.3 — droppet volatile regioner «(Sweden Central, West Europe)» (body MOTSA refs som sier «Norway East / West Europe»); behold prinsipp + lovsaksnr; repek kryss-ref → `gdpr-compliance-ai-systems.md`. Stabile identifikatorer (2024/1689, C-311/18) beholdt.
|
||||
- **K4:** §6.2 AI Act-tre — kollapset oppramset (og ufullstendig: 4 av 8) Art.5- + Annex III-lister → pekere til `ai-act-classification-methodology.md`; §2.1 eneste oversiktstabell. §6.1/§1.2/§6.3 beholdt (orientering/ruting, ikke verbatim-dup). K4 3→5.
|
||||
|
||||
**K9-rubrikk strammet (operatør-godkjent):** `judge-prompt.md` K9 = «ingen VOLATIL info; stabile identifikatorer (forordningsår, OWASP 2025, MADR v3.0, saksnr) ute av scope» — gjør K9 PASS deterministisk oppnåelig per operatør-policyen. `judge-results.json` oppdatert med ferske sec+gov-verdikter (operatør-gated cache).
|
||||
|
||||
**Binding for S10:** K9-destale engineering + infrastructure (feiler kun K9). Samme mønster: volatil status (GA/preview/modellversjon/SLA/perf) ut av body → ref. Antakelse: verifiser at innhold finnes i ref FØR sletting (ellers skriv ref-fil først, gated).
|
||||
|
||||
---
|
||||
|
||||
## SPOR A — gjenstående sesjoner (PLANLAGT, operatør godkjente alle 4 anbefalinger 2026-06-20)
|
||||
|
||||
De 4 beslutning-gated punktene er nå **avgjort** (operatør: «følger anbefalingene gjennomgående»):
|
||||
|
|
@ -315,7 +336,7 @@ De 4 beslutning-gated punktene er nå **avgjort** (operatør: «følger anbefali
|
|||
| Sesjon | Leveranse | Verifiserbart kriterium |
|
||||
|---|---|---|
|
||||
| **8** ✅ FERDIG (`1c0da88`, se «Sesjon 8 — RESULTATER») | **6×5-vekting (#1).** Fold adaptive workload-varianter inn i `security-scoring-rubrics-6x5.md` (Standard = kanonisk; foreslå eksakte varianttall, gated). Fjern divergerende vekttabell fra security SKILL.md → peker til rubrikken (behold risikoklassifiserings-tabellen — den er stabil). | `grep` security SKILL.md: ingen 3-kolonne-vekttabell med divergerende tall; rubrikken har én Standard + dokumenterte varianter; agent+skill peker samme kilde. `eval --json`: refTall/K5/K3 ikke regredert · validate 239 · kb-integrity grønt. **Antakelse testet:** ingen kode/test asserter SKILL.md-vekttallene (agenten bruker rubrikken — verifisert i S7-diskusjon; bekreft med `grep -r` på vekttallene før sletting). |
|
||||
| **9** | **K4+K9 body-cleanup: security + governance** (begge feiler begge kriteriene). Tynn dupliserte avsnitt → pekere; flytt volatil status → ref. Gated forslag per skill FØR endring. | LLM-judge: **K4 ≥4/5 OG K9 PASS** for sec+gov. `eval --json`: K5/K3/refTall ikke regredert · kb-integrity (alle refs resolver) · validate 239. **Antakelse:** flyttet innhold finnes ALLEREDE i en ref-fil — verifiser FØR sletting fra body (ellers skriv ref-fil først, gated). |
|
||||
| **9** ✅ FERDIG (se «Sesjon 9 — RESULTATER») | **K4+K9 body-cleanup: security + governance** (begge feiler begge kriteriene). Tynn dupliserte avsnitt → pekere; flytt volatil status → ref. Gated forslag per skill FØR endring. | ✅ LLM-judge: security **K4 5/5 · K9 PASS** · governance **K4 5/5 · K9 PASS**. `eval`: K5 sec 16→20/gov 24→25, K3/refTall ikke regredert · kb-integrity 192/192 · validate 239. Antakelse testet (read-only verifiserings-agenter kartla ref-dekning FØR sletting). |
|
||||
| **10** | **K9-destale: engineering + infrastructure** (feiler kun K9). Volatil status ut av body. Gated forslag FØR endring. | LLM-judge: **K9 PASS** eng+infra. `eval --json` ikke regredert · validate 239. |
|
||||
| **11** | **K1 (#4).** (a) 2 description-fikser: governance +Schrems II-trigger; advisor strammere (foreslå ordlyd, gated — K2-format må holdes). (b) draft 20 kandidat-prompts/skill → operatør-review → mål presisjon via judge. | LLM-judge **K1 ≥90 % treff / ≤10 % falske** for alle 5 (eller dokumentert avvik m/ begrunnelse) · K2 (description-format) fortsatt PASS etter edits. |
|
||||
| **12** | **Lukk SPOR A.** Full LLM-judge re-run (K1/K4/K7/K8/K9) alle 5 → bekreft alle kriterier PASS → skriv ny `eval-baseline.json` (operatør-gated `--write`). (Kan foldes inn i S11 hvis lett.) | `eval-baseline.json`: ingen åpen eval-FAIL på tvers av K1–K9 for de 5 skills. STATE: SPOR A FERDIG → Spor B neste. |
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue