From 9a166f93bb619bac62ded306bff436739c19fd3f Mon Sep 17 00:00:00 2001 From: Kjell Tore Guttormsen Date: Thu, 18 Jun 2026 17:22:48 +0200 Subject: [PATCH] =?UTF-8?q?fix(ms-ai-architect):=20#7a=20ruting=20?= =?UTF-8?q?=E2=80=94=20RAG/MLOps-KB-ruting=20(F)=20+=20forson=20ROS-last-k?= =?UTF-8?q?ontrakt=20(G)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Audit P2 §94-118. Latent engineering-dybde gjøres nåbar; determinisme-løftet repareres. F (ruting til RAG/MLOps-KB): betinget, navngitt Read-ruting (samme mønster som security/cost): - architecture-review-agent.md: RAG-arkitektur + MLOps/GenAIOps lagt i domene-spesifikk last-blokk - research-agent.md: ny lokal KB-baseline for RAG/MLOps-temaer — leses som hypotese, MCP er fasit, avvik flagges - poc.md: betinget steg 3b — RAG/MLOps-kjernefiler forankrer scope + suksesskriterier G (forson ROS-rutingsmotsetning): ett eksplisitt last-kontrakt forsont på tvers av tre kilder. Tidligere: CLAUDE.md «max 3» vs agent 11 filer flatt vs ros.md 5 → ikke-deterministisk lasting. Nå: kjerne (alltid, 4: trusselbibliotek/rubrikker/metodikk/mal) + betinget på trigger (sektor/MAESTRO/DPIA-integrasjon/AI Act). Reflektert i: - ros-analysis-agent.md: «Knowledge Base References» omskrevet til last-kontrakt + AI Act-blokk + «Load KB»-steg bundet til den - CLAUDE.md: header «typisk 3 kjernefiler»; ROS dokumentert som unntak med 4 kjerne + betinget - ros.md: delegeringsprompt skiller kjerne/betinget per kontrakt validate-plugin: 223 PASS Co-Authored-By: Claude Opus 4.8 (1M context) Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ --- CLAUDE.md | 8 +++--- agents/architecture-review-agent.md | 2 ++ agents/research-agent.md | 8 ++++++ agents/ros-analysis-agent.md | 43 +++++++++++++++++++---------- commands/poc.md | 6 ++++ commands/ros.md | 11 ++++++-- 6 files changed, 58 insertions(+), 20 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index 862970e..2ec4e2e 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -72,13 +72,13 @@ Tilbyr strukturert arkitekturveiledning for Microsoft AI-stakken: | `ms-ai-engineering` | RAG, agenter, Azure AI Services, data, MLOps, multimodal | 153 | "Hvordan bygger jeg dette?" | | `ms-ai-infrastructure` | BCDR, hybrid/edge, suveren sky | 34 | "Hvordan drifter jeg dette?" | -### Kunnskapsbase-routing i agenter (max 3 filer per invokasjon) +### Kunnskapsbase-routing i agenter (typisk 3 kjernefiler per invokasjon) -Agenter leser navngitte kjernefiler, ikke hele kataloger: +Agenter leser navngitte kjernefiler, ikke hele kataloger. «3 kjernefiler» er normalen for review-/security-/cost-mønsteret; **ros-analysis-agent er et dokumentert unntak** med et større, eksplisitt last-kontrakt (kjerne + betinget) definert i agentfilen — fordi en deterministisk ROS krever trusselbibliotek + rubrikker + metodikk + mal som minimumskjerne. - **security-assessment-agent**: security-scoring-rubrics-6x5.md, ai-security-scoring-framework.md, ai-threat-modeling-stride.md - **cost-estimation-agent**: deterministic-cost-calculation-model.md, azure-ai-foundry-cost-governance.md, cost-models.md -- **architecture-review-agent**: decision-trees.md, security.md, public-sector-checklist.md + domene-spesifikke ved behov -- **ros-analysis-agent**: ros-ai-threat-library.md, ros-scoring-rubrics-7x5.md, ros-methodology-ns5814-iso31000.md +- **architecture-review-agent**: decision-trees.md, security.md, public-sector-checklist.md + domene-spesifikke ved behov (RAG/MLOps lastes betinget) +- **ros-analysis-agent**: kjerne (alltid, 4): ros-ai-threat-library.md, ros-scoring-rubrics-7x5.md, ros-methodology-ns5814-iso31000.md, ros-report-templates.md + betinget på trigger (sektor / MAESTRO / DPIA-integrasjon / AI Act) — se last-kontrakt i agentfilen - **dpia-agent**: dpia-norwegian-methodology-ai.md, gdpr-compliance-ai-systems.md, ai-impact-assessment-framework.md - **ai-act-assessor**: ai-act-classification-methodology.md + relevante ai-act-*.md filer (maks 3 per fase) - **summary-agent**: Leser assessment-outputs fra sesjon, ikke KB-filer diff --git a/agents/architecture-review-agent.md b/agents/architecture-review-agent.md index 0aedc41..edefa52 100644 --- a/agents/architecture-review-agent.md +++ b/agents/architecture-review-agent.md @@ -169,6 +169,8 @@ Load domain-specific references only when dimension requires depth (max 2-3 addi - Norwegian: `norwegian-public-sector-governance/utredningsinstruksen-ai-methodology.md` - Security: `ai-security-engineering/ai-threat-modeling-stride.md` - Cost: `cost-optimization/azure-ai-foundry-cost-governance.md`, `cost-optimization/deterministic-cost-calculation-model.md` +- RAG-arkitektur (når løsningen er RAG-/gjenfinningsbasert): `skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md`, `rag-architecture/agentic-rag-patterns.md`, `rag-architecture/rag-evaluation-frameworks.md` +- MLOps/GenAIOps (når løsningen har produksjons-/livssyklusfokus): `skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md`, `mlops-genaiops/monitoring-observability-ml-systems.md`, `mlops-genaiops/model-deployment-strategies-azure.md` ## Virksomhetskontekst (automatisk) diff --git a/agents/research-agent.md b/agents/research-agent.md index c9c9610..e97d461 100644 --- a/agents/research-agent.md +++ b/agents/research-agent.md @@ -30,6 +30,14 @@ Hvis `org/`-mappen finnes, les relevante filer for å tilpasse vurderingen: - `org/architecture-decisions.md` — ADR-er, retningslinjer, preferanser, budsjett - `org/business-references.md` — Maler, styringsmodell, nøkkelpersonell +## Lokal KB-baseline (betinget — RAG / MLOps / engineering-temaer) + +Når forskningstemaet er RAG, gjenfinning, MLOps eller GenAIOps, les den relevante engineering-kjernefilen **først** som hypotese-baseline — verifiser den deretter mot live Microsoft Learn. KB-en kan være utdatert; **MCP-resultatet er fasit**. +- RAG/gjenfinning: `skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md`, `rag-architecture/agentic-rag-patterns.md` +- MLOps/GenAIOps: `skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md`, `mlops-genaiops/llm-evaluation-production.md` + +Les maks 2 baseline-filer. **Flagg eksplisitt** hvis live docs avviker fra KB-baselinen (samme avviks-flagging som Fase 4). + ## MCP-verktøy (prioritert rekkefølge) ### 1. microsoft_docs_search diff --git a/agents/ros-analysis-agent.md b/agents/ros-analysis-agent.md index 3288540..199019a 100644 --- a/agents/ros-analysis-agent.md +++ b/agents/ros-analysis-agent.md @@ -18,19 +18,32 @@ You are a Norwegian risk management specialist conducting structured ROS analyse **VIKTIG:** Bruk norske tegn (æ, ø, å) korrekt i all output. Skriv på norsk med engelske fagtermer der det er naturlig. Aldri erstatt æ med ae, ø med o, eller å med a. -## Knowledge Base References +## Knowledge Base References — eksplisitt last-kontrakt -Read relevant files from: -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-ai-threat-library.md` — **OBLIGATORISK:** AI-trusselbibliotek med 49 trusler -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-scoring-rubrics-7x5.md` — **OBLIGATORISK:** Deterministiske scoringsrubrikker med 35 celler -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-sector-checklists.md` — Sektorspesifikke sjekklister -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-methodology-ns5814-iso31000.md` — Metodikkguide -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-report-templates.md` — Rapportmaler -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-dpia-security-integration.md` — Integrasjon med DPIA/Security -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-maestro-multiagent.md` — MAESTRO 7-lags sikkerhetsmodell for multiagent-systemer -- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-analyse-ai-systems.md` — Generell ROS-referanse -- `skills/ms-ai-security/references/ai-security-engineering/security-scoring-rubrics-6x5.md` — Referanse for scoringsmønster -- `skills/ms-ai-governance/references/responsible-ai/ai-risk-taxonomy-classification.md` — Risikotaksonomi +ROS er en bevisst KB-tung agent. En deterministisk analyse krever et fast **kjernesett** pluss et **betinget sett** lastet på definerte triggere. Dette er større enn det generelle «3 kjernefiler»-mønsteret i `CLAUDE.md` (security/cost/review) — det er en dokumentert, håndhevet last-rekkefølge, ikke fri lesing. **To analytikere som kjører samme system skal laste de samme filene i samme rekkefølge.** + +Alle stier under `skills/ms-ai-governance/references/norwegian-public-sector-governance/` med mindre annet er angitt. + +### Obligatorisk kjerne (last ALLTID, i denne rekkefølgen) +1. `ros-ai-threat-library.md` — AI-trusselbibliotek (kilde for T-xxx-IDer) +2. `ros-scoring-rubrics-7x5.md` — deterministiske scoringsrubrikker +3. `ros-methodology-ns5814-iso31000.md` — metodikkguide (fase-rekkefølge) +4. `ros-report-templates.md` — rapportmaler (output-format) + +### Betinget (last KUN når triggeren utløses) +| Trigger i systembeskrivelsen | Last | +|------------------------------|------| +| Sektor oppdaget (helse/transport/finans/justis/utdanning) | `ros-sector-checklists.md` | +| Multi-agent / agent-orkestrering | `ros-maestro-multiagent.md` (MAESTRO 7-lag) | +| DPIA eller sikkerhetsvurdering skal integreres | `ros-dpia-security-integration.md` | +| AI Act-dybde i dimensjon 6 | `responsible-ai/ai-act-classification-methodology.md` + `responsible-ai/ai-act-provider-obligations.md` (maks 2) | + +### Referanse (last kun ved eksplisitt behov, ikke default) +- `skills/ms-ai-security/references/ai-security-engineering/security-scoring-rubrics-6x5.md` — scoringsmønster-referanse +- `ros-analyse-ai-systems.md` — generell ROS-bakgrunn +- `responsible-ai/ai-risk-taxonomy-classification.md` — risikotaksonomi + +**Budsjett:** kjerne (4) + betinget (maks 2-3 på trigger) = typisk 5-7 filer. Aldri last hele katalogen; last ikke en betinget fil hvis triggeren ikke utløses. ## Virksomhetskontekst (automatisk) @@ -103,7 +116,7 @@ I tillegg til eksisterende trusler i dimensjon 6, vurder følgende: - Art. 9-27 (høyrisiko-krav): Opptil 15 MEUR eller 3 % av global omsetning - Art. 50 (transparens): Opptil 7,5 MEUR eller 1,5 % av global omsetning -**OBLIGATORISK KB-referanser for AI Act i ROS:** +**KB-referanser for AI Act-dybde i dimensjon 6** (betinget — last per last-kontrakten øverst, AI Act-trigger): - `skills/ms-ai-governance/references/responsible-ai/ai-act-classification-methodology.md` - `skills/ms-ai-governance/references/responsible-ai/ai-act-provider-obligations.md` @@ -183,12 +196,14 @@ When `--quick` is specified: ## Assessment Process ### 1. Load Knowledge Base -Read mandatory reference files: +Følg last-kontrakten øverst (avsnitt «Knowledge Base References»). Obligatorisk kjerne, alltid: - ros-ai-threat-library.md (REQUIRED) - ros-scoring-rubrics-7x5.md (REQUIRED) - ros-methodology-ns5814-iso31000.md - ros-report-templates.md (for output format) +Betingede filer (sektor / MAESTRO / DPIA-integrasjon / AI Act) lastes kun når triggeren i kontrakt-tabellen utløses. + ### 2. Detect Sector If system description mentions sector keywords, also read: - ros-sector-checklists.md diff --git a/commands/poc.md b/commands/poc.md index 0abd041..504ed92 100644 --- a/commands/poc.md +++ b/commands/poc.md @@ -31,6 +31,12 @@ Spør brukeren om nøkkelinformasjon (hvis ikke allerede kjent): Les `skills/ms-ai-advisor/references/architecture/poc-template.md` for komplett POC-rammeverk. +### 3b. Les domene-spesifikke mønstre (betinget) + +Hvis use-caset treffer et engineering-domene, les 1-2 kjernefiler for å forankre scope og suksesskriterier (ikke hele katalogen): +- **RAG / gjenfinning:** `skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md`, `rag-architecture/rag-evaluation-frameworks.md` — sett målbare gjenfinnings-/grounding-kriterier +- **MLOps / produksjonssetting:** `skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md`, `mlops-genaiops/llm-evaluation-production.md` — POC-evaluering + driftskriterier + ### 4. Generer POC-plan Fyll ut følgende seksjoner tilpasset scenarioet: diff --git a/commands/ros.md b/commands/ros.md index 1794c2c..34b0476 100644 --- a/commands/ros.md +++ b/commands/ros.md @@ -45,12 +45,19 @@ Gjennomfør en [komplett / quick] ROS-analyse for følgende AI-system: **Kontekst:** [ytterligere kontekst] [**Modus:** Quick (top-10 risikoer, trafikklys) — if --quick] -Les kunnskapsbasene: +Les kunnskapsbasene per last-kontrakten i agentfilen — kjerne (alltid) + betinget (kun på trigger): + +Kjerne (alltid, i rekkefølge): - skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-ai-threat-library.md - skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-scoring-rubrics-7x5.md - skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-methodology-ns5814-iso31000.md - skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-report-templates.md -- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-sector-checklists.md (hvis relevant sektor) + +Betinget (kun når triggeren utløses): +- ros-sector-checklists.md (hvis relevant sektor oppdaget) +- ros-maestro-multiagent.md (hvis multi-agent / agent-orkestrering) +- ros-dpia-security-integration.md (hvis DPIA/sikkerhet skal integreres) +- responsible-ai/ai-act-classification-methodology.md + ai-act-provider-obligations.md (hvis AI Act-dybde i dimensjon 6) Lever en [komplett ROS-rapport med alle 8 faser / Quick ROS med top-10 og trafikklys]." ```