fix(ms-ai-architect): #7a ruting — RAG/MLOps-KB-ruting (F) + forson ROS-last-kontrakt (G)
Audit P2 §94-118. Latent engineering-dybde gjøres nåbar; determinisme-løftet repareres. F (ruting til RAG/MLOps-KB): betinget, navngitt Read-ruting (samme mønster som security/cost): - architecture-review-agent.md: RAG-arkitektur + MLOps/GenAIOps lagt i domene-spesifikk last-blokk - research-agent.md: ny lokal KB-baseline for RAG/MLOps-temaer — leses som hypotese, MCP er fasit, avvik flagges - poc.md: betinget steg 3b — RAG/MLOps-kjernefiler forankrer scope + suksesskriterier G (forson ROS-rutingsmotsetning): ett eksplisitt last-kontrakt forsont på tvers av tre kilder. Tidligere: CLAUDE.md «max 3» vs agent 11 filer flatt vs ros.md 5 → ikke-deterministisk lasting. Nå: kjerne (alltid, 4: trusselbibliotek/rubrikker/metodikk/mal) + betinget på trigger (sektor/MAESTRO/DPIA-integrasjon/AI Act). Reflektert i: - ros-analysis-agent.md: «Knowledge Base References» omskrevet til last-kontrakt + AI Act-blokk + «Load KB»-steg bundet til den - CLAUDE.md: header «typisk 3 kjernefiler»; ROS dokumentert som unntak med 4 kjerne + betinget - ros.md: delegeringsprompt skiller kjerne/betinget per kontrakt validate-plugin: 223 PASS Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
This commit is contained in:
parent
2067c1e802
commit
9a166f93bb
6 changed files with 59 additions and 21 deletions
|
|
@ -72,13 +72,13 @@ Tilbyr strukturert arkitekturveiledning for Microsoft AI-stakken:
|
||||||
| `ms-ai-engineering` | RAG, agenter, Azure AI Services, data, MLOps, multimodal | 153 | "Hvordan bygger jeg dette?" |
|
| `ms-ai-engineering` | RAG, agenter, Azure AI Services, data, MLOps, multimodal | 153 | "Hvordan bygger jeg dette?" |
|
||||||
| `ms-ai-infrastructure` | BCDR, hybrid/edge, suveren sky | 34 | "Hvordan drifter jeg dette?" |
|
| `ms-ai-infrastructure` | BCDR, hybrid/edge, suveren sky | 34 | "Hvordan drifter jeg dette?" |
|
||||||
|
|
||||||
### Kunnskapsbase-routing i agenter (max 3 filer per invokasjon)
|
### Kunnskapsbase-routing i agenter (typisk 3 kjernefiler per invokasjon)
|
||||||
|
|
||||||
Agenter leser navngitte kjernefiler, ikke hele kataloger:
|
Agenter leser navngitte kjernefiler, ikke hele kataloger. «3 kjernefiler» er normalen for review-/security-/cost-mønsteret; **ros-analysis-agent er et dokumentert unntak** med et større, eksplisitt last-kontrakt (kjerne + betinget) definert i agentfilen — fordi en deterministisk ROS krever trusselbibliotek + rubrikker + metodikk + mal som minimumskjerne.
|
||||||
- **security-assessment-agent**: security-scoring-rubrics-6x5.md, ai-security-scoring-framework.md, ai-threat-modeling-stride.md
|
- **security-assessment-agent**: security-scoring-rubrics-6x5.md, ai-security-scoring-framework.md, ai-threat-modeling-stride.md
|
||||||
- **cost-estimation-agent**: deterministic-cost-calculation-model.md, azure-ai-foundry-cost-governance.md, cost-models.md
|
- **cost-estimation-agent**: deterministic-cost-calculation-model.md, azure-ai-foundry-cost-governance.md, cost-models.md
|
||||||
- **architecture-review-agent**: decision-trees.md, security.md, public-sector-checklist.md + domene-spesifikke ved behov
|
- **architecture-review-agent**: decision-trees.md, security.md, public-sector-checklist.md + domene-spesifikke ved behov (RAG/MLOps lastes betinget)
|
||||||
- **ros-analysis-agent**: ros-ai-threat-library.md, ros-scoring-rubrics-7x5.md, ros-methodology-ns5814-iso31000.md
|
- **ros-analysis-agent**: kjerne (alltid, 4): ros-ai-threat-library.md, ros-scoring-rubrics-7x5.md, ros-methodology-ns5814-iso31000.md, ros-report-templates.md + betinget på trigger (sektor / MAESTRO / DPIA-integrasjon / AI Act) — se last-kontrakt i agentfilen
|
||||||
- **dpia-agent**: dpia-norwegian-methodology-ai.md, gdpr-compliance-ai-systems.md, ai-impact-assessment-framework.md
|
- **dpia-agent**: dpia-norwegian-methodology-ai.md, gdpr-compliance-ai-systems.md, ai-impact-assessment-framework.md
|
||||||
- **ai-act-assessor**: ai-act-classification-methodology.md + relevante ai-act-*.md filer (maks 3 per fase)
|
- **ai-act-assessor**: ai-act-classification-methodology.md + relevante ai-act-*.md filer (maks 3 per fase)
|
||||||
- **summary-agent**: Leser assessment-outputs fra sesjon, ikke KB-filer
|
- **summary-agent**: Leser assessment-outputs fra sesjon, ikke KB-filer
|
||||||
|
|
|
||||||
|
|
@ -169,6 +169,8 @@ Load domain-specific references only when dimension requires depth (max 2-3 addi
|
||||||
- Norwegian: `norwegian-public-sector-governance/utredningsinstruksen-ai-methodology.md`
|
- Norwegian: `norwegian-public-sector-governance/utredningsinstruksen-ai-methodology.md`
|
||||||
- Security: `ai-security-engineering/ai-threat-modeling-stride.md`
|
- Security: `ai-security-engineering/ai-threat-modeling-stride.md`
|
||||||
- Cost: `cost-optimization/azure-ai-foundry-cost-governance.md`, `cost-optimization/deterministic-cost-calculation-model.md`
|
- Cost: `cost-optimization/azure-ai-foundry-cost-governance.md`, `cost-optimization/deterministic-cost-calculation-model.md`
|
||||||
|
- RAG-arkitektur (når løsningen er RAG-/gjenfinningsbasert): `skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md`, `rag-architecture/agentic-rag-patterns.md`, `rag-architecture/rag-evaluation-frameworks.md`
|
||||||
|
- MLOps/GenAIOps (når løsningen har produksjons-/livssyklusfokus): `skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md`, `mlops-genaiops/monitoring-observability-ml-systems.md`, `mlops-genaiops/model-deployment-strategies-azure.md`
|
||||||
|
|
||||||
## Virksomhetskontekst (automatisk)
|
## Virksomhetskontekst (automatisk)
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -30,6 +30,14 @@ Hvis `org/`-mappen finnes, les relevante filer for å tilpasse vurderingen:
|
||||||
- `org/architecture-decisions.md` — ADR-er, retningslinjer, preferanser, budsjett
|
- `org/architecture-decisions.md` — ADR-er, retningslinjer, preferanser, budsjett
|
||||||
- `org/business-references.md` — Maler, styringsmodell, nøkkelpersonell
|
- `org/business-references.md` — Maler, styringsmodell, nøkkelpersonell
|
||||||
|
|
||||||
|
## Lokal KB-baseline (betinget — RAG / MLOps / engineering-temaer)
|
||||||
|
|
||||||
|
Når forskningstemaet er RAG, gjenfinning, MLOps eller GenAIOps, les den relevante engineering-kjernefilen **først** som hypotese-baseline — verifiser den deretter mot live Microsoft Learn. KB-en kan være utdatert; **MCP-resultatet er fasit**.
|
||||||
|
- RAG/gjenfinning: `skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md`, `rag-architecture/agentic-rag-patterns.md`
|
||||||
|
- MLOps/GenAIOps: `skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md`, `mlops-genaiops/llm-evaluation-production.md`
|
||||||
|
|
||||||
|
Les maks 2 baseline-filer. **Flagg eksplisitt** hvis live docs avviker fra KB-baselinen (samme avviks-flagging som Fase 4).
|
||||||
|
|
||||||
## MCP-verktøy (prioritert rekkefølge)
|
## MCP-verktøy (prioritert rekkefølge)
|
||||||
|
|
||||||
### 1. microsoft_docs_search
|
### 1. microsoft_docs_search
|
||||||
|
|
|
||||||
|
|
@ -18,19 +18,32 @@ You are a Norwegian risk management specialist conducting structured ROS analyse
|
||||||
|
|
||||||
**VIKTIG:** Bruk norske tegn (æ, ø, å) korrekt i all output. Skriv på norsk med engelske fagtermer der det er naturlig. Aldri erstatt æ med ae, ø med o, eller å med a.
|
**VIKTIG:** Bruk norske tegn (æ, ø, å) korrekt i all output. Skriv på norsk med engelske fagtermer der det er naturlig. Aldri erstatt æ med ae, ø med o, eller å med a.
|
||||||
|
|
||||||
## Knowledge Base References
|
## Knowledge Base References — eksplisitt last-kontrakt
|
||||||
|
|
||||||
Read relevant files from:
|
ROS er en bevisst KB-tung agent. En deterministisk analyse krever et fast **kjernesett** pluss et **betinget sett** lastet på definerte triggere. Dette er større enn det generelle «3 kjernefiler»-mønsteret i `CLAUDE.md` (security/cost/review) — det er en dokumentert, håndhevet last-rekkefølge, ikke fri lesing. **To analytikere som kjører samme system skal laste de samme filene i samme rekkefølge.**
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-ai-threat-library.md` — **OBLIGATORISK:** AI-trusselbibliotek med 49 trusler
|
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-scoring-rubrics-7x5.md` — **OBLIGATORISK:** Deterministiske scoringsrubrikker med 35 celler
|
Alle stier under `skills/ms-ai-governance/references/norwegian-public-sector-governance/` med mindre annet er angitt.
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-sector-checklists.md` — Sektorspesifikke sjekklister
|
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-methodology-ns5814-iso31000.md` — Metodikkguide
|
### Obligatorisk kjerne (last ALLTID, i denne rekkefølgen)
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-report-templates.md` — Rapportmaler
|
1. `ros-ai-threat-library.md` — AI-trusselbibliotek (kilde for T-xxx-IDer)
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-dpia-security-integration.md` — Integrasjon med DPIA/Security
|
2. `ros-scoring-rubrics-7x5.md` — deterministiske scoringsrubrikker
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-maestro-multiagent.md` — MAESTRO 7-lags sikkerhetsmodell for multiagent-systemer
|
3. `ros-methodology-ns5814-iso31000.md` — metodikkguide (fase-rekkefølge)
|
||||||
- `skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-analyse-ai-systems.md` — Generell ROS-referanse
|
4. `ros-report-templates.md` — rapportmaler (output-format)
|
||||||
- `skills/ms-ai-security/references/ai-security-engineering/security-scoring-rubrics-6x5.md` — Referanse for scoringsmønster
|
|
||||||
- `skills/ms-ai-governance/references/responsible-ai/ai-risk-taxonomy-classification.md` — Risikotaksonomi
|
### Betinget (last KUN når triggeren utløses)
|
||||||
|
| Trigger i systembeskrivelsen | Last |
|
||||||
|
|------------------------------|------|
|
||||||
|
| Sektor oppdaget (helse/transport/finans/justis/utdanning) | `ros-sector-checklists.md` |
|
||||||
|
| Multi-agent / agent-orkestrering | `ros-maestro-multiagent.md` (MAESTRO 7-lag) |
|
||||||
|
| DPIA eller sikkerhetsvurdering skal integreres | `ros-dpia-security-integration.md` |
|
||||||
|
| AI Act-dybde i dimensjon 6 | `responsible-ai/ai-act-classification-methodology.md` + `responsible-ai/ai-act-provider-obligations.md` (maks 2) |
|
||||||
|
|
||||||
|
### Referanse (last kun ved eksplisitt behov, ikke default)
|
||||||
|
- `skills/ms-ai-security/references/ai-security-engineering/security-scoring-rubrics-6x5.md` — scoringsmønster-referanse
|
||||||
|
- `ros-analyse-ai-systems.md` — generell ROS-bakgrunn
|
||||||
|
- `responsible-ai/ai-risk-taxonomy-classification.md` — risikotaksonomi
|
||||||
|
|
||||||
|
**Budsjett:** kjerne (4) + betinget (maks 2-3 på trigger) = typisk 5-7 filer. Aldri last hele katalogen; last ikke en betinget fil hvis triggeren ikke utløses.
|
||||||
|
|
||||||
## Virksomhetskontekst (automatisk)
|
## Virksomhetskontekst (automatisk)
|
||||||
|
|
||||||
|
|
@ -103,7 +116,7 @@ I tillegg til eksisterende trusler i dimensjon 6, vurder følgende:
|
||||||
- Art. 9-27 (høyrisiko-krav): Opptil 15 MEUR eller 3 % av global omsetning
|
- Art. 9-27 (høyrisiko-krav): Opptil 15 MEUR eller 3 % av global omsetning
|
||||||
- Art. 50 (transparens): Opptil 7,5 MEUR eller 1,5 % av global omsetning
|
- Art. 50 (transparens): Opptil 7,5 MEUR eller 1,5 % av global omsetning
|
||||||
|
|
||||||
**OBLIGATORISK KB-referanser for AI Act i ROS:**
|
**KB-referanser for AI Act-dybde i dimensjon 6** (betinget — last per last-kontrakten øverst, AI Act-trigger):
|
||||||
- `skills/ms-ai-governance/references/responsible-ai/ai-act-classification-methodology.md`
|
- `skills/ms-ai-governance/references/responsible-ai/ai-act-classification-methodology.md`
|
||||||
- `skills/ms-ai-governance/references/responsible-ai/ai-act-provider-obligations.md`
|
- `skills/ms-ai-governance/references/responsible-ai/ai-act-provider-obligations.md`
|
||||||
|
|
||||||
|
|
@ -183,12 +196,14 @@ When `--quick` is specified:
|
||||||
## Assessment Process
|
## Assessment Process
|
||||||
|
|
||||||
### 1. Load Knowledge Base
|
### 1. Load Knowledge Base
|
||||||
Read mandatory reference files:
|
Følg last-kontrakten øverst (avsnitt «Knowledge Base References»). Obligatorisk kjerne, alltid:
|
||||||
- ros-ai-threat-library.md (REQUIRED)
|
- ros-ai-threat-library.md (REQUIRED)
|
||||||
- ros-scoring-rubrics-7x5.md (REQUIRED)
|
- ros-scoring-rubrics-7x5.md (REQUIRED)
|
||||||
- ros-methodology-ns5814-iso31000.md
|
- ros-methodology-ns5814-iso31000.md
|
||||||
- ros-report-templates.md (for output format)
|
- ros-report-templates.md (for output format)
|
||||||
|
|
||||||
|
Betingede filer (sektor / MAESTRO / DPIA-integrasjon / AI Act) lastes kun når triggeren i kontrakt-tabellen utløses.
|
||||||
|
|
||||||
### 2. Detect Sector
|
### 2. Detect Sector
|
||||||
If system description mentions sector keywords, also read:
|
If system description mentions sector keywords, also read:
|
||||||
- ros-sector-checklists.md
|
- ros-sector-checklists.md
|
||||||
|
|
|
||||||
|
|
@ -31,6 +31,12 @@ Spør brukeren om nøkkelinformasjon (hvis ikke allerede kjent):
|
||||||
|
|
||||||
Les `skills/ms-ai-advisor/references/architecture/poc-template.md` for komplett POC-rammeverk.
|
Les `skills/ms-ai-advisor/references/architecture/poc-template.md` for komplett POC-rammeverk.
|
||||||
|
|
||||||
|
### 3b. Les domene-spesifikke mønstre (betinget)
|
||||||
|
|
||||||
|
Hvis use-caset treffer et engineering-domene, les 1-2 kjernefiler for å forankre scope og suksesskriterier (ikke hele katalogen):
|
||||||
|
- **RAG / gjenfinning:** `skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md`, `rag-architecture/rag-evaluation-frameworks.md` — sett målbare gjenfinnings-/grounding-kriterier
|
||||||
|
- **MLOps / produksjonssetting:** `skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md`, `mlops-genaiops/llm-evaluation-production.md` — POC-evaluering + driftskriterier
|
||||||
|
|
||||||
### 4. Generer POC-plan
|
### 4. Generer POC-plan
|
||||||
|
|
||||||
Fyll ut følgende seksjoner tilpasset scenarioet:
|
Fyll ut følgende seksjoner tilpasset scenarioet:
|
||||||
|
|
|
||||||
|
|
@ -45,12 +45,19 @@ Gjennomfør en [komplett / quick] ROS-analyse for følgende AI-system:
|
||||||
**Kontekst:** [ytterligere kontekst]
|
**Kontekst:** [ytterligere kontekst]
|
||||||
[**Modus:** Quick (top-10 risikoer, trafikklys) — if --quick]
|
[**Modus:** Quick (top-10 risikoer, trafikklys) — if --quick]
|
||||||
|
|
||||||
Les kunnskapsbasene:
|
Les kunnskapsbasene per last-kontrakten i agentfilen — kjerne (alltid) + betinget (kun på trigger):
|
||||||
|
|
||||||
|
Kjerne (alltid, i rekkefølge):
|
||||||
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-ai-threat-library.md
|
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-ai-threat-library.md
|
||||||
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-scoring-rubrics-7x5.md
|
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-scoring-rubrics-7x5.md
|
||||||
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-methodology-ns5814-iso31000.md
|
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-methodology-ns5814-iso31000.md
|
||||||
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-report-templates.md
|
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-report-templates.md
|
||||||
- skills/ms-ai-governance/references/norwegian-public-sector-governance/ros-sector-checklists.md (hvis relevant sektor)
|
|
||||||
|
Betinget (kun når triggeren utløses):
|
||||||
|
- ros-sector-checklists.md (hvis relevant sektor oppdaget)
|
||||||
|
- ros-maestro-multiagent.md (hvis multi-agent / agent-orkestrering)
|
||||||
|
- ros-dpia-security-integration.md (hvis DPIA/sikkerhet skal integreres)
|
||||||
|
- responsible-ai/ai-act-classification-methodology.md + ai-act-provider-obligations.md (hvis AI Act-dybde i dimensjon 6)
|
||||||
|
|
||||||
Lever en [komplett ROS-rapport med alle 8 faser / Quick ROS med top-10 og trafikklys]."
|
Lever en [komplett ROS-rapport med alle 8 faser / Quick ROS med top-10 og trafikklys]."
|
||||||
```
|
```
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue