diff --git a/plugins/ms-ai-architect/playground/test-fixtures/adr.md b/plugins/ms-ai-architect/playground/test-fixtures/adr.md new file mode 100644 index 0000000..633ae3c --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/adr.md @@ -0,0 +1,52 @@ +# ADR-001 — Velg Azure AI Foundry som primær AI-plattform for ANPR-trafikkanalyse + +Status: accepted +Date: 2026-04-30 +Deciders: AI-arkitekt, sikkerhetsarkitekt, seksjonsleder +Consulted: personvernombud, juridisk rådgiver, Drift +Informed: prosjekteierskap, KI-seksjonen + +## Context and Problem Statement + +Statens vegvesen skal modernisere ANPR-trafikkanalyse fra on-prem OCR-løsning til skybasert AI-plattform. Plattformen må støtte custom modell-trening, audit-logging på inferens-nivå, real-time inferens (<100ms P95), og full compliance med EU AI Act + GDPR + sikkerhetsloven. + +## Decision Drivers + +- Compliance med EU AI Act høyrisiko-krav (Art. 9-15) +- Norsk dataresidens-krav +- Customer-managed keys og Private Endpoints +- Custom modell-trening kapabilitet +- Total cost of ownership over 3 år +- Driftbarhet for KI-seksjonen + +## Considered Options + +1. **Azure AI Foundry** — Enterprise AI-plattform med full compliance-pakke +2. **Azure ML + AKS** — Mer kontroll, men høyere driftskost +3. **AWS SageMaker** — Konkurransedyktig, men mangler norske compliance-sertifiseringer +4. **On-prem GPU-cluster** — Maks kontroll, men krever betydelig CapEx og driftskompetanse + +## Decision Outcome + +Chosen option: **Azure AI Foundry**, fordi det balanserer compliance, driftbarhet, og fleksibilitet best for vår bemanning og tidsramme. + +### Consequences + +- Good: full compliance-pakke for offentlig sektor, raskere time-to-prod, integrert med eksisterende Entra ID +- Good: customer-managed keys og Customer Lockbox tilgjengelig +- Bad: lock-in til Azure, men mitigert via standardiserte modell-formater (ONNX) og data-portabilitet +- Bad: høyere månedlig kostnad enn ren Azure ML — kompenseres ved redusert egen-drift + +## Validation + +Beslutning evalueres etter 12 måneder mot KPI-er: +- Saksbehandlingstid (mål: -40%) +- Modell-nøyaktighet (mål: ≥96% F1) +- Total cost (mål: ≤ NOK 1.7M/år) +- Compliance-status (mål: 100% av krav dekket innen 2027-08-02) + +## More Information + +- Compare-rapport: see `compare-foundry-vs-aml.md` +- Cost-analyse: see `cost-tco-3year.md` +- Security-vurdering: see `security-foundry-baseline.md` diff --git a/plugins/ms-ai-architect/playground/test-fixtures/classify.md b/plugins/ms-ai-architect/playground/test-fixtures/classify.md new file mode 100644 index 0000000..db41099 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/classify.md @@ -0,0 +1,33 @@ +# EU AI Act — Klassifisering: ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Beskrivelse: AI-system som identifiserer kjøretøy som har overtrådt fartsgrense via kameradata + kjøretøyregister + +## Risikonivå + +Risk-level: høy + +## Rolle + +Rolle: Provider og Deployer (utvikler internt + drifter selv) + +## Begrunnelse + +Reasoning: Systemet brukes av offentlig myndighet for håndheving av lov, og påvirker individers rettigheter direkte gjennom automatisert beslutningsstøtte for sanksjonering. Dette plasserer systemet under Annex III, punkt 6 (rettshåndhevelse) og krever full høyrisiko-compliance per Art. 6(2). + +## Forpliktelser + +- Risk management system per Art. 9 +- Data governance og -kvalitet per Art. 10 +- Teknisk dokumentasjon per Art. 11 +- Logging og sporbarhet per Art. 12 +- Transparens overfor deployer per Art. 13 +- Menneskelig oversikt per Art. 14 +- Robusthet, sikkerhet og nøyaktighet per Art. 15 +- FRIA (Fundamental Rights Impact Assessment) per Art. 27 — obligatorisk for offentlig sektor +- Registrering i EU-database per Art. 49 +- Conformity assessment per Art. 43 + +## Frist + +Full compliance innen 2027-08-02 (Annex III høyrisiko full compliance). diff --git a/plugins/ms-ai-architect/playground/test-fixtures/compare.md b/plugins/ms-ai-architect/playground/test-fixtures/compare.md new file mode 100644 index 0000000..c550d24 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/compare.md @@ -0,0 +1,40 @@ +# Sammenligning — Azure AI Foundry vs Azure ML + AKS + +System: ANPR-trafikkanalyse (Statens vegvesen) +Sammenligningsdato: 2026-04-30 + +## Subjects + +Subject 1: Azure AI Foundry +Subject 2: Azure ML + AKS + +## Sammenligning + +| Aspekt | Azure AI Foundry | Azure ML + AKS | Vinner | +|--------|------------------|----------------|--------| +| Time-to-prod | 6-8 uker for fundament | 12-16 uker | Foundry | +| Custom modell-trening | Integrert via Azure ML under panseret | Direkte Azure ML | Lik | +| Compliance-pakke for offentlig sektor | Inkludert | Må bygges selv | Foundry | +| Driftbarhet for KI-seksjonen | Lav driftbyrde, mest klikk-ops | Høy driftbyrde, full DevOps | Foundry | +| Fleksibilitet for custom infrastruktur | Begrenset til Foundry-mønstre | Full kontroll over AKS-cluster | Azure ML + AKS | +| Audit-logging på inferens | Innebygd | Må konfigureres manuelt | Foundry | +| Customer-managed keys | Tilgjengelig | Tilgjengelig | Lik | +| Customer Lockbox | Tilgjengelig | Tilgjengelig | Lik | +| Private Endpoints | Tilgjengelig | Tilgjengelig | Lik | +| Real-time inferens (<100ms) | Tilgjengelig via Foundry endpoints | Tilgjengelig via AKS | Lik | +| Total cost (3 år) | NOK 6.7M | NOK 5.9M | Azure ML + AKS | +| Lock-in til Azure | Høy | Medium (mer portabilitet i AKS) | Azure ML + AKS | +| Forklaringsmodell-integrasjon | Native Foundry-integrasjon | Krever egen wrapper | Foundry | +| Multi-region failover | Innebygd | Må implementeres manuelt | Foundry | + +## Sammendrag + +Azure AI Foundry vinner på time-to-prod, compliance-pakke, og driftbarhet. Azure ML + AKS vinner på pris (-12%) og fleksibilitet. Differansen i pris (~NOK 800k over 3 år) er liten sammenlignet med besparelsen i drift-tid for KI-seksjonen. + +## Anbefaling + +For Statens vegvesen med begrenset KI-driftkapasitet anbefales Azure AI Foundry. For organisasjoner med dedikert MLOps-team kan Azure ML + AKS gi marginalt bedre kost-nytte. + +## Kontekst + +Beslutningen er sterkere drevet av compliance og driftbarhet enn ren kostnad. Foundry's offentlig sektor-pakke sparer 8-12 uker arbeid med å sertifisere baseline-konfigurasjonen. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/conformity.md b/plugins/ms-ai-architect/playground/test-fixtures/conformity.md new file mode 100644 index 0000000..39da0f3 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/conformity.md @@ -0,0 +1,34 @@ +# Samsvarsvurdering (Art. 43) — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Vurderingsprosedyre: Annex VI (intern kontroll) + +## Sjekkliste + +| Krav | Status | Bevis | +|------|--------|-------| +| Risk Management System dokumentert | met | RMS-rapport v2.1 (2026-04-15) | +| Treningsdata-governance med kvalitetskriterier | met | Data-governance handbook §4.2 | +| Teknisk dokumentasjon Annex IV komplett | partial | Mangler ytelsesmål per stratum | +| Logging av hendelser implementert | met | OpenTelemetry-spans i Azure Monitor | +| Transparens-instruksjoner skrevet | missing | Skal leveres innen 2026-09-01 | +| Menneskelig oversikt på saksbehandlere | met | Workflow-design godkjent av juridisk | +| Nøyaktighetsmål dokumentert | partial | 96.3% overall, men ikke per kjennemerke-region | +| Robusthet under adversarielle forhold | partial | Test-suite mangler skitne plater og natt-scenarier | +| Cybersikkerhetstiltak per Art. 15 | met | NSM Grunnprinsipper-vurdering bestått | +| Conformity assessment underskrevet | missing | Avhengig av FRIA-resultat | +| EU declaration of conformity utstedt | missing | Avhenger av Art. 47 | +| CE-merking påført | missing | Markedsplassering ikke aktuell (intern bruk) — vurder om Art. 48 gjelder | + +## Frister + +| Dato | Milepæl | Status | +|------|---------|--------| +| 2026-08-02 | GPAI-krav + Annex III høyrisiko | upcoming | +| 2026-09-01 | Transparens-instruksjoner ferdigstilt | upcoming | +| 2027-02-01 | FRIA og DPIA-revisjon | upcoming | +| 2027-08-02 | Full Annex III høyrisiko-compliance | upcoming | + +## Konklusjon + +5 av 12 krav er fullt møtt; 4 er delvis møtt; 3 mangler implementering. Critical path: transparens-instruksjoner (Art. 13) blokkerer conformity declaration. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/cost.md b/plugins/ms-ai-architect/playground/test-fixtures/cost.md new file mode 100644 index 0000000..63508df --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/cost.md @@ -0,0 +1,48 @@ +# Kostnadsestimat — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Periode: 12 måneder fra produksjonssetting +Valuta: NOK + +## Distribusjon (P10/P50/P90) + +| Persentil | Månedlig (NOK) | Årlig (NOK) | +|-----------|----------------|-------------| +| P10 | 78 000 | 936 000 | +| P50 | 142 000 | 1 704 000 | +| P90 | 285 000 | 3 420 000 | + +## Månedlig fordeling (P50) + +| Komponent | Kostnad (NOK/mnd) | +|-----------|-------------------| +| Azure AI Services (OCR + classification) | 64 000 | +| Azure OpenAI (forklaringsmodell) | 28 000 | +| Azure AI Search (indeks for kjøretøyregister) | 12 000 | +| Storage (blob + cosmos for audit) | 8 500 | +| Compute (Container Apps for orchestration) | 11 000 | +| Networking (Private Endpoints + egress) | 5 200 | +| Monitoring (Sentinel + Log Analytics) | 9 800 | +| Backup og DR | 3 500 | + +## TCO-tabell (3 år) + +| År | Capex | Opex | Total | Akkumulert | +|----|-------|------|-------|------------| +| År 1 | 850 000 | 1 704 000 | 2 554 000 | 2 554 000 | +| År 2 | 120 000 | 1 875 000 | 1 995 000 | 4 549 000 | +| År 3 | 80 000 | 2 060 000 | 2 140 000 | 6 689 000 | + +## Kostnadsdrivere + +- Trafikkvolum: ~12 millioner ANPR-deteksjoner/mnd +- Forklaring-prompt-tokens: ~250 tokens per flagged hendelse +- Reservert kapasitet for 99.9% SLA + +## Konfidensgradering + +P50 er beregnet med 95% konfidens basert på 6 måneder pilot-data. P90 inkluderer 2× volum-skalering ved fullnasjonal utrulling. P10 forutsetter optimaliserte prompt-cache (>40% hit-rate). + +## Anbefaling + +Bruk P50 som budsjettlinje. Sett alarm på 1.4× P50 (≈ 200 000/mnd) for tidlig varsling. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/dpia.md b/plugins/ms-ai-architect/playground/test-fixtures/dpia.md new file mode 100644 index 0000000..47577e1 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/dpia.md @@ -0,0 +1,41 @@ +# DPIA / PVK — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Metodikk: Datatilsynets veileder + ISO/IEC 29134 + +## Risikomatrise (5×5) + +| Trussel | Sannsynlighet | Konsekvens | Score | Nivå | +|---------|---------------|------------|-------|------| +| Feilaktig kjennemerke-tolkning fører til urettmessig sanksjon | 3 | 4 | 12 | medium | +| Massiv lokasjonsdata-lekkasje fra kjøretøyregister | 2 | 5 | 10 | medium | +| AI-forklaring viser sensitiv kontekst om eier | 3 | 3 | 9 | medium | +| Stratifisert bias mot utenlandske kjennemerker | 4 | 3 | 12 | medium | +| Fysisk angrep på kameraer skaper deteksjonshull | 2 | 2 | 4 | low | +| Insider-misbruk for sporing av enkeltpersoner | 2 | 5 | 10 | medium | +| Auto-flagging utløser kjedereaksjon ved system-feil | 1 | 5 | 5 | low | +| Subject Access Request (GDPR Art. 15) ignoreres | 3 | 3 | 9 | medium | + +## Trusler + +| ID | Beskrivelse | Severity | Tiltak | +|----|-------------|----------|--------| +| T-001 | Feilaktig OCR av kjennemerker | high | Konfidensgrad-cutoff på 0.95; saksbehandler-review under cutoff | +| T-002 | Lokasjonsdata-lekkasje | critical | Pseudonymisering ved lagring; HSM-backed nøkler i Azure Key Vault | +| T-003 | Kontekst-eksponering i AI-forklaring | high | Filter på sensitive felt; kontekst kun til autorisert saksbehandler | +| T-004 | Bias mot utenlandske registre | high | Kvartalsvis stratifisert testing; juster modell ved >5% avvik | +| T-005 | Insider-misbruk | critical | Audit-logging på alle oppslag; SIEM-deteksjon av unormale mønstre | + +## Tiltak + +| ID | Tiltak | Status | Eier | +|----|--------|--------|------| +| M-001 | Cutoff-konfidensgrad implementert | done | Tech Lead | +| M-002 | Pseudonymisering pilotert | in-progress | Sikkerhetsarkitekt | +| M-003 | Bias-test-pipeline etablert | planned | Data Scientist | +| M-004 | Audit-logging utrullet | done | Drift | +| M-005 | SIEM-regler kalibrert | in-progress | SOC | + +## Konklusjon + +Restrisiko etter tiltak: medium-lav. DPIA godkjent av personvernombud 2026-04-22. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/frimpact.md b/plugins/ms-ai-architect/playground/test-fixtures/frimpact.md new file mode 100644 index 0000000..d9310d4 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/frimpact.md @@ -0,0 +1,25 @@ +# FRIA (Fundamental Rights Impact Assessment) — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Hjemmel: EU AI Act Art. 27 (obligatorisk for offentlig sektor) + +## Vurderte rettigheter + +| Rettighet | Impact | Tiltak | +|-----------|--------|--------| +| Menneskeverd | 1 | Ingen reduksjon — saksbehandler tar endelig avgjørelse, ikke AI | +| Rett til frihet og sikkerhet | 1 | Ingen frihetsberøvelse direkte fra AI; politi/domstol er reell beslutter | +| Respekt for privatliv | 4 | Massiv overvåking via veikameraer — kompenseres med strenge oppbevaringsregler (90 dager), formålsbegrensning, og minimering av kobling til kjøretøyregister | +| Personvern | 4 | DPIA gjennomført; Datatilsynet konsultert; rettslig grunnlag i vegtrafikkloven §13 — likevel høy impact pga skala | +| Ikke-diskriminering | 3 | Algoritmisk bias-testing på kjennemerker fra utenlandske registre (lavere ANPR-nøyaktighet) — kvartalsvis review | +| Ytringsfrihet og informasjonsfrihet | 0 | Ikke berørt | +| Forsamlingsfrihet | 0 | Ikke berørt | +| Religionsfrihet | 0 | Ikke berørt | +| Eiendomsrett | 2 | Gebyr/sanksjoner berører eiendomsrett — kompenseres med klagemulighet og rettslig prøving | +| Rett til effektivt rettsmiddel | 2 | Klageadgang sikret; menneskelig review garantert; AI-forklaring tilgjengelig for klager | +| Barns rettigheter | 1 | Lav direkte påvirkning; barn er sjelden registrerte førere | +| Eldres rettigheter | 2 | Eldre kan ha vanskeligere for å klage digitalt — papir-klage må fortsatt være tilgjengelig | + +## Konklusjon + +Tre rettigheter har høy impact (3-4): privatliv, personvern og ikke-diskriminering. Tiltakene reduserer reell risiko, men FRIA må re-evalueres årlig per Art. 27(2). diff --git a/plugins/ms-ai-architect/playground/test-fixtures/license.md b/plugins/ms-ai-architect/playground/test-fixtures/license.md new file mode 100644 index 0000000..18f155f --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/license.md @@ -0,0 +1,34 @@ +# Lisens-kapabilitetsmatrise — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Vurderingsdato: 2026-04-30 + +## Matrise + +| Kapabilitet | M365 E3 | M365 E5 | Copilot for M365 | Copilot Studio | Azure AI Foundry | +|-------------|---------|---------|------------------|----------------|------------------| +| OCR av kjennemerker | missing | missing | missing | conditional | available | +| Custom modell-trening | missing | missing | missing | missing | available | +| Audit-logging på AI-input | missing | available | available | available | available | +| Customer-managed keys | missing | available | conditional | conditional | available | +| Private Endpoints | missing | available | missing | conditional | available | +| Saksbehandler-co-pilot UI | missing | missing | available | available | conditional | +| Norsk språkstøtte i prompts | available | available | available | available | available | +| Compliance-pakke for offentlig sektor | missing | available | conditional | conditional | available | +| Real-time inference (<100ms) | missing | missing | missing | missing | available | +| Batch-inference for nattlige jobber | missing | missing | missing | missing | available | + +## Status-betydning + +- available: Inkludert i lisensen, klar til bruk +- cost: Tilgjengelig som tillegg, krever separat fakturering +- conditional: Kan brukes med begrensninger eller add-on +- missing: Ikke tilgjengelig på dette lisensnivået + +## Sammendrag + +Azure AI Foundry er eneste lisens som dekker alle kjernekapabiliteter. Copilot Studio passer for saksbehandler-UI men kan ikke håndtere OCR/custom modeller alene. Hybrid: Foundry (kjerne) + Copilot Studio (UI) gir best dekning. + +## Anbefaling + +Bruk Azure AI Foundry for AI-tjenester (OCR, klassifisering, forklaring). Hold M365 E5 på saksbehandler-arbeidsstasjoner for audit-logging og compliance-pakke. Vurder Copilot Studio i fase 2 for saksbehandler-co-pilot. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/migrate.md b/plugins/ms-ai-architect/playground/test-fixtures/migrate.md new file mode 100644 index 0000000..eaa39e3 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/migrate.md @@ -0,0 +1,80 @@ +# Migrasjonsplan — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Fra: On-prem OCR + manuell klassifisering +Til: Azure AI Foundry + saksbehandler-co-pilot + +## Faser + +### Fase 1 — Foundry-fundament (uker 1-6) + +Varighet: 6 uker + +Milepæler: +- Hub + projects opprettet i West Europe +- Network isolation: Private Endpoints + Vnet integration +- Identity: Entra ID-integrasjon med PIM +- Logging: OpenTelemetry → Sentinel pipeline + +Suksesskriterier: +- Pilot OCR-modell deployert med <100ms latency P95 +- Audit-logg fanger 100% av inferences +- Sikkerhetsarkitekt godkjenner foundation-design + +### Fase 2 — Modell-trening og baseline (uker 7-14) + +Varighet: 8 uker + +Milepæler: +- Treningsdata kuratert (200k norske kjennemerker, stratifisert) +- Custom modell trent på Azure ML +- Baseline-nøyaktighet etablert (mål: ≥96% F1) +- Bias-evaluering på utenlandske registre fullført + +Suksesskriterier: +- F1 ≥ 96% overall, ≥ 92% per kjøretøy-segment +- Drift-deteksjon kalibrert med terskel +- ROS-revisjon godkjent + +### Fase 3 — Saksbehandler-co-pilot (uker 15-22) + +Varighet: 8 uker + +Milepæler: +- Forklaringsmodell (GPT-4 Turbo) integrert via Foundry +- Saksbehandler-UI bygget (Copilot Studio + Power Platform) +- Workflow: AI flagger → saksbehandler reviewer → klar for sanksjon +- Brukertest med 12 saksbehandlere fra ulike regioner + +Suksesskriterier: +- Saksbehandlingstid -40% vs baseline +- Saksbehandler-tillit >7/10 i post-pilot survey +- Ingen kritiske UX-feil + +### Fase 4 — Compliance og produksjonssetting (uker 23-28) + +Varighet: 6 uker + +Milepæler: +- FRIA gjennomført og godkjent +- Conformity assessment ferdigstilt per Annex VI +- DPIA oppdatert med nye operasjonelle data +- Produksjonssetting til 3 piloter (Oslo, Bergen, Trondheim) + +Suksesskriterier: +- Personvernombud signerer DPIA +- Ingen open critical-funn fra arkitekturgjennomgang +- Stabil 99.9% uptime i 30 dager pilot + +## Risiko + +| Risiko | Sannsynlighet | Konsekvens | Tiltak | +|--------|---------------|------------|--------| +| Custom modell underyter mot 96% mål | medium | high | Backup-strategi: bruk Azure AI Vision OCR som fallback | +| Saksbehandler-motstand mot AI | medium | medium | Tidlig involvering; transparent forklaring; opt-out på enkelt-saker | +| FRIA blokkerer fase 4 | low | high | Pre-FRIA-kjøring i fase 2 for tidlig varsling | +| Cost-overrun ved skalering | medium | medium | Reserved capacity-binding etter fase 3 | + +## Total varighet + +28 uker (~7 måneder). Avhengighet: Foundry-fundament må være ferdig før modell-trening starter. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/poc.md b/plugins/ms-ai-architect/playground/test-fixtures/poc.md new file mode 100644 index 0000000..43b1c54 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/poc.md @@ -0,0 +1,75 @@ +# POC-plan — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +POC-mål: Validere at Azure AI Foundry kan dekke OCR + forklaring + audit innen tids- og kostbudsjett + +## Faser + +### Fase 1 — Foundation (uker 1-2) + +Varighet: 2 uker + +Milepæler: +- Foundry hub + project i West Europe +- Identity og networking konfigurert +- Sample-data uploadet (10k anonymiserte kjennemerker) + +Suksesskriterier: +- Inferens-endpoint nåbart fra dev-Vnet via Private Endpoint +- Audit-logg fanger første test-inferens +- Cost-monitor viser daglig forbruk i Azure portal + +### Fase 2 — OCR-modell (uker 3-5) + +Varighet: 3 uker + +Milepæler: +- Pre-trent Azure AI Vision OCR pilotert +- Custom fine-tune på 10k kjennemerker +- Sammenligning av accuracy/latency mellom de to + +Suksesskriterier: +- F1 ≥ 92% på pilot-sett (lavere mål enn produksjon, akseptabelt for POC) +- Latency P95 < 200ms +- Inference-cost ≤ NOK 0.04 per kall + +### Fase 3 — Forklarings-loop (uker 6-7) + +Varighet: 2 uker + +Milepæler: +- GPT-4 Turbo via Foundry integrert +- Prompt-template for forklaring av flagged sak +- Saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere + +Suksesskriterier: +- Forklaring referer til konfidens og kontekst korrekt i 95% av tilfellene +- Saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering") +- Prompt-tokens under 250 i snitt per sak + +### Fase 4 — Compliance-pre-check (uke 8) + +Varighet: 1 uke + +Milepæler: +- Audit-logg mot EU AI Act Art. 12-krav +- Customer-managed keys verifisert +- Pre-DPIA-sjekk gjort med personvernombud + +Suksesskriterier: +- Audit-logg dekker 100% av inferences med tidsstempel + bruker +- Personvernombud signer pre-DPIA-utkast +- Ingen åpenbare GDPR-blokkere + +## Risiko + +| Risiko | Sannsynlighet | Konsekvens | Tiltak | +|--------|---------------|------------|--------| +| Custom OCR-modell underyter pre-trent | medium | medium | Aksepter pre-trent for POC; planlegg custom for full prod | +| Foundry-quota i West Europe utilstrekkelig | low | medium | Reserver kapasitet før POC starter | +| Saksbehandler-recruitment forsinker fase 3 | medium | low | Bruk interne ressurser i KI-seksjonen som mock | +| Audit-logg-format ikke kompatibelt med Sentinel | low | medium | Test integrasjon i fase 1 | + +## Total varighet + +8 uker. Beslutningskriterium for full prosjektgodkjenning: alle 4 fasers suksesskriterier møtt. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/requirements.md b/plugins/ms-ai-architect/playground/test-fixtures/requirements.md new file mode 100644 index 0000000..e491b47 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/requirements.md @@ -0,0 +1,31 @@ +# EU AI Act — Krav for høyrisiko provider+deployer + +System: ANPR-trafikkanalyse (Statens vegvesen) +Klassifisering: høy risiko, rolle Provider+Deployer + +## Krav + +| Krav | Status | Kilde | +|------|--------|-------| +| Risk Management System etablert og dokumentert | partial | Art. 9 | +| Treningsdata-governance med kvalitetssjekker | met | Art. 10 | +| Teknisk dokumentasjon (Annex IV) komplett | partial | Art. 11 | +| Automatisk logging av hendelser implementert | met | Art. 12 | +| Transparens-instruksjoner for deployer skrevet | missing | Art. 13 | +| Human-in-the-loop på alle sanksjonsavgjørelser | met | Art. 14 | +| Nøyaktighetsmål med stratifisert testing | partial | Art. 15 | +| Cybersikkerhetstiltak verifisert (NSM Grunnprinsipper) | met | Art. 15 | +| FRIA gjennomført før idriftsettelse | missing | Art. 27 | +| Registrering i EU-database planlagt | missing | Art. 49 | +| Conformity assessment per Annex VI gjennomført | missing | Art. 43 | +| CE-merking utført før markedsføring | missing | Art. 48 | +| Post-market monitoring system etablert | partial | Art. 72 | +| Avviksrapportering til myndigheter rutinert | partial | Art. 73 | + +## Sammendrag + +- 4 krav er møtt (met) +- 4 krav er delvis møtt (partial) +- 6 krav mangler implementering (missing) + +Prioritering: FRIA og transparens-instruksjoner må adresseres før idriftsettelse 2027-08-02. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/review.md b/plugins/ms-ai-architect/playground/test-fixtures/review.md new file mode 100644 index 0000000..ac803ce --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/review.md @@ -0,0 +1,30 @@ +# Arkitekturgjennomgang — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Vurderingsdato: 2026-04-30 +Reviewers: AI-arkitekt, sikkerhetsarkitekt, personvernombud + +## Funn + +| ID | Severity | Lokasjon | Anbefaling | +|----|----------|----------|------------| +| F-01 | critical | Authentication layer | Tilgang til AI-forklaringer mangler attribute-based access control — alle saksbehandlere ser alle saker. Implementer ABAC basert på sak-tildeling. | +| F-02 | high | Data pipeline | Treningsdata oppdateres månedlig, men ingen formell drift-deteksjon. Etabler statistisk drift-monitoring i Azure Monitor. | +| F-03 | high | Model serving | Modellen serves fra en enkelt regional endpoint uten failover. Replikér til en sekundær region for RTO < 1t. | +| F-04 | high | Logging | Audit-logg lagres 30 dager — under arkivlovens krav for sak-relevant info. Endre retensjon til 7 år for sak-knyttede oppslag. | +| F-05 | medium | Cost management | Ingen budsjettalarmer på Azure AI Services — prediction-kostnaden kan øke med 4× ved trafikk-topp uten varsel. | +| F-06 | medium | Compliance | FRIA-rapport ikke vedlikeholdt etter modell-endring 2026-03-12. Re-evaluering trengs. | +| F-07 | medium | UX | Saksbehandler-grensesnitt viser ikke konfidensgrad tydelig nok — risiko for over-trust på AI-output. | +| F-08 | low | Documentation | README mangler oppdatert arkitekturdiagram (siste fra 2025-11). | +| F-09 | low | Testing | Manglende E2E-test for utenlandske kjennemerker. | + +## Sammendrag + +Critical (1): ABAC mangler — må fikses før idriftsettelse. +High (3): Drift-deteksjon, failover, logg-retensjon — må fikses innen 6 mnd. +Medium (3): Budsjett, FRIA-revisjon, UX-konfidens — bør fikses innen 12 mnd. +Low (2): Dokumentasjon, testing — opportunity-quality. + +## Anbefaling + +Idriftsettelse anbefales IKKE før F-01 er løst. F-02 til F-04 må adresseres innen 2026-09-01 for å holde 2027-08-02-fristen. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/ros.md b/plugins/ms-ai-architect/playground/test-fixtures/ros.md new file mode 100644 index 0000000..961f19a --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/ros.md @@ -0,0 +1,53 @@ +# ROS-analyse — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Metodikk: NS 5814 / ISO 31000 + AI-trusselbibliotek + +## Risikomatrise (5×5) + +| Trussel | Sannsynlighet | Konsekvens | Score | Nivå | +|---------|---------------|------------|-------|------| +| Modell-drift som degraderer nøyaktighet | 4 | 3 | 12 | medium | +| Treningsdata-bias mot småbiler eller MC | 3 | 3 | 9 | medium | +| Adversarielle plate-design unngår OCR | 2 | 4 | 8 | medium | +| API-utilgjengelighet i kritisk periode | 2 | 4 | 8 | medium | +| Klage-saksbehandling overbelastet ved skalering | 4 | 3 | 12 | medium | +| Datatap pga manglende georedundans | 1 | 5 | 5 | low | +| Misbruk av AI-forklaring som bevis | 3 | 4 | 12 | medium | +| Kjedevirkning ved feil i kjøretøyregister | 2 | 5 | 10 | medium | + +## Radar-akser (7 dimensjoner) + +| Akse | Score (1-5) | +|------|-------------| +| Tilgjengelighet | 4 | +| Konfidensialitet | 4 | +| Integritet | 4 | +| Sporbarhet | 5 | +| Pålitelighet | 3 | +| Robusthet | 3 | +| Etterlevelse | 4 | + +## Trusler + +| ID | Beskrivelse | Severity | Tiltak | +|----|-------------|----------|--------| +| T-101 | Modell-drift over tid | high | Månedlig retraining-pipeline; alarm ved >2% nøyaktighetsfall | +| T-102 | Bias mot småbiler/MC | high | Stratifisert evaluering ved hver release | +| T-103 | Adversarielle plate-design | medium | Robusthetstest mot kjente angreps-mønstre | +| T-104 | API-utilgjengelighet | medium | Multi-region failover med RTO 1t | +| T-105 | Saksbehandlings-overbelastning | high | Automatisk batching + prioriteringsregler | + +## Tiltak + +| ID | Tiltak | Status | Eier | +|----|--------|--------|------| +| M-101 | Retraining-pipeline etablert | done | MLOps | +| M-102 | Stratifisert evalueringssett bygget | in-progress | Data Scientist | +| M-103 | Robusthetstest planlagt | planned | Sikkerhetsarkitekt | +| M-104 | Multi-region failover testet | done | Drift | +| M-105 | Batching-logikk implementert | in-progress | Tech Lead | + +## Konklusjon + +Restrisiko etter tiltak: medium. ROS godkjent av seksjonsleder 2026-04-25. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/security.md b/plugins/ms-ai-architect/playground/test-fixtures/security.md new file mode 100644 index 0000000..d77e522 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/security.md @@ -0,0 +1,41 @@ +# Sikkerhetsvurdering 6×5 — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Rammeverk: NSM Grunnprinsipper + Microsoft Cloud Security + EU AI Act Art. 15 + +## Score per dimensjon + +| Dimensjon | Score | Vurdering | +|-----------|-------|-----------| +| Identitet og tilgang | 4 | Entra ID med MFA, conditional access; mangler PIM på enkelte serviceprinciper | +| Datasikkerhet og personvern | 3 | Customer-managed keys, pseudonymisering pilotert; full Customer Lockbox ikke aktivert | +| Modell- og prompt-sikkerhet | 3 | Content filters aktivert; jailbreak-deteksjon via Azure AI Content Safety; ingen red-team-runde gjort | +| Nettverk og perimeter | 5 | Private Endpoint mot alle Azure AI-tjenester; ingen offentlig eksponering | +| Logging og hendelseshåndtering | 4 | OpenTelemetry → Sentinel; SOC integrert; mangler automatisk avviksdeteksjon for AI-output | +| Operasjonell og leverandørsikkerhet | 3 | Hovedleverandører verifisert; mangler third-party penetrasjons-test siste 12 mnd | + +## Risikomatrise (6×5) + +| Risiko | Sannsynlighet | Konsekvens | Score | +|--------|---------------|------------|-------| +| Lekkasje av treningsdata | 2 | 5 | 10 | +| Prompt injection i forklaringsmodell | 3 | 3 | 9 | +| Modell-tyveri (model extraction) | 2 | 3 | 6 | +| Adversarielt eksempel forgifter output | 2 | 4 | 8 | +| Cloud-leverandør-utilgjengelighet | 2 | 4 | 8 | +| Insider-trussel (unauthorized inference) | 2 | 5 | 10 | + +## Funn + +| ID | Severity | Lokasjon | Anbefaling | +|----|----------|----------|------------| +| S-01 | high | Identity | Aktivér PIM på alle serviceprinciper innen 2026-06-01 | +| S-02 | medium | Data | Aktivér Customer Lockbox for trafikkdata | +| S-03 | high | Model | Gjennomfør formell red-team-runde med Azure AI Red Team-veiledning | +| S-04 | low | Network | Periodisk verifikasjon av Private Endpoint-konfigurasjon | +| S-05 | medium | Logging | Implementer ML-basert avviksdeteksjon på AI-output-rate | +| S-06 | medium | Vendor | Bestilt third-party penetrasjons-test for Q3 2026 | + +## Aggregat + +Totalscore: 22/30 (73%) — modent men ikke best-i-klassen. Modell- og prompt-sikkerhet er svakeste dimensjon. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/summary.md b/plugins/ms-ai-architect/playground/test-fixtures/summary.md new file mode 100644 index 0000000..b6742e7 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/summary.md @@ -0,0 +1,41 @@ +# Beslutningsnotat — ANPR-trafikkanalyse + +System: ANPR-trafikkanalyse (Statens vegvesen) +Dato: 2026-04-30 +Til: Direktør for Digital og IT +Fra: KI-seksjonen + +## Verdict + +Verdict: warning +Sub: Pilot anbefalt med betingelser + +## Rationale + +Arkitekturen er teknisk solid og økonomisk forsvarlig (P50 NOK 1.7M/år), men compliance-arbeidet ligger 6 måneder bak ideell tidslinje. Pilot kan starte etter at FRIA og transparens-instruksjoner er ferdigstilt; full produksjonssetting krever lukking av alle critical funn fra arkitekturgjennomgang. + +## Key Metrics + +| Metric | Verdi | Mål | +|--------|-------|-----| +| Compliance-dekning | 33% (4/12 fullt møtt) | 100% innen 2027-08-02 | +| Sikkerhetsscore | 22/30 (73%) | ≥27/30 (90%) | +| TCO 3 år | NOK 6.7M | ≤ NOK 7M | +| Saksbehandlingstid (pilot) | -32% (estimert) | -40% | +| ROS-restrisiko | medium | low-medium | + +## Next Steps + +- Lukk F-01 (ABAC) innen 2026-06-15 +- Gjennomfør FRIA innen 2026-07-15 (Art. 27-frist) +- Produksjonsdokumentere transparens-instruksjoner innen 2026-09-01 +- Pilot 3 regioner (Oslo, Bergen, Trondheim) Q4 2026 +- Full utrulling Q2 2027 + +## Restrisiko + +Etter foreslåtte tiltak: medium. Hovedeksponering: bias mot utenlandske kjennemerker krever løpende monitoring. + +## Anbefaling + +Godkjenn pilot-fase med tydelig stage-gate til full produksjonssetting. Avstem med Datatilsynet før fase 4. diff --git a/plugins/ms-ai-architect/playground/test-fixtures/transparency.md b/plugins/ms-ai-architect/playground/test-fixtures/transparency.md new file mode 100644 index 0000000..f36e4d4 --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/transparency.md @@ -0,0 +1,25 @@ +# Transparensnotis — ANPR-trafikkanalyse + +Tittel: Informasjon om automatisert trafikkanalyse (Art. 13 og Art. 50) + +## Hva systemet gjør + +Statens vegvesen bruker et AI-system som leser av kjennemerker (ANPR — Automatic Number Plate Recognition) fra kameraer langs riksveg og kommunal veg. Systemet identifiserer kjøretøy som har overtrådt fartsgrensen gjennom å beregne gjennomsnittsfart mellom to kameraposisjoner. + +## Hvilke data som behandles + +Behandlede data inkluderer kjennemerke, tidsstempel, kameraposisjon, kjøretøytype og oppslag i Statens vegvesens kjøretøyregister. Personlig identifiserbar informasjon kobles ikke til oppføring uten saksbehandlers eksplisitte godkjenning. + +## Hvordan beslutninger tas + +Systemet er beslutningsstøtte, ikke -taker. Hver flagged hendelse går til menneskelig saksbehandler som tar endelig avgjørelse om gebyr eller anmeldelse. AI-output inkluderer konfidensgrad og forklaring av hvorfor saken ble flagget. + +## Dine rettigheter + +Som registrert har du rett til innsyn (GDPR Art. 15), retting (Art. 16), sletting (Art. 17 — med begrensninger ved lovhjemmel), og å klage til Datatilsynet. Du kan også be om manuell vurdering uten AI-bistand per GDPR Art. 22. + +## Kontakt + +Personvernombud: pvo@vegvesen.no +Tilsyn: Datatilsynet — postkasse@datatilsynet.no +EU AI Act-tilsyn: under etablering (Digitaliseringsdirektoratet er forventet) diff --git a/plugins/ms-ai-architect/playground/test-fixtures/utredning.md b/plugins/ms-ai-architect/playground/test-fixtures/utredning.md new file mode 100644 index 0000000..3793fed --- /dev/null +++ b/plugins/ms-ai-architect/playground/test-fixtures/utredning.md @@ -0,0 +1,61 @@ +# AI-arkitekturutredning — ANPR-trafikkanalyse for Statens vegvesen + +## 1. Bakgrunn og formål + +Statens vegvesen har siden 2018 driftet en on-prem ANPR-løsning for trafikkanalyse på riksveger og enkelte kommunale veger. Løsningen er basert på OCR-bibliotek fra 2017 og leveres som et lukket system uten mulighet for retrening eller forbedring av modell. Saksbehandlingen er manuell og tar i snitt 14 minutter per sak. KI-seksjonen utreder modernisering til en skybasert AI-plattform som støtter custom modell-trening, audit-logging på inferens-nivå, og saksbehandler-co-pilot. + +## 2. Mandat + +Utredningen skal: +- Anbefale teknologivalg blant Azure AI Foundry, Azure ML+AKS, AWS SageMaker og on-prem GPU-cluster +- Vurdere compliance-status mot EU AI Act, GDPR, sikkerhetsloven og arkivloven +- Estimere TCO over 3 år +- Identifisere risiko og foreslå mitigerende tiltak +- Definere KPI-er for produksjonssetting + +## 3. Metode + +Utredningen kombinerer: +- Kvalitativ analyse av compliance-krav per relevante lover og forskrifter +- Kvantitativ TCO-analyse basert på 12 millioner ANPR-deteksjoner/mnd +- Risikoanalyse per NS 5814 og DPIA per Datatilsynets veileder +- Markedsundersøkelse av tilgjengelige plattformer fra Azure, AWS og GCP + +## 4. Funn + +### 4.1 Compliance + +EU AI Act klassifiserer systemet som høyrisiko (Annex III, punkt 6 — rettshåndhevelse). Statens vegvesen er Provider og Deployer, hvilket trigger alle krav i Art. 9-15 + Art. 27 (FRIA) + Art. 49 (registrering). + +### 4.2 Teknologivalg + +Azure AI Foundry er anbefalt primær plattform fordi: +- Full compliance-pakke for offentlig sektor +- Customer-managed keys og Customer Lockbox tilgjengelig +- Custom modell-trening via integrert Azure ML +- Norsk dataresidens (West Europe + EU Data Boundary) + +### 4.3 TCO + +3-års TCO estimert til NOK 6.7M (P50). Hovedkostnad: Azure AI Services (38%) + Azure OpenAI (16%). + +### 4.4 Risiko + +Hovedrisiko: bias mot utenlandske kjennemerker, modell-drift over tid, og manglende ABAC-implementering på saksbehandler-tilgang. Alle har konkrete tiltak. + +## 5. Konklusjon + +Anbefalt: gjennomfør 8-ukers POC før formell prosjektoppstart. Ved vellykket POC, full implementering over 28 uker mot produksjonssetting Q2 2027. + +## 6. Anbefaling + +Godkjenn POC-budsjett på NOK 1.2M og forenkle prosjekt-mandat for fase 1-4 ved positiv POC-evaluering. + +## 7. Referanser + +- EU AI Act 2024/1689 +- GDPR 2016/679 +- Sikkerhetsloven (LOV-2018-06-01-24) +- Arkivloven (LOV-1992-12-04-126) +- NS 5814:2008 — Krav til risikovurderinger +- Datatilsynets veileder for AI og personvern (2024)