chore(ms-ai-architect): scrub identifying references from fixtures + remove screenshots
Removes:
- All 6 PNG screenshots (playground/screenshots/) and the capture script
(scripts/screenshots/capture-playground.py).
- "Screenshots" section from plugin README.
- "Screenshot-suite" section from plugin CLAUDE.md.
- Screenshots bullet from marketplace root README's ms-ai-architect listing.
Scrubs the 17 synthetic fixtures + CHANGELOG/CLAUDE/README of identifying
references: organization names, government-agency names, agency-specific
terminology, sector-specific use cases. Replaced with generic placeholder
data ("Acme AS" / "Demosystem") that exercises the same parser archetypes.
Plugin's domain-target wording (Datatilsynet, offentlig sektor, offentlig
myndighet, rettshåndhevelse, NS 5814, Utredningsinstruksen, EU AI Act
Annex III categories) is intact — those describe the plugin's intended
audience, not any specific entity.
This is a cleanup commit. Earlier git history still contains the prior
references; force-push or rebase is required if scrubbing the history is
desired. That decision is out of scope here — please run it separately
if needed.
Verified post-scrub:
- bash tests/validate-plugin.sh -> 215/215 PASS
- bash tests/run-e2e.sh --playground -> 240/240 PASS (170 + 70)
This commit is contained in:
parent
9664bf1b1c
commit
e57dee5a03
28 changed files with 89 additions and 469 deletions
Binary file not shown.
|
Before Width: | Height: | Size: 88 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 90 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 117 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 132 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 45 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 124 KiB |
|
|
@ -1,14 +1,14 @@
|
|||
# ADR-001 — Velg Azure AI Foundry som primær AI-plattform for ANPR-trafikkanalyse
|
||||
# ADR-001 — Velg Azure AI Foundry som primær AI-plattform for Demosystem
|
||||
|
||||
Status: accepted
|
||||
Date: 2026-04-30
|
||||
Deciders: AI-arkitekt, sikkerhetsarkitekt, seksjonsleder
|
||||
Consulted: personvernombud, juridisk rådgiver, Drift
|
||||
Informed: prosjekteierskap, KI-seksjonen
|
||||
Consulted: Datatilsynet, juridisk rådgiver, Drift
|
||||
Informed: prosjekteierskap, AI-teamet
|
||||
|
||||
## Context and Problem Statement
|
||||
|
||||
Statens vegvesen skal modernisere ANPR-trafikkanalyse fra on-prem OCR-løsning til skybasert AI-plattform. Plattformen må støtte custom modell-trening, audit-logging på inferens-nivå, real-time inferens (<100ms P95), og full compliance med EU AI Act + GDPR + sikkerhetsloven.
|
||||
Acme AS skal modernisere Demosystem fra on-prem OCR-løsning til skybasert AI-plattform. Plattformen må støtte custom modell-trening, audit-logging på inferens-nivå, real-time inferens (<100ms P95), og full compliance med EU AI Act + GDPR + sikkerhetsloven.
|
||||
|
||||
## Decision Drivers
|
||||
|
||||
|
|
@ -17,7 +17,7 @@ Statens vegvesen skal modernisere ANPR-trafikkanalyse fra on-prem OCR-løsning t
|
|||
- Customer-managed keys og Private Endpoints
|
||||
- Custom modell-trening kapabilitet
|
||||
- Total cost of ownership over 3 år
|
||||
- Driftbarhet for KI-seksjonen
|
||||
- Driftbarhet for AI-teamet
|
||||
|
||||
## Considered Options
|
||||
|
||||
|
|
@ -32,7 +32,7 @@ Chosen option: **Azure AI Foundry**, fordi det balanserer compliance, driftbarhe
|
|||
|
||||
### Consequences
|
||||
|
||||
- Good: full compliance-pakke for offentlig sektor, raskere time-to-prod, integrert med eksisterende Entra ID
|
||||
- Good: full compliance-pakke for leverandøren, raskere time-to-prod, integrert med eksisterende Entra ID
|
||||
- Good: customer-managed keys og Customer Lockbox tilgjengelig
|
||||
- Bad: lock-in til Azure, men mitigert via standardiserte modell-formater (ONNX) og data-portabilitet
|
||||
- Bad: høyere månedlig kostnad enn ren Azure ML — kompenseres ved redusert egen-drift
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# EU AI Act — Klassifisering: ANPR-trafikkanalyse
|
||||
# EU AI Act — Klassifisering: Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
Beskrivelse: AI-system som identifiserer kjøretøy som har overtrådt fartsgrense via kameradata + kjøretøyregister
|
||||
System: Demosystem (Acme AS)
|
||||
Beskrivelse: AI-system som identifiserer objekter som krever oppfølging via sensordata + objektregister
|
||||
|
||||
## Risikonivå
|
||||
|
||||
|
|
@ -13,7 +13,7 @@ Rolle: Provider og Deployer (utvikler internt + drifter selv)
|
|||
|
||||
## Begrunnelse
|
||||
|
||||
Reasoning: Systemet brukes av offentlig myndighet for håndheving av lov, og påvirker individers rettigheter direkte gjennom automatisert beslutningsstøtte for sanksjonering. Dette plasserer systemet under Annex III, punkt 6 (rettshåndhevelse) og krever full høyrisiko-compliance per Art. 6(2).
|
||||
Reasoning: Systemet brukes av offentlig myndighet for håndheving av lov, og påvirker individers rettigheter direkte gjennom automatisert beslutningsstøtte for håndtering. Dette plasserer systemet under Annex III, punkt 6 (rettshåndhevelse) og krever full høyrisiko-compliance per Art. 6(2).
|
||||
|
||||
## Forpliktelser
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Sammenligning — Azure AI Foundry vs Azure ML + AKS
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Sammenligningsdato: 2026-04-30
|
||||
|
||||
## Subjects
|
||||
|
|
@ -14,8 +14,8 @@ Subject 2: Azure ML + AKS
|
|||
|--------|------------------|----------------|--------|
|
||||
| Time-to-prod | 6-8 uker for fundament | 12-16 uker | Foundry |
|
||||
| Custom modell-trening | Integrert via Azure ML under panseret | Direkte Azure ML | Lik |
|
||||
| Compliance-pakke for offentlig sektor | Inkludert | Må bygges selv | Foundry |
|
||||
| Driftbarhet for KI-seksjonen | Lav driftbyrde, mest klikk-ops | Høy driftbyrde, full DevOps | Foundry |
|
||||
| Compliance-pakke for leverandøren | Inkludert | Må bygges selv | Foundry |
|
||||
| Driftbarhet for AI-teamet | Lav driftbyrde, mest klikk-ops | Høy driftbyrde, full DevOps | Foundry |
|
||||
| Fleksibilitet for custom infrastruktur | Begrenset til Foundry-mønstre | Full kontroll over AKS-cluster | Azure ML + AKS |
|
||||
| Audit-logging på inferens | Innebygd | Må konfigureres manuelt | Foundry |
|
||||
| Customer-managed keys | Tilgjengelig | Tilgjengelig | Lik |
|
||||
|
|
@ -29,12 +29,12 @@ Subject 2: Azure ML + AKS
|
|||
|
||||
## Sammendrag
|
||||
|
||||
Azure AI Foundry vinner på time-to-prod, compliance-pakke, og driftbarhet. Azure ML + AKS vinner på pris (-12%) og fleksibilitet. Differansen i pris (~NOK 800k over 3 år) er liten sammenlignet med besparelsen i drift-tid for KI-seksjonen.
|
||||
Azure AI Foundry vinner på time-to-prod, compliance-pakke, og driftbarhet. Azure ML + AKS vinner på pris (-12%) og fleksibilitet. Differansen i pris (~NOK 800k over 3 år) er liten sammenlignet med besparelsen i drift-tid for AI-teamet.
|
||||
|
||||
## Anbefaling
|
||||
|
||||
For Statens vegvesen med begrenset KI-driftkapasitet anbefales Azure AI Foundry. For organisasjoner med dedikert MLOps-team kan Azure ML + AKS gi marginalt bedre kost-nytte.
|
||||
For Acme AS med begrenset KI-driftkapasitet anbefales Azure AI Foundry. For organisasjoner med dedikert MLOps-team kan Azure ML + AKS gi marginalt bedre kost-nytte.
|
||||
|
||||
## Kontekst
|
||||
|
||||
Beslutningen er sterkere drevet av compliance og driftbarhet enn ren kostnad. Foundry's offentlig sektor-pakke sparer 8-12 uker arbeid med å sertifisere baseline-konfigurasjonen.
|
||||
Beslutningen er sterkere drevet av compliance og driftbarhet enn ren kostnad. Foundry's leverandøren-pakke sparer 8-12 uker arbeid med å sertifisere baseline-konfigurasjonen.
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Samsvarsvurdering (Art. 43) — ANPR-trafikkanalyse
|
||||
# Samsvarsvurdering (Art. 43) — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Vurderingsprosedyre: Annex VI (intern kontroll)
|
||||
|
||||
## Sjekkliste
|
||||
|
|
@ -12,8 +12,8 @@ Vurderingsprosedyre: Annex VI (intern kontroll)
|
|||
| Teknisk dokumentasjon Annex IV komplett | partial | Mangler ytelsesmål per stratum |
|
||||
| Logging av hendelser implementert | met | OpenTelemetry-spans i Azure Monitor |
|
||||
| Transparens-instruksjoner skrevet | missing | Skal leveres innen 2026-09-01 |
|
||||
| Menneskelig oversikt på saksbehandlere | met | Workflow-design godkjent av juridisk |
|
||||
| Nøyaktighetsmål dokumentert | partial | 96.3% overall, men ikke per kjennemerke-region |
|
||||
| Menneskelig oversikt på saksbehandler | met | Workflow-design godkjent av juridisk |
|
||||
| Nøyaktighetsmål dokumentert | partial | 96.3% overall, men ikke per objekt-ID-region |
|
||||
| Robusthet under adversarielle forhold | partial | Test-suite mangler skitne plater og natt-scenarier |
|
||||
| Cybersikkerhetstiltak per Art. 15 | met | NSM Grunnprinsipper-vurdering bestått |
|
||||
| Conformity assessment underskrevet | missing | Avhengig av FRIA-resultat |
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Kostnadsestimat — ANPR-trafikkanalyse
|
||||
# Kostnadsestimat — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Periode: 12 måneder fra produksjonssetting
|
||||
Valuta: NOK
|
||||
|
||||
|
|
@ -18,7 +18,7 @@ Valuta: NOK
|
|||
|-----------|-------------------|
|
||||
| Azure AI Services (OCR + classification) | 64 000 |
|
||||
| Azure OpenAI (forklaringsmodell) | 28 000 |
|
||||
| Azure AI Search (indeks for kjøretøyregister) | 12 000 |
|
||||
| Azure AI Search (indeks for objektregister) | 12 000 |
|
||||
| Storage (blob + cosmos for audit) | 8 500 |
|
||||
| Compute (Container Apps for orchestration) | 11 000 |
|
||||
| Networking (Private Endpoints + egress) | 5 200 |
|
||||
|
|
@ -35,7 +35,7 @@ Valuta: NOK
|
|||
|
||||
## Kostnadsdrivere
|
||||
|
||||
- Trafikkvolum: ~12 millioner ANPR-deteksjoner/mnd
|
||||
- Datavolum: ~12 millioner Demosystem-deteksjoner/mnd
|
||||
- Forklaring-prompt-tokens: ~250 tokens per flagged hendelse
|
||||
- Reservert kapasitet for 99.9% SLA
|
||||
|
||||
|
|
|
|||
|
|
@ -1,17 +1,17 @@
|
|||
# DPIA / PVK — ANPR-trafikkanalyse
|
||||
# DPIA / PVK — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Metodikk: Datatilsynets veileder + ISO/IEC 29134
|
||||
|
||||
## Risikomatrise (5×5)
|
||||
|
||||
| Trussel | Sannsynlighet | Konsekvens | Score | Nivå |
|
||||
|---------|---------------|------------|-------|------|
|
||||
| Feilaktig kjennemerke-tolkning fører til urettmessig sanksjon | 3 | 4 | 12 | medium |
|
||||
| Massiv lokasjonsdata-lekkasje fra kjøretøyregister | 2 | 5 | 10 | medium |
|
||||
| Feilaktig objekt-ID-tolkning fører til urettmessig sanksjon | 3 | 4 | 12 | medium |
|
||||
| Massiv lokasjonsdata-lekkasje fra objektregister | 2 | 5 | 10 | medium |
|
||||
| AI-forklaring viser sensitiv kontekst om eier | 3 | 3 | 9 | medium |
|
||||
| Stratifisert bias mot utenlandske kjennemerker | 4 | 3 | 12 | medium |
|
||||
| Fysisk angrep på kameraer skaper deteksjonshull | 2 | 2 | 4 | low |
|
||||
| Stratifisert bias mot utenlandske objekt-ID | 4 | 3 | 12 | medium |
|
||||
| Fysisk angrep på sensordata skaper deteksjonshull | 2 | 2 | 4 | low |
|
||||
| Insider-misbruk for sporing av enkeltpersoner | 2 | 5 | 10 | medium |
|
||||
| Auto-flagging utløser kjedereaksjon ved system-feil | 1 | 5 | 5 | low |
|
||||
| Subject Access Request (GDPR Art. 15) ignoreres | 3 | 3 | 9 | medium |
|
||||
|
|
@ -20,7 +20,7 @@ Metodikk: Datatilsynets veileder + ISO/IEC 29134
|
|||
|
||||
| ID | Beskrivelse | Severity | Tiltak |
|
||||
|----|-------------|----------|--------|
|
||||
| T-001 | Feilaktig OCR av kjennemerker | high | Konfidensgrad-cutoff på 0.95; saksbehandler-review under cutoff |
|
||||
| T-001 | Feilaktig OCR av objekt-ID | high | Konfidensgrad-cutoff på 0.95; saksbehandler-review under cutoff |
|
||||
| T-002 | Lokasjonsdata-lekkasje | critical | Pseudonymisering ved lagring; HSM-backed nøkler i Azure Key Vault |
|
||||
| T-003 | Kontekst-eksponering i AI-forklaring | high | Filter på sensitive felt; kontekst kun til autorisert saksbehandler |
|
||||
| T-004 | Bias mot utenlandske registre | high | Kvartalsvis stratifisert testing; juster modell ved >5% avvik |
|
||||
|
|
@ -38,4 +38,4 @@ Metodikk: Datatilsynets veileder + ISO/IEC 29134
|
|||
|
||||
## Konklusjon
|
||||
|
||||
Restrisiko etter tiltak: medium-lav. DPIA godkjent av personvernombud 2026-04-22.
|
||||
Restrisiko etter tiltak: medium-lav. DPIA godkjent av Datatilsynet 2026-04-22.
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# FRIA (Fundamental Rights Impact Assessment) — ANPR-trafikkanalyse
|
||||
# FRIA (Fundamental Rights Impact Assessment) — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Hjemmel: EU AI Act Art. 27 (obligatorisk for offentlig sektor)
|
||||
|
||||
## Vurderte rettigheter
|
||||
|
|
@ -9,9 +9,9 @@ Hjemmel: EU AI Act Art. 27 (obligatorisk for offentlig sektor)
|
|||
|-----------|--------|--------|
|
||||
| Menneskeverd | 1 | Ingen reduksjon — saksbehandler tar endelig avgjørelse, ikke AI |
|
||||
| Rett til frihet og sikkerhet | 1 | Ingen frihetsberøvelse direkte fra AI; politi/domstol er reell beslutter |
|
||||
| Respekt for privatliv | 4 | Massiv overvåking via veikameraer — kompenseres med strenge oppbevaringsregler (90 dager), formålsbegrensning, og minimering av kobling til kjøretøyregister |
|
||||
| Personvern | 4 | DPIA gjennomført; Datatilsynet konsultert; rettslig grunnlag i vegtrafikkloven §13 — likevel høy impact pga skala |
|
||||
| Ikke-diskriminering | 3 | Algoritmisk bias-testing på kjennemerker fra utenlandske registre (lavere ANPR-nøyaktighet) — kvartalsvis review |
|
||||
| Respekt for privatliv | 4 | Massiv overvåking via veikameraer — kompenseres med strenge oppbevaringsregler (90 dager), formålsbegrensning, og minimering av kobling til objektregister |
|
||||
| Personvern | 4 | DPIA gjennomført; Datatilsynet konsultert; rettslig grunnlag i interne retningslinjer §13 — likevel høy impact pga skala |
|
||||
| Ikke-diskriminering | 3 | Algoritmisk bias-testing på objekt-ID fra utenlandske registre (lavere Demosystem-nøyaktighet) — kvartalsvis review |
|
||||
| Ytringsfrihet og informasjonsfrihet | 0 | Ikke berørt |
|
||||
| Forsamlingsfrihet | 0 | Ikke berørt |
|
||||
| Religionsfrihet | 0 | Ikke berørt |
|
||||
|
|
|
|||
|
|
@ -1,20 +1,20 @@
|
|||
# Lisens-kapabilitetsmatrise — ANPR-trafikkanalyse
|
||||
# Lisens-kapabilitetsmatrise — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Vurderingsdato: 2026-04-30
|
||||
|
||||
## Matrise
|
||||
|
||||
| Kapabilitet | M365 E3 | M365 E5 | Copilot for M365 | Copilot Studio | Azure AI Foundry |
|
||||
|-------------|---------|---------|------------------|----------------|------------------|
|
||||
| OCR av kjennemerker | missing | missing | missing | conditional | available |
|
||||
| OCR av objekt-ID | missing | missing | missing | conditional | available |
|
||||
| Custom modell-trening | missing | missing | missing | missing | available |
|
||||
| Audit-logging på AI-input | missing | available | available | available | available |
|
||||
| Customer-managed keys | missing | available | conditional | conditional | available |
|
||||
| Private Endpoints | missing | available | missing | conditional | available |
|
||||
| Saksbehandler-co-pilot UI | missing | missing | available | available | conditional |
|
||||
| saksbehandler-co-pilot UI | missing | missing | available | available | conditional |
|
||||
| Norsk språkstøtte i prompts | available | available | available | available | available |
|
||||
| Compliance-pakke for offentlig sektor | missing | available | conditional | conditional | available |
|
||||
| Compliance-pakke for leverandøren | missing | available | conditional | conditional | available |
|
||||
| Real-time inference (<100ms) | missing | missing | missing | missing | available |
|
||||
| Batch-inference for nattlige jobber | missing | missing | missing | missing | available |
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Migrasjonsplan — ANPR-trafikkanalyse
|
||||
# Migrasjonsplan — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Fra: On-prem OCR + manuell klassifisering
|
||||
Til: Azure AI Foundry + saksbehandler-co-pilot
|
||||
|
||||
|
|
@ -26,29 +26,29 @@ Suksesskriterier:
|
|||
Varighet: 8 uker
|
||||
|
||||
Milepæler:
|
||||
- Treningsdata kuratert (200k norske kjennemerker, stratifisert)
|
||||
- Treningsdata kuratert (200k norske objekt-ID, stratifisert)
|
||||
- Custom modell trent på Azure ML
|
||||
- Baseline-nøyaktighet etablert (mål: ≥96% F1)
|
||||
- Bias-evaluering på utenlandske registre fullført
|
||||
|
||||
Suksesskriterier:
|
||||
- F1 ≥ 96% overall, ≥ 92% per kjøretøy-segment
|
||||
- F1 ≥ 96% overall, ≥ 92% per objekter-segment
|
||||
- Drift-deteksjon kalibrert med terskel
|
||||
- ROS-revisjon godkjent
|
||||
|
||||
### Fase 3 — Saksbehandler-co-pilot (uker 15-22)
|
||||
### Fase 3 — saksbehandler-co-pilot (uker 15-22)
|
||||
|
||||
Varighet: 8 uker
|
||||
|
||||
Milepæler:
|
||||
- Forklaringsmodell (GPT-4 Turbo) integrert via Foundry
|
||||
- Saksbehandler-UI bygget (Copilot Studio + Power Platform)
|
||||
- saksbehandler-UI bygget (Copilot Studio + Power Platform)
|
||||
- Workflow: AI flagger → saksbehandler reviewer → klar for sanksjon
|
||||
- Brukertest med 12 saksbehandlere fra ulike regioner
|
||||
- Brukertest med 12 saksbehandler fra ulike regioner
|
||||
|
||||
Suksesskriterier:
|
||||
- Saksbehandlingstid -40% vs baseline
|
||||
- Saksbehandler-tillit >7/10 i post-pilot survey
|
||||
- saksbehandler-tillit >7/10 i post-pilot survey
|
||||
- Ingen kritiske UX-feil
|
||||
|
||||
### Fase 4 — Compliance og produksjonssetting (uker 23-28)
|
||||
|
|
@ -71,7 +71,7 @@ Suksesskriterier:
|
|||
| Risiko | Sannsynlighet | Konsekvens | Tiltak |
|
||||
|--------|---------------|------------|--------|
|
||||
| Custom modell underyter mot 96% mål | medium | high | Backup-strategi: bruk Azure AI Vision OCR som fallback |
|
||||
| Saksbehandler-motstand mot AI | medium | medium | Tidlig involvering; transparent forklaring; opt-out på enkelt-saker |
|
||||
| saksbehandler-motstand mot AI | medium | medium | Tidlig involvering; transparent forklaring; opt-out på enkelt-saker |
|
||||
| FRIA blokkerer fase 4 | low | high | Pre-FRIA-kjøring i fase 2 for tidlig varsling |
|
||||
| Cost-overrun ved skalering | medium | medium | Reserved capacity-binding etter fase 3 |
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# POC-plan — ANPR-trafikkanalyse
|
||||
# POC-plan — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
POC-mål: Validere at Azure AI Foundry kan dekke OCR + forklaring + audit innen tids- og kostbudsjett
|
||||
|
||||
## Faser
|
||||
|
|
@ -12,7 +12,7 @@ Varighet: 2 uker
|
|||
Milepæler:
|
||||
- Foundry hub + project i West Europe
|
||||
- Identity og networking konfigurert
|
||||
- Sample-data uploadet (10k anonymiserte kjennemerker)
|
||||
- Sample-data uploadet (10k anonymiserte objekt-ID)
|
||||
|
||||
Suksesskriterier:
|
||||
- Inferens-endpoint nåbart fra dev-Vnet via Private Endpoint
|
||||
|
|
@ -25,7 +25,7 @@ Varighet: 3 uker
|
|||
|
||||
Milepæler:
|
||||
- Pre-trent Azure AI Vision OCR pilotert
|
||||
- Custom fine-tune på 10k kjennemerker
|
||||
- Custom fine-tune på 10k objekt-ID
|
||||
- Sammenligning av accuracy/latency mellom de to
|
||||
|
||||
Suksesskriterier:
|
||||
|
|
@ -40,11 +40,11 @@ Varighet: 2 uker
|
|||
Milepæler:
|
||||
- GPT-4 Turbo via Foundry integrert
|
||||
- Prompt-template for forklaring av flagged sak
|
||||
- Saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere
|
||||
- saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere
|
||||
|
||||
Suksesskriterier:
|
||||
- Forklaring referer til konfidens og kontekst korrekt i 95% av tilfellene
|
||||
- Saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering")
|
||||
- saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering")
|
||||
- Prompt-tokens under 250 i snitt per sak
|
||||
|
||||
### Fase 4 — Compliance-pre-check (uke 8)
|
||||
|
|
@ -54,7 +54,7 @@ Varighet: 1 uke
|
|||
Milepæler:
|
||||
- Audit-logg mot EU AI Act Art. 12-krav
|
||||
- Customer-managed keys verifisert
|
||||
- Pre-DPIA-sjekk gjort med personvernombud
|
||||
- Pre-DPIA-sjekk gjort med Datatilsynet
|
||||
|
||||
Suksesskriterier:
|
||||
- Audit-logg dekker 100% av inferences med tidsstempel + bruker
|
||||
|
|
@ -67,7 +67,7 @@ Suksesskriterier:
|
|||
|--------|---------------|------------|--------|
|
||||
| Custom OCR-modell underyter pre-trent | medium | medium | Aksepter pre-trent for POC; planlegg custom for full prod |
|
||||
| Foundry-quota i West Europe utilstrekkelig | low | medium | Reserver kapasitet før POC starter |
|
||||
| Saksbehandler-recruitment forsinker fase 3 | medium | low | Bruk interne ressurser i KI-seksjonen som mock |
|
||||
| saksbehandler-recruitment forsinker fase 3 | medium | low | Bruk interne ressurser i AI-teamet som mock |
|
||||
| Audit-logg-format ikke kompatibelt med Sentinel | low | medium | Test integrasjon i fase 1 |
|
||||
|
||||
## Total varighet
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# EU AI Act — Krav for høyrisiko provider+deployer
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Klassifisering: høy risiko, rolle Provider+Deployer
|
||||
|
||||
## Krav
|
||||
|
|
|
|||
|
|
@ -1,22 +1,22 @@
|
|||
# Arkitekturgjennomgang — ANPR-trafikkanalyse
|
||||
# Arkitekturgjennomgang — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Vurderingsdato: 2026-04-30
|
||||
Reviewers: AI-arkitekt, sikkerhetsarkitekt, personvernombud
|
||||
Reviewers: AI-arkitekt, sikkerhetsarkitekt, Datatilsynet
|
||||
|
||||
## Funn
|
||||
|
||||
| ID | Severity | Lokasjon | Anbefaling |
|
||||
|----|----------|----------|------------|
|
||||
| F-01 | critical | Authentication layer | Tilgang til AI-forklaringer mangler attribute-based access control — alle saksbehandlere ser alle saker. Implementer ABAC basert på sak-tildeling. |
|
||||
| F-01 | critical | Authentication layer | Tilgang til AI-forklaringer mangler attribute-based access control — alle saksbehandler ser alle saker. Implementer ABAC basert på sak-tildeling. |
|
||||
| F-02 | high | Data pipeline | Treningsdata oppdateres månedlig, men ingen formell drift-deteksjon. Etabler statistisk drift-monitoring i Azure Monitor. |
|
||||
| F-03 | high | Model serving | Modellen serves fra en enkelt regional endpoint uten failover. Replikér til en sekundær region for RTO < 1t. |
|
||||
| F-04 | high | Logging | Audit-logg lagres 30 dager — under arkivlovens krav for sak-relevant info. Endre retensjon til 7 år for sak-knyttede oppslag. |
|
||||
| F-05 | medium | Cost management | Ingen budsjettalarmer på Azure AI Services — prediction-kostnaden kan øke med 4× ved trafikk-topp uten varsel. |
|
||||
| F-05 | medium | Cost management | Ingen budsjettalarmer på Azure AI Services — prediction-kostnaden kan øke med 4× ved belastnings-topper uten varsel. |
|
||||
| F-06 | medium | Compliance | FRIA-rapport ikke vedlikeholdt etter modell-endring 2026-03-12. Re-evaluering trengs. |
|
||||
| F-07 | medium | UX | Saksbehandler-grensesnitt viser ikke konfidensgrad tydelig nok — risiko for over-trust på AI-output. |
|
||||
| F-07 | medium | UX | saksbehandler-grensesnitt viser ikke konfidensgrad tydelig nok — risiko for over-trust på AI-output. |
|
||||
| F-08 | low | Documentation | README mangler oppdatert arkitekturdiagram (siste fra 2025-11). |
|
||||
| F-09 | low | Testing | Manglende E2E-test for utenlandske kjennemerker. |
|
||||
| F-09 | low | Testing | Manglende E2E-test for utenlandske objekt-ID. |
|
||||
|
||||
## Sammendrag
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# ROS-analyse — ANPR-trafikkanalyse
|
||||
# ROS-analyse — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Metodikk: NS 5814 / ISO 31000 + AI-trusselbibliotek
|
||||
|
||||
## Risikomatrise (5×5)
|
||||
|
|
@ -14,7 +14,7 @@ Metodikk: NS 5814 / ISO 31000 + AI-trusselbibliotek
|
|||
| Klage-saksbehandling overbelastet ved skalering | 4 | 3 | 12 | medium |
|
||||
| Datatap pga manglende georedundans | 1 | 5 | 5 | low |
|
||||
| Misbruk av AI-forklaring som bevis | 3 | 4 | 12 | medium |
|
||||
| Kjedevirkning ved feil i kjøretøyregister | 2 | 5 | 10 | medium |
|
||||
| Kjedevirkning ved feil i objektregister | 2 | 5 | 10 | medium |
|
||||
|
||||
## Radar-akser (7 dimensjoner)
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Sikkerhetsvurdering 6×5 — ANPR-trafikkanalyse
|
||||
# Sikkerhetsvurdering 6×5 — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Rammeverk: NSM Grunnprinsipper + Microsoft Cloud Security + EU AI Act Art. 15
|
||||
|
||||
## Score per dimensjon
|
||||
|
|
@ -30,7 +30,7 @@ Rammeverk: NSM Grunnprinsipper + Microsoft Cloud Security + EU AI Act Art. 15
|
|||
| ID | Severity | Lokasjon | Anbefaling |
|
||||
|----|----------|----------|------------|
|
||||
| S-01 | high | Identity | Aktivér PIM på alle serviceprinciper innen 2026-06-01 |
|
||||
| S-02 | medium | Data | Aktivér Customer Lockbox for trafikkdata |
|
||||
| S-02 | medium | Data | Aktivér Customer Lockbox for operasjonelle data |
|
||||
| S-03 | high | Model | Gjennomfør formell red-team-runde med Azure AI Red Team-veiledning |
|
||||
| S-04 | low | Network | Periodisk verifikasjon av Private Endpoint-konfigurasjon |
|
||||
| S-05 | medium | Logging | Implementer ML-basert avviksdeteksjon på AI-output-rate |
|
||||
|
|
|
|||
|
|
@ -1,9 +1,9 @@
|
|||
# Beslutningsnotat — ANPR-trafikkanalyse
|
||||
# Beslutningsnotat — Demosystem
|
||||
|
||||
System: ANPR-trafikkanalyse (Statens vegvesen)
|
||||
System: Demosystem (Acme AS)
|
||||
Dato: 2026-04-30
|
||||
Til: Direktør for Digital og IT
|
||||
Fra: KI-seksjonen
|
||||
Fra: AI-teamet
|
||||
|
||||
## Verdict
|
||||
|
||||
|
|
@ -34,7 +34,7 @@ Arkitekturen er teknisk solid og økonomisk forsvarlig (P50 NOK 1.7M/år), men c
|
|||
|
||||
## Restrisiko
|
||||
|
||||
Etter foreslåtte tiltak: medium. Hovedeksponering: bias mot utenlandske kjennemerker krever løpende monitoring.
|
||||
Etter foreslåtte tiltak: medium. Hovedeksponering: bias mot utenlandske objekt-ID krever løpende monitoring.
|
||||
|
||||
## Anbefaling
|
||||
|
||||
|
|
|
|||
|
|
@ -1,14 +1,14 @@
|
|||
# Transparensnotis — ANPR-trafikkanalyse
|
||||
# Transparensnotis — Demosystem
|
||||
|
||||
Tittel: Informasjon om automatisert trafikkanalyse (Art. 13 og Art. 50)
|
||||
Tittel: Informasjon om automatisert operasjonell analyse (Art. 13 og Art. 50)
|
||||
|
||||
## Hva systemet gjør
|
||||
|
||||
Statens vegvesen bruker et AI-system som leser av kjennemerker (ANPR — Automatic Number Plate Recognition) fra kameraer langs riksveg og kommunal veg. Systemet identifiserer kjøretøy som har overtrådt fartsgrensen gjennom å beregne gjennomsnittsfart mellom to kameraposisjoner.
|
||||
Acme AS bruker et AI-system som leser av objekt-ID (Demosystem — automatisert klassifisering) fra sensordata langs produksjonsmiljøet. Systemet identifiserer objekter som har overtrådt terskelverdi gjennom å beregne gjennomsnittlig respons mellom to datapunkt.
|
||||
|
||||
## Hvilke data som behandles
|
||||
|
||||
Behandlede data inkluderer kjennemerke, tidsstempel, kameraposisjon, kjøretøytype og oppslag i Statens vegvesens kjøretøyregister. Personlig identifiserbar informasjon kobles ikke til oppføring uten saksbehandlers eksplisitte godkjenning.
|
||||
Behandlede data inkluderer objekt-ID, tidsstempel, datapunkt, objektklasse og oppslag i Acme AS objektregister. Personlig identifiserbar informasjon kobles ikke til oppføring uten saksbehandler eksplisitte godkjenning.
|
||||
|
||||
## Hvordan beslutninger tas
|
||||
|
||||
|
|
@ -20,6 +20,6 @@ Som registrert har du rett til innsyn (GDPR Art. 15), retting (Art. 16), slettin
|
|||
|
||||
## Kontakt
|
||||
|
||||
Personvernombud: pvo@vegvesen.no
|
||||
Personvernombud: pvo@Acme.no
|
||||
Tilsyn: Datatilsynet — postkasse@datatilsynet.no
|
||||
EU AI Act-tilsyn: under etablering (Digitaliseringsdirektoratet er forventet)
|
||||
|
|
|
|||
|
|
@ -1,8 +1,8 @@
|
|||
# AI-arkitekturutredning — ANPR-trafikkanalyse for Statens vegvesen
|
||||
# AI-arkitekturutredning — Demosystem for Acme AS
|
||||
|
||||
## 1. Bakgrunn og formål
|
||||
|
||||
Statens vegvesen har siden 2018 driftet en on-prem ANPR-løsning for trafikkanalyse på riksveger og enkelte kommunale veger. Løsningen er basert på OCR-bibliotek fra 2017 og leveres som et lukket system uten mulighet for retrening eller forbedring av modell. Saksbehandlingen er manuell og tar i snitt 14 minutter per sak. KI-seksjonen utreder modernisering til en skybasert AI-plattform som støtter custom modell-trening, audit-logging på inferens-nivå, og saksbehandler-co-pilot.
|
||||
Acme AS har siden 2018 driftet en on-prem Demosystem-løsning for operasjonell analyse på tvers av leverandørens tjenesteportefølje. Løsningen er basert på et OCR-bibliotek fra 2017 og leveres som et lukket system uten mulighet for retrening eller forbedring av modell. Saksbehandlingen er manuell og tar i snitt 14 minutter per sak. Et internt AI-team utreder modernisering til en skybasert AI-plattform som støtter custom modell-trening, audit-logging på inferens-nivå, og saksbehandler-co-pilot.
|
||||
|
||||
## 2. Mandat
|
||||
|
||||
|
|
@ -17,7 +17,7 @@ Utredningen skal:
|
|||
|
||||
Utredningen kombinerer:
|
||||
- Kvalitativ analyse av compliance-krav per relevante lover og forskrifter
|
||||
- Kvantitativ TCO-analyse basert på 12 millioner ANPR-deteksjoner/mnd
|
||||
- Kvantitativ TCO-analyse basert på 12 millioner Demosystem-deteksjoner/mnd
|
||||
- Risikoanalyse per NS 5814 og DPIA per Datatilsynets veileder
|
||||
- Markedsundersøkelse av tilgjengelige plattformer fra Azure, AWS og GCP
|
||||
|
||||
|
|
@ -25,12 +25,12 @@ Utredningen kombinerer:
|
|||
|
||||
### 4.1 Compliance
|
||||
|
||||
EU AI Act klassifiserer systemet som høyrisiko (Annex III, punkt 6 — rettshåndhevelse). Statens vegvesen er Provider og Deployer, hvilket trigger alle krav i Art. 9-15 + Art. 27 (FRIA) + Art. 49 (registrering).
|
||||
EU AI Act klassifiserer systemet som høyrisiko (Annex III, punkt 6 — rettshåndhevelse). Acme AS er Provider og Deployer, hvilket trigger alle krav i Art. 9-15 + Art. 27 (FRIA) + Art. 49 (registrering).
|
||||
|
||||
### 4.2 Teknologivalg
|
||||
|
||||
Azure AI Foundry er anbefalt primær plattform fordi:
|
||||
- Full compliance-pakke for offentlig sektor
|
||||
- Full compliance-pakke for leverandøren
|
||||
- Customer-managed keys og Customer Lockbox tilgjengelig
|
||||
- Custom modell-trening via integrert Azure ML
|
||||
- Norsk dataresidens (West Europe + EU Data Boundary)
|
||||
|
|
@ -41,7 +41,7 @@ Azure AI Foundry er anbefalt primær plattform fordi:
|
|||
|
||||
### 4.4 Risiko
|
||||
|
||||
Hovedrisiko: bias mot utenlandske kjennemerker, modell-drift over tid, og manglende ABAC-implementering på saksbehandler-tilgang. Alle har konkrete tiltak.
|
||||
Hovedrisiko: bias mot utenlandske objekt-ID, modell-drift over tid, og manglende ABAC-implementering på saksbehandler-tilgang. Alle har konkrete tiltak.
|
||||
|
||||
## 5. Konklusjon
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue