feat(ms-ai-architect): add plugin to open marketplace (v1.5.0 baseline)
Initial addition of ms-ai-architect plugin to the open-source marketplace. Private content excluded: orchestrator/ (Linear tooling), docs/utredning/ (client investigation), generated test reports and PDF export script. skill-gen tooling moved from orchestrator/ to scripts/skill-gen/. Security scan: WARNING (risk 20/100) — no secrets, no injection found. False positive fixed: added gitleaks:allow to Python variable reference in output-validation-grounding-verification.md line 109. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
a8d79e4484
commit
6a7632146e
490 changed files with 213249 additions and 2 deletions
93
plugins/ms-ai-architect/tests/fixtures/ai-act/fixture-high-risk.md
vendored
Normal file
93
plugins/ms-ai-architect/tests/fixtures/ai-act/fixture-high-risk.md
vendored
Normal file
|
|
@ -0,0 +1,93 @@
|
|||
## EU AI Act — Vurdering: AutomatiskSaksbehandler
|
||||
|
||||
**Dato:** 2026-02-22
|
||||
**Vurdert av:** AI Act Assessor
|
||||
**Organisasjon:** Statens vegvesen
|
||||
|
||||
### 1. Risikoklassifisering
|
||||
|
||||
| Attributt | Verdi |
|
||||
|-----------|-------|
|
||||
| **Risikonivå** | Høyrisiko |
|
||||
| **Annex III-kategori** | Kategori 5: Tilgang til og bruk av essensielle offentlige tjenester og ytelser |
|
||||
| **GPAI-status** | Ja — basert på GPT-4o via Azure OpenAI |
|
||||
| **Klassifiseringsgrunnlag** | Systemet automatiserer vurdering av helsekrav ved søknad om førerkort (klasse B). Direkte påvirkning på borgeres rett til førerkort — en essensiell offentlig tjeneste. |
|
||||
| **Konfidens** | Høy |
|
||||
|
||||
#### Steg 1: Forbudt-sjekk (Art. 5)
|
||||
Ingen forbudte praksiser identifisert. Systemet scorer ikke individer sosialt, og beslutninger kan overprøves av saksbehandler.
|
||||
|
||||
#### Steg 2: Annex III høyrisiko-sjekk
|
||||
**Treffer kategori 5 (a):** AI-systemer som brukes av offentlige myndigheter for å vurdere berettigelse til offentlige ytelser og tjenester, inkludert tildelingsbeslutninger.
|
||||
|
||||
Førerkort er en essensiell offentlig tjeneste i norsk kontekst. Automatisert vurdering av helsekrav påvirker direkte borgeres tilgang til denne tjenesten.
|
||||
|
||||
**Grensevurdering:** Det er ingen tvil om at dette er høyrisiko. Systemet tar beslutninger som direkte påvirker enkeltpersoners rettigheter og muligheter.
|
||||
|
||||
#### Steg 3: GPAI-sjekk
|
||||
GPT-4o er en GPAI-modell. Microsoft er provider av grunnmodellen. Statens vegvesen er deployer av det tilpassede systemet. Ettersom systemet har vesentlig tilpasning (fine-tuning på norske helseattest-vurderinger), kan Statens vegvesen også anses som provider av det tilpassede høyrisiko-systemet.
|
||||
|
||||
#### Steg 4: Ikke relevant — allerede klassifisert som høyrisiko
|
||||
|
||||
### 2. Rolle
|
||||
|
||||
| Attributt | Verdi |
|
||||
|-----------|-------|
|
||||
| **Organisasjonens rolle** | Deployer (primært) + mulig Provider (ved vesentlig tilpasning) |
|
||||
| **Begrunnelse** | Som deployer har Statens vegvesen alle Art. 26-27 forpliktelser. Ved fine-tuning av modellen kan organisasjonen også få provider-forpliktelser for det tilpassede systemet (Art. 25). |
|
||||
| **Provider (grunnmodell)** | Microsoft (Azure OpenAI Service) |
|
||||
|
||||
### 3. Forpliktelser
|
||||
|
||||
| # | Artikkel | Krav | Status | Gap |
|
||||
|---|----------|------|--------|-----|
|
||||
| 1 | Art. 26(1) | Bruk i samsvar med bruksanvisning | Delvis | Bruksanvisning fra Microsoft, men ikke tilpasset norsk kontekst |
|
||||
| 2 | Art. 26(2) | Menneskelig tilsyn (effektiv kontroll) | Delvis | Saksbehandler kan overprøve, men prosedyre ikke formalisert |
|
||||
| 3 | Art. 26(5) | FRIA gjennomført for offentlig sektor | Ikke oppfylt | Ingen FRIA utført |
|
||||
| 4 | Art. 26(6) | Loggoppbevaring minimum 6 måneder | Ikke oppfylt | Logger settes til 90 dager i Application Insights |
|
||||
| 5 | Art. 27 | FRIA for offentlig myndighet-deployer | Ikke oppfylt | Obligatorisk — ikke startet |
|
||||
| 6 | Art. 13 | Transparens: bruksinstruksjon tilgjengelig | Ikke oppfylt | Ingen Art. 13-dokumentasjon |
|
||||
| 7 | Art. 14 | Menneskelig tilsyn: override-mekanismer | Delvis | Override mulig men ikke systematisk |
|
||||
| 8 | Art. 50(1) | Informer personer om AI-bruk | Ikke oppfylt | Borgere informeres ikke om at AI vurderer helseattester |
|
||||
| 9 | Art. 9 | Risikostyringssystem | Ikke oppfylt | Ingen formell risikostyring for AI-systemet |
|
||||
| 10 | Art. 12 | Automatisk loggføring | Delvis | Logger finnes men retention er for kort |
|
||||
|
||||
### 4. Tiltaksplan
|
||||
|
||||
| # | Tiltak | Prioritet | Frist | Ansvarlig |
|
||||
|---|--------|-----------|-------|-----------|
|
||||
| T1 | Gjennomfør FRIA (Art. 27) — bruk `/architect:frimpact` | Kritisk | 2026-05-01 | Personvernombud + AI-rådgiver |
|
||||
| T2 | Etabler risikostyringssystem (Art. 9) | Kritisk | 2026-06-01 | Seksjonsleder |
|
||||
| T3 | Øk log retention til minimum 6 måneder (Art. 12/26) | Kritisk | 2026-04-01 | IT-drift |
|
||||
| T4 | Utvikle transparensnotis til borgere (Art. 50) | Høy | 2026-05-01 | Kommunikasjonsavdeling |
|
||||
| T5 | Formalisér override-prosedyre for saksbehandlere (Art. 14) | Høy | 2026-05-15 | Fagleder |
|
||||
| T6 | Gjennomfør DPIA (GDPR Art. 35) — overlapper med FRIA | Høy | 2026-05-01 | Personvernombud |
|
||||
| T7 | Utarbeid Art. 13 bruksinstruksjon | Middels | 2026-06-15 | AI-rådgiver |
|
||||
| T8 | Forbered samsvarsvurdering (Annex IV, Art. 43) | Middels | 2026-07-01 | Kvalitetsansvarlig |
|
||||
| T9 | Vurdér behov for ekstern samsvarsvurdering | Lav | 2026-07-15 | Juridisk avdeling |
|
||||
|
||||
### 5. Neste steg
|
||||
|
||||
1. **Umiddelbart:** `/architect:frimpact` — FRIA er obligatorisk og bør prioriteres høyest
|
||||
2. **Innen 30 dager:** `/architect:dpia` — Personvernkonsekvensanalyse (utdyper personverndimensjonen)
|
||||
3. **Innen 60 dager:** `/architect:ros` — ROS-analyse med AI Act-dimensjon (dimensjon 6)
|
||||
4. **Innen 90 dager:** `/architect:conformity` — Start samsvarsvurdering
|
||||
5. **Dokumentér:** `/architect:adr` — Dokumenter klassifiseringsbeslutningen
|
||||
|
||||
### Viktige frister
|
||||
|
||||
| Frist | Krav | Relevans |
|
||||
|-------|------|----------|
|
||||
| 2025-02-02 | Forbudte AI-praksiser (Art. 5) | Gjelder ikke |
|
||||
| 2025-08-02 | Governance og sanksjoner (Art. 99) | Gjelder — governance-struktur kreves |
|
||||
| 2026-08-02 | GPAI-krav + Annex III høyrisiko | **Gjelder direkte — 161 dager** |
|
||||
| 2027-08-02 | Alle høyrisiko-krav (full compliance) | Gjelder — full Art. 9-27 compliance |
|
||||
|
||||
### Referanser
|
||||
- `ai-act-classification-methodology.md` — Klassifiseringsmetodikk
|
||||
- `ai-act-annex-iii-checklist.md` — Annex III kategori 5 vurdering
|
||||
- `ai-act-deployer-obligations.md` — Art. 26-27 forpliktelser
|
||||
- `ai-act-fria-template.md` — FRIA-mal referanse
|
||||
- `ai-act-provider-obligations.md` — Art. 9-15 (ved provider-status)
|
||||
- `ai-act-compliance-guide.md` — Generell veileder
|
||||
- Microsoft Learn: Azure OpenAI responsible AI practices
|
||||
79
plugins/ms-ai-architect/tests/fixtures/ai-act/fixture.md
vendored
Normal file
79
plugins/ms-ai-architect/tests/fixtures/ai-act/fixture.md
vendored
Normal file
|
|
@ -0,0 +1,79 @@
|
|||
## EU AI Act — Vurdering: FartsPrediksjonsagent
|
||||
|
||||
**Dato:** 2026-02-22
|
||||
**Vurdert av:** AI Act Assessor
|
||||
**Organisasjon:** Statens vegvesen
|
||||
|
||||
### 1. Risikoklassifisering
|
||||
|
||||
| Attributt | Verdi |
|
||||
|-----------|-------|
|
||||
| **Risikonivå** | Minimal risiko |
|
||||
| **Annex III-kategori** | Ikke Annex III |
|
||||
| **GPAI-status** | Ja — basert på GPT-4o, men ikke systemisk risiko |
|
||||
| **Klassifiseringsgrunnlag** | Systemet predikerer gjennomsnittsfart på vegstrekninger basert på historiske trafikkdata. Ingen direkte påvirkning på individer, ingen biometrisk identifikasjon, ikke kritisk infrastrukturstyring. |
|
||||
| **Konfidens** | Høy |
|
||||
|
||||
#### Steg 1: Forbudt-sjekk (Art. 5)
|
||||
Ingen av de forbudte praksisene er relevante. Systemet scorer ikke individer sosialt, manipulerer ikke sårbare grupper, og bruker ikke biometrisk fjernidentifisering.
|
||||
|
||||
#### Steg 2: Annex III høyrisiko-sjekk
|
||||
Systemet treffer ingen av de 8 Annex III-kategoriene:
|
||||
- Ikke biometrisk identifisering
|
||||
- Ikke styring av kritisk infrastruktur (predikerer, styrer ikke)
|
||||
- Ikke utdanning/opplæring
|
||||
- Ikke ansettelse/personal
|
||||
- Ikke essensielle offentlige tjenester
|
||||
- Ikke rettshåndhevelse
|
||||
- Ikke migrasjon/grensekontroll
|
||||
- Ikke rettsforvaltning
|
||||
|
||||
#### Steg 3: GPAI-sjekk
|
||||
Systemet bruker Azure OpenAI GPT-4o som grunnmodell. GPT-4o er en GPAI-modell, men FartsPrediksjonsagent er en downstream-applikasjon — provider-forpliktelser for GPAI hviler på Microsoft som modell-provider.
|
||||
|
||||
#### Steg 4: Begrenset/Minimal
|
||||
Systemet har ingen direkte brukerinteraksjon med borgere. Resultater vises kun til trafikkplanleggere internt. Klassifiseres som **minimal risiko**.
|
||||
|
||||
### 2. Rolle
|
||||
|
||||
| Attributt | Verdi |
|
||||
|-----------|-------|
|
||||
| **Organisasjonens rolle** | Deployer |
|
||||
| **Begrunnelse** | Statens vegvesen bruker et AI-system utviklet internt med Azure OpenAI. Ettersom systemet ikke markedsføres til andre, og bruker standard Azure-tjenester uten vesentlig tilpasning av modellen, er rollen deployer. |
|
||||
| **Provider (ekstern)** | Microsoft (Azure OpenAI Service) |
|
||||
|
||||
### 3. Forpliktelser
|
||||
|
||||
| # | Artikkel | Krav | Status | Gap |
|
||||
|---|----------|------|--------|-----|
|
||||
| 1 | Art. 50(1) | Transparens: informer brukere om AI-bruk | Oppfylt | Interne brukere informert |
|
||||
| 2 | Art. 4 | AI-kompetanse: sikre tilstrekkelig kunnskap | Delvis | Opplæringsplan ikke formalisert |
|
||||
| 3 | Frivillig | Code of Conduct (Art. 95) | Ikke startet | Anbefales men ikke påkrevd |
|
||||
|
||||
### 4. Tiltaksplan
|
||||
|
||||
| # | Tiltak | Prioritet | Frist | Ansvarlig |
|
||||
|---|--------|-----------|-------|-----------|
|
||||
| T1 | Formalisér AI-kompetanseplan for trafikkplanleggere | Lav | 2026-12-31 | Seksjonsleder |
|
||||
| T2 | Vurdér frivillig Code of Conduct-tilslutning | Lav | 2027-06-30 | AI-rådgiver |
|
||||
|
||||
### 5. Neste steg
|
||||
|
||||
1. Ingen regulatoriske blokkeringer — systemet kan brukes uten ytterligere tiltak
|
||||
2. Anbefaler `/architect:ros` for generell risikovurdering (god praksis)
|
||||
3. Vurdér `/architect:transparency` for å generere intern AI-bruksnotis
|
||||
|
||||
### Viktige frister
|
||||
|
||||
| Frist | Krav | Relevans |
|
||||
|-------|------|----------|
|
||||
| 2025-02-02 | Forbudte AI-praksiser (Art. 5) | Gjelder ikke |
|
||||
| 2025-08-02 | Governance og sanksjoner (Art. 99) | Gjelder ikke direkte |
|
||||
| 2026-08-02 | GPAI-krav + Annex III høyrisiko | Gjelder ikke (minimal risiko) |
|
||||
| 2027-08-02 | Alle høyrisiko-krav (full compliance) | Gjelder ikke |
|
||||
|
||||
### Referanser
|
||||
- `ai-act-classification-methodology.md` — Klassifiseringsmetodikk (steg 1-4)
|
||||
- `ai-act-compliance-guide.md` — Generell veileder
|
||||
- `ai-act-annex-iii-checklist.md` — Annex III-sjekkliste
|
||||
- Microsoft Learn: Azure OpenAI EU Data Boundary compliance
|
||||
58
plugins/ms-ai-architect/tests/fixtures/cost-estimation/fixture.md
vendored
Normal file
58
plugins/ms-ai-architect/tests/fixtures/cost-estimation/fixture.md
vendored
Normal file
|
|
@ -0,0 +1,58 @@
|
|||
## S6: Kostnadsvurdering
|
||||
|
||||
### S6.1: TCO per alternativ (3 år)
|
||||
|
||||
| Kostnadspost | Alt 0 | Alt 1 | Alt 2 | Alt 2B | Alt 3 |
|
||||
|-------------|-------|-------|-------|--------|-------|
|
||||
| **Etablering** | 0 | 0 | 800K | 2 035K | 3 500K |
|
||||
| Prosjektkostnader | 0 | 0 | 200K | 500K | 800K |
|
||||
| Utvikling (interne) | 0 | 0 | 400K | 885K | 1 500K |
|
||||
| QA-konsulent | 0 | 0 | 0 | 200K | 400K |
|
||||
| Opplæring | 0 | 0 | 100K | 300K | 300K |
|
||||
| Buffer | 0 | 0 | 100K | 150K | 500K |
|
||||
| **Årlig drift** | 0 | 0 | 600K | 1 350K | 1 800K |
|
||||
| Lisenser (Copilot Studio) | 0 | 0 | 230K | 230K | 0 |
|
||||
| Azure OpenAI (tokens) | 0 | 0 | 120K | 210K | 210K |
|
||||
| Azure AI Search | 0 | 0 | 110K | 200K | 200K |
|
||||
| Infrastruktur (øvrig) | 0 | 0 | 50K | 120K | 300K |
|
||||
| Drift/vedlikehold | 0 | 0 | 50K | 150K | 350K |
|
||||
| Overvåking | 0 | 0 | 20K | 80K | 100K |
|
||||
| Embedding-refresh | 0 | 0 | 20K | 60K | 60K |
|
||||
| Regional støtte/opplæring | 0 | 0 | 0 | 150K | 150K |
|
||||
| Risk buffer (drift) | 0 | 0 | 0 | 150K | 230K |
|
||||
| **3-års TCO** | **0** | **0** | **2 000K** | **6 335K** | **9 100K** |
|
||||
|
||||
Alle beløp i NOK. P50-estimat. Valutakurs: 11 NOK/USD.
|
||||
|
||||
### S6.2: Konfidensgradering
|
||||
|
||||
| Kostnadspost | Konfidens | Kilde |
|
||||
|-------------|-----------|-------|
|
||||
| Azure OpenAI token-priser | 🟢 Høy | MCP-verifisert (microsoft-learn) |
|
||||
| Azure AI Search S1 | 🟢 Høy | MCP-verifisert |
|
||||
| Copilot Studio capacity | 🟡 Middels | Fra kunnskapsbase (kan endre seg med ny prismodell) |
|
||||
| Intern utviklerkostnad | 🟡 Middels | Estimert 700 NOK/time, 80% dedikasjon |
|
||||
| Gevinstrealisering | 🔴 Lav | Antatt, basert på generelle produktivitetsestimater |
|
||||
|
||||
### S6.3: Gevinstrealisering (justert 30-50% realisering)
|
||||
|
||||
| År | Brutto gevinst | Realiserings-grad | Netto gevinst | AI-kostnad | Netto |
|
||||
|----|---------------|-------------------|---------------|------------|-------|
|
||||
| År 1 | 77M | 20% | 15.4M | 2.035M | +13.4M |
|
||||
| År 2 | 77M | 40% | 30.8M | 1.35M | +29.5M |
|
||||
| År 3 | 77M | 50% | 38.5M | 1.35M | +37.2M |
|
||||
|
||||
**NNV (3 år, 4% diskonteringsrente):** ~+80M NOK (konservativt estimat)
|
||||
**Tilbakebetalingstid:** ~2 måneder (Fase 1-drift)
|
||||
|
||||
> **Merknad:** Gevinstestimatene er konservative (30-50% realisering vs. teoretisk 100%). Faktisk realisering avhenger av adopsjon, datakvalitet og endringsledelse. Anbefaler gevinstmåling fra måned 3.
|
||||
|
||||
### S6.4: Copilot Studio-lisensstrategi
|
||||
|
||||
Start med 1 capacity pack (25K meldinger/mnd). Skaler basert på faktisk bruk:
|
||||
- MVP-pilotfase: 1 capacity pack (~230K NOK/år)
|
||||
- Full utrulling: 2-3 capacity packs basert på bruksvolumet
|
||||
- Overvåk via Copilot Studio Analytics og Azure Monitor
|
||||
|
||||
---
|
||||
|
||||
63
plugins/ms-ai-architect/tests/fixtures/security-assessment/fixture.md
vendored
Normal file
63
plugins/ms-ai-architect/tests/fixtures/security-assessment/fixture.md
vendored
Normal file
|
|
@ -0,0 +1,63 @@
|
|||
## S5: Sikkerhetsvurdering
|
||||
|
||||
### S5.1: Sikkerhetsscoring
|
||||
|
||||
**Totalscore: 2.80/5.00 — BETINGET AKSEPTABEL**
|
||||
|
||||
| Dimensjon | Score | Status | Viktigste funn |
|
||||
|-----------|-------|--------|----------------|
|
||||
| Identity & Access | 3.5/5 | 🟡 Adekvat | Entra ID + Managed Identity. Mangler: PIM for admin, break-glass prosedyrer. |
|
||||
| Network Security | 2.5/5 | 🟡 Adekvat | VNet-integrasjon planlagt. Mangler: Private Endpoints for alle endepunkter. |
|
||||
| Data Protection | 2.0/5 | 🔴 Svak | Sweden Central for Azure OpenAI. Presidio PII planlagt. Mangler: CMK, DLP-policyer. |
|
||||
| Content Safety | 3.5/5 | 🟡 Adekvat | Content Safety + Prompt Shields planlagt. Mangler: norskspesifikke policyer, Groundedness Detection tuning. |
|
||||
| Compliance & Governance | 2.5/5 | 🟡 Adekvat | AI Act-klassifisering utført. Mangler: DPIA, AI-register, Schrems II TIA. |
|
||||
| Monitoring & Response | 2.8/5 | 🟡 Adekvat | Application Insights + Sentinel planlagt. Mangler: AI-spesifikke deteksjonsregler, incident response-plan. |
|
||||
|
||||
### Kritiske funn
|
||||
|
||||
**P0 (Blokkerende):**
|
||||
1. **DPIA ikke gjennomført** — Obligatorisk (GDPR art. 35) pga. PII i avviksrapporter
|
||||
2. **Schrems II TIA mangler** — Azure OpenAI i Sweden Central krever formell risikovurdering
|
||||
3. **Incident Response-plan mangler** — Ingen prosedyre for AI-spesifikke hendelser (prompt injection breach, PII-lekkasje)
|
||||
|
||||
**P1 (Høy prioritet):**
|
||||
4. **Red team-testing av security trimming** — Må verifisere at regionbasert tilgangskontroll fungerer korrekt
|
||||
5. **AI-spesifikk alerting mangler** — Ingen varsling for anomalier i prompt-mønstre eller uvanlig token-forbruk
|
||||
6. **PIM ikke konfigurert** — Admin-tilgang til AI-ressurser bør styres via Privileged Identity Management
|
||||
|
||||
### S5.2: DPIA-status
|
||||
|
||||
| Spørsmål | Svar |
|
||||
|----------|------|
|
||||
| Behandles personopplysninger? | Ja — PII i avviksrapporter, chatlogger |
|
||||
| Er DPIA påkrevd? | Ja (GDPR art. 35) |
|
||||
| Er DPIA gjennomført? | ⬜ Ikke startet |
|
||||
| Personvernombud involvert? | Planlagt for Fase 1 |
|
||||
| Konsultasjon med Datatilsynet? | Vurderes etter DPIA |
|
||||
|
||||
**Tidsestimat:** 1-2 uker for gjennomføring, inkl. personvernombuds review.
|
||||
|
||||
### S5.3: ROS-analyse
|
||||
|
||||
| # | Risiko | S | K | Nivå | Tiltak | Restrisiko |
|
||||
|---|--------|---|---|------|--------|------------|
|
||||
| 1 | Hallusinering i faglige svar | 4 | 3 | HØY | Groundedness detection 0.8, kildehenvisninger, HITL-disclaimer | MIDDELS |
|
||||
| 2 | PII-lekkasje via AI-svar | 2 | 4 | HØY | Presidio pre-indexing + runtime PII-filter + security trimming | LAV |
|
||||
| 3 | Prompt injection | 3 | 3 | MIDDELS | Prompt Shields + Content Safety + system message-hardening | LAV |
|
||||
| 4 | Uautorisert dokumenttilgang | 2 | 4 | MIDDELS | Security trimming med SharePoint ACL-mapping + Entra ID | LAV |
|
||||
| 5 | Schrems II — data residency | 3 | 3 | MIDDELS | Formell TIA + risikoaksept. Data-at-rest i Norway East. | MIDDELS |
|
||||
| 6 | Modell-degradering over tid | 2 | 2 | LAV | Kvartalsvis eval + drift-monitoring + automatisk rollback | LAV |
|
||||
|
||||
### S5.4: Dataklassifisering
|
||||
|
||||
| Datatype | Klassifisering | Behandlingsgrunnlag | Lagringssted |
|
||||
|----------|----------------|---------------------|--------------|
|
||||
| Håndbøker (N-serien) | Intern | Berettiget interesse | Azure AI Search (Norway East) |
|
||||
| Kontrakter | Fortrolig | Berettiget interesse | Azure AI Search (Norway East), security trimmed |
|
||||
| Inspeksjonsrapporter | Intern | Berettiget interesse | Azure AI Search (Norway East) |
|
||||
| Avviksrapporter (PII) | Fortrolig | Samtykke/Lovhjemmel | Azure AI Search (Norway East), PII-maskert |
|
||||
| Chatlogger | Intern | Berettiget interesse | Application Insights (Sweden Central), 90d retention |
|
||||
| NVDB-data | Åpen | Åpne data | Ikke lagret — live API-oppslag |
|
||||
|
||||
---
|
||||
|
||||
98
plugins/ms-ai-architect/tests/fixtures/summary/fixture.md
vendored
Normal file
98
plugins/ms-ai-architect/tests/fixtures/summary/fixture.md
vendored
Normal file
|
|
@ -0,0 +1,98 @@
|
|||
## S1: Sammendrag
|
||||
|
||||
### 1.1 Teknisk sammendrag
|
||||
|
||||
Denne utredningen vurderer innføring av en AI-assistert kunnskapssøk-løsning for drift- og vedlikeholdsavdelinger i en norsk statlig veietat med ~1500 ansatte fordelt på 5 regioner. Løsningen skal erstatte dagens fragmenterte, manuelle dokumentsøk på tvers av 65 000+ dokumenter i 5 separate systemer (SharePoint, Doculive, Landbruks-IT, lokale filservere, NVDB).
|
||||
|
||||
**Anbefalt plattform:** Alternativ 2B — Hybrid (Copilot Studio + Azure AI Foundry RAG) (S2.5, S8.1)
|
||||
|
||||
Copilot Studio fungerer som Teams-native UI-lag («Veihjelper AI»), mens Azure AI Foundry gir full kontroll over RAG-pipeline med custom chunking, Presidio PII-filtrering og SharePoint ACL-basert security trimming. Multi-modell-strategi med GPT-4o for komplekse fagspørsmål og GPT-4o-mini for enkel gjenfinning (80/20 cost routing) sikrer kostnadseffektivitet (S4.2). Embedding med text-embedding-3-large (3072 dim) i Azure AI Search S1 med hybrid search og semantic reranking gir best ytelse for norsk fagterminologi (S4.3).
|
||||
|
||||
**Arkitektur (S8.2):** Brukerinteraksjon via Teams (mobil/desktop) → Entra ID-autentisering → Copilot Studio Agent → Azure AI Foundry RAG-pipeline (Azure OpenAI GPT-4o/mini i Sweden Central, Azure AI Search S1 i Norway East) + NVDB REST API via function calling. Presidio PII-filter (pre-indexing) og Azure AI Content Safety (runtime) sikrer personvern og innholdssikkerhet.
|
||||
|
||||
**Sikkerhetsstatus (S5):** Totalscore 2.80/5.00 — BETINGET AKSEPTABEL. Tre P0-blokkere er identifisert: (1) DPIA ikke gjennomført (GDPR art. 35), (2) Schrems II TIA mangler for Azure OpenAI i Sweden Central, (3) Incident Response-plan mangler. Alle tre er innarbeidet som obligatoriske aktiviteter i Fase 0 av implementeringsplanen (S9.4). AI Act-klassifisering: Begrenset risiko — transparenskrav oppfylt med AI-merking og kildehenvisninger (S4.1).
|
||||
|
||||
**Kostnad (S6):** Etableringskostnad 2.035M NOK (Fase 1, innenfor 2M-budsjettramme). Årlig driftskostnad 1.35M NOK inkludert Copilot Studio capacity pack (230K), Azure OpenAI tokens (210K), Azure AI Search (200K), infrastruktur (120K), drift/vedlikehold (150K), overvåking (80K), embedding-refresh (60K), regional støtte (150K) og risk buffer (150K). 3-års TCO: 6.335M NOK. Fase 2 (Doculive + Landbruks-IT) budsjetteres separat til 850K.
|
||||
|
||||
**Implementeringsplan (S9):** Fasevis utrulling over 48 uker. Fase 0 (uke 1-4): Forberedelse, DPIA, Schrems II TIA, Azure OpenAI-søknad. Fase 1 (uke 5-32): MVP med SharePoint (39K dok) + NVDB, inkludert infrastruktur, RAG-pipeline, Copilot Studio agent, sikkerhetstesting, pilot med 50 brukere, opplæring (5 regioner) og region-for-region utrulling. Fase 2 (uke 33-48): Full dekning med Doculive (13K) og Landbruks-IT (10K). 8 milepæler definert (M0-M8), inkludert gevinstevaluering i uke 56 (S9.2).
|
||||
|
||||
**Arkitekturprinsipper (S3):** 3 av 7 Digdir-prinsipper fullt oppfylt, 4 delvis oppfylt. Hovedavvik: Schrems II-risiko (P4 Tillit), begrenset ekstern datadeling (P2/P7). Trade-off vedtatt: Sweden Central aksepteres med formell risikoaksept da Norway East ikke tilbyr Azure OpenAI.
|
||||
|
||||
**Digital samhandling (S7):** Juridisk samhandling er oppfylt (berettiget interesse, DPA med Microsoft, ingen vedtaksfatning). Organisatorisk samhandling er delvis under arbeid (RACI-matrise, AI-styringsgruppe). Semantisk samhandling er oppfylt (OData, Dublin Core, standardisert embedding). Teknisk samhandling er oppfylt (REST API, OAuth 2.0, SLA 99.8%). Styring planlagt med kvartalsvis AI-styringsgruppe og definerte KPI-er.
|
||||
|
||||
5 ADR-er er utarbeidet (S8.3): Copilot Studio som UI (ADR-001), custom RAG i Azure AI Foundry (ADR-002), Sweden Central med risikoaksept (ADR-003), batch-import fra Landbruks-IT (ADR-004), og Security Trimming med SharePoint ACL-mapping (ADR-005).
|
||||
|
||||
---
|
||||
|
||||
### 1.2 Beslutningsnotat (Executive Summary)
|
||||
|
||||
**Anbefaling:** Iverksett Alternativ 2B — Hybrid Copilot Studio + Azure AI Foundry RAG for AI-assistert dokumentsøk i drift- og vedlikeholdsavdelingene.
|
||||
|
||||
**Bakgrunn:** Driftspersonell bruker 3-5 timer per uke på manuelt dokumentsøk i 5 ulike systemer. Produktivitetstapet er estimert til ~77M NOK/år for hele organisasjonen. Kunnskapen er fragmentert, eksisterende søk forstår ikke norsk vei-fagterminologi, og det finnes ingen felles søkeflate.
|
||||
|
||||
**Hva vi anbefaler:** En Teams-basert AI-assistent («Veihjelper AI») som gir umiddelbar tilgang til hele dokumentkorpuset (65 000+ dokumenter) med norskspråklig semantisk søk, kildehenvisninger og sanntids veidata fra NVDB. Løsningen bruker Microsofts AI-plattform med full kontroll over sikkerhet og personvern.
|
||||
|
||||
**Hvorfor dette alternativet:** Alt 2B gir den beste balansen mellom brukeropplevelse (Teams-native), sikkerhet (PII-filtrering, security trimming) og kostnad (innenfor 2M budsjett for Fase 1). Alt 1 (SharePoint AI Search) dekker kun 60% av dokumentene. Alt 2 (innebygd RAG) mangler kontroll over PII og security trimming. Alt 3 (full custom) er overingeniørt og sprenger budsjettet.
|
||||
|
||||
**Investering:** 2.035M NOK etableringskostnad (Fase 1), 1.35M NOK årlig drift. 3-års TCO: 6.335M NOK. Fase 2 (full dokumentdekning): 850K NOK separat.
|
||||
|
||||
**Forventet gevinst:** Med konservativ 30-50% realisering av produktivitetsgevinst gir løsningen en NNV på ~+80M NOK over 3 år. Tilbakebetalingstid: ~2 måneder etter produksjonssetting. Gevinstmåling starter fra måned 3.
|
||||
|
||||
**Sikkerhet og compliance:** Sikkerhetsstatus er BETINGET AKSEPTABEL (2.80/5). Tre blokkerende funn må lukkes før produksjon: DPIA, Schrems II TIA og Incident Response-plan. Alle er planlagt gjennomført i Fase 0 (uke 1-4). AI Act: Begrenset risiko — transparenskrav oppfylt.
|
||||
|
||||
**Tidsplan:** Fase 0 (forberedelse): 4 uker. Fase 1 (MVP i produksjon): 7-8 måneder. Fase 2 (full dekning): 3-4 måneder. Total: ~12 måneder til full dekning.
|
||||
|
||||
**Kritiske forutsetninger:**
|
||||
1. Azure OpenAI-tilgang i Sweden Central må innvilges
|
||||
2. DPIA må godkjennes av personvernombud
|
||||
3. 2 Azure-utviklere må dedikeres minimum 80%
|
||||
4. Schrems II-risikoaksept må signeres av behandlingsansvarlig
|
||||
|
||||
**Risiko:** Hovedrisikoen er hallusinering i faglige svar (HØY), som mitigeres med groundedness detection (terskel 0.8), kildehenvisninger og tydelig AI-disclaimer. PII-lekkasje (HØY) mitigeres med Presidio pre-indexing og runtime PII-filter.
|
||||
|
||||
**Anbefaling til ledelsen:** Godkjenn prosjektoppstart med Go/No-Go-beslutning etter Fase 0 (4 uker). Bevilg 2.035M NOK for Fase 1. Utpek prosjekteier med mandat i KI-seksjonen. Igangsett DPIA umiddelbart.
|
||||
|
||||
---
|
||||
|
||||
### 1.3 Nøkkeltall
|
||||
|
||||
| Parameter | Verdi |
|
||||
|-----------|-------|
|
||||
| **Anbefalt alternativ** | 2B: Hybrid (Copilot Studio + Azure AI Foundry RAG) |
|
||||
| **AI Act-risikoklasse** | Begrenset risiko |
|
||||
| **Kompleksitetsscore** | 14/18 (KOMPLEKS) |
|
||||
| **Sikkerhetsscore** | 2.80/5.00 (Betinget akseptabel) |
|
||||
| **P0-blokkere** | 3 (DPIA, Schrems II TIA, Incident Response) |
|
||||
| **Etableringskostnad (Fase 1)** | 2.035M NOK |
|
||||
| **Årlig driftskostnad** | 1.35M NOK |
|
||||
| **3-års TCO** | 6.335M NOK |
|
||||
| **Fase 2-kostnad** | 850K NOK (separat) |
|
||||
| **NNV (3 år, 4% diskontering)** | ~+80M NOK (konservativt) |
|
||||
| **Tilbakebetalingstid** | ~2 måneder (etter Fase 1-drift) |
|
||||
| **Brutto produktivitetsgevinst** | ~77M NOK/år |
|
||||
| **Gevinstraliseringsgrad** | 30-50% (konservativt) |
|
||||
| **Dokumentkorpus** | 65 000+ dokumenter |
|
||||
| **Datakilder** | 5 (SharePoint, Doculive, Landbruks-IT, filservere, NVDB) |
|
||||
| **Primærbrukere** | ~750 (potensielt 1500) |
|
||||
| **Time-to-value (MVP)** | 7-8 måneder (Fase 1) |
|
||||
| **Full dekning** | 12 måneder (Fase 1 + 2) |
|
||||
| **AI-modeller** | GPT-4o + GPT-4o-mini, text-embedding-3-large |
|
||||
| **Azure-regioner** | Sweden Central (OpenAI), Norway East (AI Search) |
|
||||
| **SLA** | ~99.8% (samlet) |
|
||||
| **ADR-er** | 5 (alle Accepted) |
|
||||
| **Digdir-prinsipper** | 3/7 fullt oppfylt, 4/7 delvis |
|
||||
| **Antall milepæler** | 8 (M0-M8, uke 1-56) |
|
||||
|
||||
---
|
||||
|
||||
### 1.4 Konfidenstabell
|
||||
|
||||
| Dimensjon | Konfidens | Begrunnelse |
|
||||
|-----------|-----------|-------------|
|
||||
| Teknisk gjennomførbarhet | 🟢 Høy | RAG-teknologi er veletablert (Azure AI Search GA siden 2014, Azure OpenAI GA siden 2023). Copilot Studio GA med AI-kapabiliteter. 2 interne Azure-utviklere finnes. |
|
||||
| Kostnadsestimat | 🟡 Middels | Azure-priser MCP-verifisert (høy). Intern utviklerkostnad estimert (middels). Gevinstestimater konservative men usikre (lav). P50 med 150K buffer. |
|
||||
| Regulatorisk compliance | 🟡 Middels | AI Act avklart (Begrenset risiko). Schrems II mitigerbar med TIA. DPIA ikke gjennomført — blokkerende men standard prosess (1-2 uker). |
|
||||
| Organisatorisk gjennomførbarhet | 🟡 Middels | Kompetansegap mitigeres med 300K opplæring + 200K QA-konsulent. Avhenger av 80% dedikering fra 2 utviklere. Endringsledelse budsjettert med superbrukermodell. |
|
||||
|
||||
---
|
||||
|
||||
Loading…
Add table
Add a link
Reference in a new issue