open/ktg-plugin-marketplace
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions
ktg-plugin-marketplace/plugins/ms-ai-architect/tests/fixtures/summary/fixture.md
Kjell Tore Guttormsen 6a7632146e feat(ms-ai-architect): add plugin to open marketplace (v1.5.0 baseline) 
Initial addition of ms-ai-architect plugin to the open-source marketplace.
Private content excluded: orchestrator/ (Linear tooling), docs/utredning/
(client investigation), generated test reports and PDF export script.
skill-gen tooling moved from orchestrator/ to scripts/skill-gen/.

Security scan: WARNING (risk 20/100) — no secrets, no injection found.
False positive fixed: added gitleaks:allow to Python variable reference
in output-validation-grounding-verification.md line 109.

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-04-07 17:17:17 +02:00

8.6 KiB
Raw Blame History

S1: Sammendrag

1.1 Teknisk sammendrag

Denne utredningen vurderer innføring av en AI-assistert kunnskapssøk-løsning for drift- og vedlikeholdsavdelinger i en norsk statlig veietat med ~1500 ansatte fordelt på 5 regioner. Løsningen skal erstatte dagens fragmenterte, manuelle dokumentsøk på tvers av 65 000+ dokumenter i 5 separate systemer (SharePoint, Doculive, Landbruks-IT, lokale filservere, NVDB).

Anbefalt plattform: Alternativ 2B — Hybrid (Copilot Studio + Azure AI Foundry RAG) (S2.5, S8.1)

Copilot Studio fungerer som Teams-native UI-lag («Veihjelper AI»), mens Azure AI Foundry gir full kontroll over RAG-pipeline med custom chunking, Presidio PII-filtrering og SharePoint ACL-basert security trimming. Multi-modell-strategi med GPT-4o for komplekse fagspørsmål og GPT-4o-mini for enkel gjenfinning (80/20 cost routing) sikrer kostnadseffektivitet (S4.2). Embedding med text-embedding-3-large (3072 dim) i Azure AI Search S1 med hybrid search og semantic reranking gir best ytelse for norsk fagterminologi (S4.3).

Arkitektur (S8.2): Brukerinteraksjon via Teams (mobil/desktop) → Entra ID-autentisering → Copilot Studio Agent → Azure AI Foundry RAG-pipeline (Azure OpenAI GPT-4o/mini i Sweden Central, Azure AI Search S1 i Norway East) + NVDB REST API via function calling. Presidio PII-filter (pre-indexing) og Azure AI Content Safety (runtime) sikrer personvern og innholdssikkerhet.

Sikkerhetsstatus (S5): Totalscore 2.80/5.00 — BETINGET AKSEPTABEL. Tre P0-blokkere er identifisert: (1) DPIA ikke gjennomført (GDPR art. 35), (2) Schrems II TIA mangler for Azure OpenAI i Sweden Central, (3) Incident Response-plan mangler. Alle tre er innarbeidet som obligatoriske aktiviteter i Fase 0 av implementeringsplanen (S9.4). AI Act-klassifisering: Begrenset risiko — transparenskrav oppfylt med AI-merking og kildehenvisninger (S4.1).

Kostnad (S6): Etableringskostnad 2.035M NOK (Fase 1, innenfor 2M-budsjettramme). Årlig driftskostnad 1.35M NOK inkludert Copilot Studio capacity pack (230K), Azure OpenAI tokens (210K), Azure AI Search (200K), infrastruktur (120K), drift/vedlikehold (150K), overvåking (80K), embedding-refresh (60K), regional støtte (150K) og risk buffer (150K). 3-års TCO: 6.335M NOK. Fase 2 (Doculive + Landbruks-IT) budsjetteres separat til 850K.

Implementeringsplan (S9): Fasevis utrulling over 48 uker. Fase 0 (uke 1-4): Forberedelse, DPIA, Schrems II TIA, Azure OpenAI-søknad. Fase 1 (uke 5-32): MVP med SharePoint (39K dok) + NVDB, inkludert infrastruktur, RAG-pipeline, Copilot Studio agent, sikkerhetstesting, pilot med 50 brukere, opplæring (5 regioner) og region-for-region utrulling. Fase 2 (uke 33-48): Full dekning med Doculive (13K) og Landbruks-IT (10K). 8 milepæler definert (M0-M8), inkludert gevinstevaluering i uke 56 (S9.2).

Arkitekturprinsipper (S3): 3 av 7 Digdir-prinsipper fullt oppfylt, 4 delvis oppfylt. Hovedavvik: Schrems II-risiko (P4 Tillit), begrenset ekstern datadeling (P2/P7). Trade-off vedtatt: Sweden Central aksepteres med formell risikoaksept da Norway East ikke tilbyr Azure OpenAI.

Digital samhandling (S7): Juridisk samhandling er oppfylt (berettiget interesse, DPA med Microsoft, ingen vedtaksfatning). Organisatorisk samhandling er delvis under arbeid (RACI-matrise, AI-styringsgruppe). Semantisk samhandling er oppfylt (OData, Dublin Core, standardisert embedding). Teknisk samhandling er oppfylt (REST API, OAuth 2.0, SLA 99.8%). Styring planlagt med kvartalsvis AI-styringsgruppe og definerte KPI-er.

5 ADR-er er utarbeidet (S8.3): Copilot Studio som UI (ADR-001), custom RAG i Azure AI Foundry (ADR-002), Sweden Central med risikoaksept (ADR-003), batch-import fra Landbruks-IT (ADR-004), og Security Trimming med SharePoint ACL-mapping (ADR-005).

1.2 Beslutningsnotat (Executive Summary)

Anbefaling: Iverksett Alternativ 2B — Hybrid Copilot Studio + Azure AI Foundry RAG for AI-assistert dokumentsøk i drift- og vedlikeholdsavdelingene.

Bakgrunn: Driftspersonell bruker 3-5 timer per uke på manuelt dokumentsøk i 5 ulike systemer. Produktivitetstapet er estimert til ~77M NOK/år for hele organisasjonen. Kunnskapen er fragmentert, eksisterende søk forstår ikke norsk vei-fagterminologi, og det finnes ingen felles søkeflate.

Hva vi anbefaler: En Teams-basert AI-assistent («Veihjelper AI») som gir umiddelbar tilgang til hele dokumentkorpuset (65 000+ dokumenter) med norskspråklig semantisk søk, kildehenvisninger og sanntids veidata fra NVDB. Løsningen bruker Microsofts AI-plattform med full kontroll over sikkerhet og personvern.

Hvorfor dette alternativet: Alt 2B gir den beste balansen mellom brukeropplevelse (Teams-native), sikkerhet (PII-filtrering, security trimming) og kostnad (innenfor 2M budsjett for Fase 1). Alt 1 (SharePoint AI Search) dekker kun 60% av dokumentene. Alt 2 (innebygd RAG) mangler kontroll over PII og security trimming. Alt 3 (full custom) er overingeniørt og sprenger budsjettet.

Investering: 2.035M NOK etableringskostnad (Fase 1), 1.35M NOK årlig drift. 3-års TCO: 6.335M NOK. Fase 2 (full dokumentdekning): 850K NOK separat.

Forventet gevinst: Med konservativ 30-50% realisering av produktivitetsgevinst gir løsningen en NNV på ~+80M NOK over 3 år. Tilbakebetalingstid: ~2 måneder etter produksjonssetting. Gevinstmåling starter fra måned 3.

Sikkerhet og compliance: Sikkerhetsstatus er BETINGET AKSEPTABEL (2.80/5). Tre blokkerende funn må lukkes før produksjon: DPIA, Schrems II TIA og Incident Response-plan. Alle er planlagt gjennomført i Fase 0 (uke 1-4). AI Act: Begrenset risiko — transparenskrav oppfylt.

Tidsplan: Fase 0 (forberedelse): 4 uker. Fase 1 (MVP i produksjon): 7-8 måneder. Fase 2 (full dekning): 3-4 måneder. Total: ~12 måneder til full dekning.

Kritiske forutsetninger:

  1. Azure OpenAI-tilgang i Sweden Central må innvilges
  2. DPIA må godkjennes av personvernombud
  3. 2 Azure-utviklere må dedikeres minimum 80%
  4. Schrems II-risikoaksept må signeres av behandlingsansvarlig

Risiko: Hovedrisikoen er hallusinering i faglige svar (HØY), som mitigeres med groundedness detection (terskel 0.8), kildehenvisninger og tydelig AI-disclaimer. PII-lekkasje (HØY) mitigeres med Presidio pre-indexing og runtime PII-filter.

Anbefaling til ledelsen: Godkjenn prosjektoppstart med Go/No-Go-beslutning etter Fase 0 (4 uker). Bevilg 2.035M NOK for Fase 1. Utpek prosjekteier med mandat i KI-seksjonen. Igangsett DPIA umiddelbart.

1.3 Nøkkeltall

Parameter Verdi
Anbefalt alternativ 2B: Hybrid (Copilot Studio + Azure AI Foundry RAG)
AI Act-risikoklasse Begrenset risiko
Kompleksitetsscore 14/18 (KOMPLEKS)
Sikkerhetsscore 2.80/5.00 (Betinget akseptabel)
P0-blokkere 3 (DPIA, Schrems II TIA, Incident Response)
Etableringskostnad (Fase 1) 2.035M NOK
Årlig driftskostnad 1.35M NOK
3-års TCO 6.335M NOK
Fase 2-kostnad 850K NOK (separat)
NNV (3 år, 4% diskontering) ~+80M NOK (konservativt)
Tilbakebetalingstid ~2 måneder (etter Fase 1-drift)
Brutto produktivitetsgevinst ~77M NOK/år
Gevinstraliseringsgrad 30-50% (konservativt)
Dokumentkorpus 65 000+ dokumenter
Datakilder 5 (SharePoint, Doculive, Landbruks-IT, filservere, NVDB)
Primærbrukere ~750 (potensielt 1500)
Time-to-value (MVP) 7-8 måneder (Fase 1)
Full dekning 12 måneder (Fase 1 + 2)
AI-modeller GPT-4o + GPT-4o-mini, text-embedding-3-large
Azure-regioner Sweden Central (OpenAI), Norway East (AI Search)
SLA ~99.8% (samlet)
ADR-er 5 (alle Accepted)
Digdir-prinsipper 3/7 fullt oppfylt, 4/7 delvis
Antall milepæler 8 (M0-M8, uke 1-56)

1.4 Konfidenstabell

Dimensjon Konfidens Begrunnelse
Teknisk gjennomførbarhet 🟢 Høy RAG-teknologi er veletablert (Azure AI Search GA siden 2014, Azure OpenAI GA siden 2023). Copilot Studio GA med AI-kapabiliteter. 2 interne Azure-utviklere finnes.
Kostnadsestimat 🟡 Middels Azure-priser MCP-verifisert (høy). Intern utviklerkostnad estimert (middels). Gevinstestimater konservative men usikre (lav). P50 med 150K buffer.
Regulatorisk compliance 🟡 Middels AI Act avklart (Begrenset risiko). Schrems II mitigerbar med TIA. DPIA ikke gjennomført — blokkerende men standard prosess (1-2 uker).
Organisatorisk gjennomførbarhet 🟡 Middels Kompetansegap mitigeres med 300K opplæring + 200K QA-konsulent. Avhenger av 80% dedikering fra 2 utviklere. Endringsledelse budsjettert med superbrukermodell.