open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 4 Activity
ms-ai-architect/tests/fixtures/summary/fixture.md
Kjell Tore Guttormsen 544934dc57
 refactor(examples): replace sector-specific example material with generic, fictitious examples 
Reference files, test fixtures, the playground demo project and one design
document now use generic, fictitious examples (buildings, energy, water,
grants, municipal services). The playground demo (17 fixtures plus the
embedded demo state) tells one consistent story: a municipal customer
chatbot that pre-screens housing-benefit applications, classified under
Annex III point 5(a). The embedded demo copies were edited in place rather
than regenerated, because they already carry newer AI Act dates than the
fixture files.

Legal text is unchanged. Test semantics are unchanged. Four dark-theme
onboarding screenshots with outdated placeholder text are removed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-23 14:03:53 +02:00

8.7 KiB
Raw Blame History

S1: Sammendrag

1.1 Teknisk sammendrag

Denne utredningen vurderer innføring av en AI-assistert kunnskapssøk-løsning for saksbehandlere i plan-, bygg- og eiendomsforvaltningen i en stor norsk kommune, med ~1500 ansatte fordelt på 3 tjenesteområder. Løsningen skal erstatte dagens fragmenterte, manuelle dokumentsøk på tvers av 65 000+ dokumenter i 5 separate systemer (SharePoint, ESDH-systemet, intranettet, lokale filservere, regelverksbasen).

Anbefalt plattform: Alternativ 2B — Hybrid (Copilot Studio + Azure AI Foundry RAG) (S2.5, S8.1)

Copilot Studio fungerer som Teams-native UI-lag («Fagassistent AI»), mens Azure AI Foundry gir full kontroll over RAG-pipeline med custom chunking, Presidio PII-filtrering og SharePoint ACL-basert security trimming. Multi-modell-strategi med GPT-4o for komplekse fagspørsmål og GPT-4o-mini for enkel gjenfinning (80/20 cost routing) sikrer kostnadseffektivitet (S4.2). Embedding med text-embedding-3-large (3072 dim) i Azure AI Search S1 med hybrid search og semantic reranking gir best ytelse for norsk fagterminologi (S4.3).

Arkitektur (S8.2): Brukerinteraksjon via Teams (mobil/desktop) → Entra ID-autentisering → Copilot Studio Agent → Azure AI Foundry RAG-pipeline (Azure OpenAI GPT-4o/mini i Sweden Central, Azure AI Search S1 i Norway East) + ESDH-systemets REST API via function calling. Presidio PII-filter (pre-indexing) og Azure AI Content Safety (runtime) sikrer personvern og innholdssikkerhet.

Sikkerhetsstatus (S5): Totalscore 2.80/5.00 — BETINGET AKSEPTABEL. Tre P0-blokkere er identifisert: (1) DPIA ikke gjennomført (GDPR art. 35), (2) Schrems II TIA mangler for Azure OpenAI i Sweden Central, (3) Incident Response-plan mangler. Alle tre er innarbeidet som obligatoriske aktiviteter i Fase 0 av implementeringsplanen (S9.4). AI Act-klassifisering: Begrenset risiko — transparenskrav oppfylt med AI-merking og kildehenvisninger (S4.1).

Kostnad (S6): Etableringskostnad 2.035M NOK (Fase 1, innenfor 2M-budsjettramme). Årlig driftskostnad 1.35M NOK inkludert Copilot Studio capacity pack (230K), Azure OpenAI tokens (210K), Azure AI Search (200K), infrastruktur (120K), drift/vedlikehold (150K), overvåking (80K), embedding-refresh (60K), lokal brukerstøtte (150K) og risk buffer (150K). 3-års TCO: 6.335M NOK. Fase 2 (ESDH-systemet + intranettet) budsjetteres separat til 850K.

Implementeringsplan (S9): Fasevis utrulling over 48 uker. Fase 0 (uke 1-4): Forberedelse, DPIA, Schrems II TIA, Azure OpenAI-søknad. Fase 1 (uke 5-32): MVP med SharePoint (39K dok) + regelverksbasen, inkludert infrastruktur, RAG-pipeline, Copilot Studio agent, sikkerhetstesting, pilot med 50 brukere, opplæring (3 tjenesteområder) og utrulling område for område. Fase 2 (uke 33-48): Full dekning med ESDH-systemet (13K) og intranettet (10K). 8 milepæler definert (M0-M8), inkludert gevinstevaluering i uke 56 (S9.2).

Arkitekturprinsipper (S3): 3 av 7 Digdir-prinsipper fullt oppfylt, 4 delvis oppfylt. Hovedavvik: Schrems II-risiko (P4 Tillit), begrenset ekstern datadeling (P2/P7). Trade-off vedtatt: Sweden Central aksepteres med formell risikoaksept da Norway East ikke tilbyr Azure OpenAI.

Digital samhandling (S7): Juridisk samhandling er oppfylt (berettiget interesse, DPA med Microsoft, ingen vedtaksfatning). Organisatorisk samhandling er delvis under arbeid (RACI-matrise, AI-styringsgruppe). Semantisk samhandling er oppfylt (OData, Dublin Core, standardisert embedding). Teknisk samhandling er oppfylt (REST API, OAuth 2.0, SLA 99.8%). Styring planlagt med kvartalsvis AI-styringsgruppe og definerte KPI-er.

5 ADR-er er utarbeidet (S8.3): Copilot Studio som UI (ADR-001), custom RAG i Azure AI Foundry (ADR-002), Sweden Central med risikoaksept (ADR-003), batch-import fra intranettet (ADR-004), og Security Trimming med SharePoint ACL-mapping (ADR-005).

1.2 Beslutningsnotat (Executive Summary)

Anbefaling: Iverksett Alternativ 2B — Hybrid Copilot Studio + Azure AI Foundry RAG for AI-assistert dokumentsøk i plan-, bygg- og eiendomsforvaltningen.

Bakgrunn: Saksbehandlere bruker 3-5 timer per uke på manuelt dokumentsøk i 5 ulike systemer. Produktivitetstapet er estimert til ~77M NOK/år for hele organisasjonen. Kunnskapen er fragmentert, eksisterende søk forstår ikke norsk fagterminologi, og det finnes ingen felles søkeflate.

Hva vi anbefaler: En Teams-basert AI-assistent («Fagassistent AI») som gir umiddelbar tilgang til hele dokumentkorpuset (65 000+ dokumenter) med norskspråklig semantisk søk, kildehenvisninger og oppdaterte saksdata fra ESDH-systemet. Løsningen bruker Microsofts AI-plattform med full kontroll over sikkerhet og personvern.

Hvorfor dette alternativet: Alt 2B gir den beste balansen mellom brukeropplevelse (Teams-native), sikkerhet (PII-filtrering, security trimming) og kostnad (innenfor 2M budsjett for Fase 1). Alt 1 (SharePoint AI Search) dekker kun 60% av dokumentene. Alt 2 (innebygd RAG) mangler kontroll over PII og security trimming. Alt 3 (full custom) er overingeniørt og sprenger budsjettet.

Investering: 2.035M NOK etableringskostnad (Fase 1), 1.35M NOK årlig drift. 3-års TCO: 6.335M NOK. Fase 2 (full dokumentdekning): 850K NOK separat.

Forventet gevinst: Med konservativ 30-50% realisering av produktivitetsgevinst gir løsningen en NNV på ~+80M NOK over 3 år. Tilbakebetalingstid: ~2 måneder etter produksjonssetting. Gevinstmåling starter fra måned 3.

Sikkerhet og compliance: Sikkerhetsstatus er BETINGET AKSEPTABEL (2.80/5). Tre blokkerende funn må lukkes før produksjon: DPIA, Schrems II TIA og Incident Response-plan. Alle er planlagt gjennomført i Fase 0 (uke 1-4). AI Act: Begrenset risiko — transparenskrav oppfylt.

Tidsplan: Fase 0 (forberedelse): 4 uker. Fase 1 (MVP i produksjon): 7-8 måneder. Fase 2 (full dekning): 3-4 måneder. Total: ~12 måneder til full dekning.

Kritiske forutsetninger:

  1. Azure OpenAI-tilgang i Sweden Central må innvilges
  2. DPIA må godkjennes av personvernombud
  3. 2 Azure-utviklere må dedikeres minimum 80%
  4. Schrems II-risikoaksept må signeres av behandlingsansvarlig

Risiko: Hovedrisikoen er hallusinering i faglige svar (HØY), som mitigeres med groundedness detection (terskel 0.8), kildehenvisninger og tydelig AI-disclaimer. PII-lekkasje (HØY) mitigeres med Presidio pre-indexing og runtime PII-filter.

Anbefaling til ledelsen: Godkjenn prosjektoppstart med Go/No-Go-beslutning etter Fase 0 (4 uker). Bevilg 2.035M NOK for Fase 1. Utpek prosjekteier med mandat i KI-seksjonen. Igangsett DPIA umiddelbart.

1.3 Nøkkeltall

Parameter Verdi
Anbefalt alternativ 2B: Hybrid (Copilot Studio + Azure AI Foundry RAG)
AI Act-risikoklasse Begrenset risiko
Kompleksitetsscore 14/18 (KOMPLEKS)
Sikkerhetsscore 2.80/5.00 (Betinget akseptabel)
P0-blokkere 3 (DPIA, Schrems II TIA, Incident Response)
Etableringskostnad (Fase 1) 2.035M NOK
Årlig driftskostnad 1.35M NOK
3-års TCO 6.335M NOK
Fase 2-kostnad 850K NOK (separat)
NNV (3 år, 4% diskontering) ~+80M NOK (konservativt)
Tilbakebetalingstid ~2 måneder (etter Fase 1-drift)
Brutto produktivitetsgevinst ~77M NOK/år
Gevinstraliseringsgrad 30-50% (konservativt)
Dokumentkorpus 65 000+ dokumenter
Datakilder 5 (SharePoint, ESDH-systemet, intranettet, filservere, regelverksbasen)
Primærbrukere ~750 (potensielt 1500)
Time-to-value (MVP) 7-8 måneder (Fase 1)
Full dekning 12 måneder (Fase 1 + 2)
AI-modeller GPT-4o + GPT-4o-mini, text-embedding-3-large
Azure-regioner Sweden Central (OpenAI), Norway East (AI Search)
SLA ~99.8% (samlet)
ADR-er 5 (alle Accepted)
Digdir-prinsipper 3/7 fullt oppfylt, 4/7 delvis
Antall milepæler 8 (M0-M8, uke 1-56)

1.4 Konfidenstabell

Dimensjon Konfidens Begrunnelse
Teknisk gjennomførbarhet 🟢 Høy RAG-teknologi er veletablert (Azure AI Search GA siden 2014, Azure OpenAI GA siden 2023). Copilot Studio GA med AI-kapabiliteter. 2 interne Azure-utviklere finnes.
Kostnadsestimat 🟡 Middels Azure-priser MCP-verifisert (høy). Intern utviklerkostnad estimert (middels). Gevinstestimater konservative men usikre (lav). P50 med 150K buffer.
Regulatorisk compliance 🟡 Middels AI Act avklart (Begrenset risiko). Schrems II mitigerbar med TIA. DPIA ikke gjennomført — blokkerende men standard prosess (1-2 uker).
Organisatorisk gjennomførbarhet 🟡 Middels Kompetansegap mitigeres med 300K opplæring + 200K QA-konsulent. Avhenger av 80% dedikering fra 2 utviklere. Endringsledelse budsjettert med superbrukermodell.