# Stakeholder Communication - Explaining AI Decisions to Non-Technical Audiences

**Last updated:** 2026-02
**Status:** GA
**Category:** Responsible AI & Governance

---

## Introduksjon

Effektiv kommunikasjon av AI-beslutninger til ikke-tekniske interessenter er kritisk for tillit, compliance og vellykket AI-adopsjon. Når AI-systemer påvirker menneskers liv — enten det gjelder kredittbeslutninger, jobbsøknader, eller offentlige tjenester — må både tekniske og ikke-tekniske interessenter forstå hvordan beslutningene tas.

Microsoft's Responsible AI Standard definerer **transparency** som en kjernepillar: "We're open about how and why we build AI systems, what their limitations are, and how the system makes decisions." Denne transparensen må oversettes til forståelig kommunikasjon på tvers av organisatoriske nivåer.

### Hvem er ikke-tekniske interessenter?

| Stakeholder-type | Behov | Eksempel |
|------------------|-------|----------|
| **Business ledere (C-suite)** | ROI, risiko, compliance, merkevarebeskyttelse | CEO, CFO, CMO, CIO |
| **Produkteiere** | Brukeropplevelse, ethical alignment, deployment-beslutninger | Product managers, business analysts |
| **Juridiske/Compliance** | Regulatoriske krav, ansvarsdeling, dokumentasjon | Legal counsel, risk officers |
| **HR og personell** | Rettferdig behandling, bias-mitigering, arbeidsmiljø | HR-direktører, tillitsvalgte |
| **Sluttbrukere** | Forståelse av beslutninger, mulighet til å utfordre, personvern | Kunder, innbyggere, ansatte |
| **Revisorer/Regulatorer** | Verifiserbar dokumentasjon, auditspor, etterlevelse | Ekstern revisjon, tilsynsmyndigheter |

Hver gruppe krever tilpasset kommunikasjon: ledere trenger risikovurdering, sluttbrukere trenger forklaringer på enkeltbeslutninger, og revisorer trenger teknisk dokumentasjon i prosaformat.

---

## Kjernekomponenter

### 1. Responsible AI Scorecard

**Hva det er**: Et PDF-basert rapporteringsverktøy som oversetter tekniske Responsible AI-dashboards til et format som kan deles med ikke-tekniske interessenter.

**Primært bruksområde**: Azure Machine Learning

**Formål**:
- Bygge bro mellom tekniske verktøy og etiske/regulatoriske krav
- Muliggjøre multi-stakeholder alignment i ML-livssyklusen
- Støtte auditability for risikoofficerer og regulatorer

**Konfigurerbare elementer**:
- **Dataset-helse**: Statistikk, distribusjoner, bias-indikatorer
- **Modell-ytelse**: Accuracy, error rates, fairness metrics
- **Target values**: Sammenligning mot ønskede ytelsesmål (definert av business)
- **Fortolkningsevne**: Global/lokal feature importance
- **Fairness assessment**: Ytelsesforskjeller på tvers av sensitive grupper

```yaml
# Typisk Scorecard-workflow
Datascientist: Trener modell → Genererer Responsible AI Dashboard
              ↓
Product Manager: Definerer target accuracy/fairness metrics
              ↓
Datascientist: Genererer PDF Scorecard basert på target values
              ↓
Business Stakeholder: Vurderer om modellen møter forretningskrav → Go/No-go beslutning
```

**Verdi for ikke-tekniske**:
- ✅ Standardisert format som business forstår
- ✅ Side-by-side sammenligning mellom faktisk og ønsket ytelse
- ✅ Dokumentasjon som kan deles med juridisk og compliance
- ✅ Grunnlag for deployment-godkjenning

*Confidence: Verified (MCP microsoft-learn)*

---

### 2. Model Interpretability (Fortolkningsevne)

**Hva det er**: Verktøy som genererer menneskelig-forståelige forklaringer av modellbeslutninger.

**Tre nivåer av forklaring**:

| Nivå | Målgruppe | Eksempel | Microsoft-verktøy |
|------|-----------|----------|-------------------|
| **Global explanations** | Business ledere, produkteiere | "Hvilke faktorer påvirker lånegodkjenning generelt?" | Azure ML Interpretability component |
| **Local explanations** | Sluttbrukere, saksbehandlere | "Hvorfor ble *min* lånesøknad avslått?" | Counterfactual What-If |
| **Cohort explanations** | Compliance, fairness officers | "Påvirker modellen lavlønnede søkere ulikt?" | Responsible AI Dashboard |

**Kommunikasjonsstrategier per nivå**:

**Global** (for strategisk ledelse):
- Fokuser på hvilke faktorer modellen vektlegger mest
- Presenter som ranket liste eller heatmap
- Koble til forretningslogikk: "Inntekt har 40% vekt — dette samsvarer med våre risikovurderinger"

**Local** (for individuelle beslutninger):
- Forklar én spesifikk prediksjon
- Bruk "What-if" scenarier: "Hvis inntekten var 50 000 kr høyere, ville svaret vært 'godkjent'"
- Vis tydelig hvilke data som ble brukt

**Cohort** (for fairness-vurdering):
- Sammenlign modellytelse på tvers av grupper (kjønn, alder, geografi)
- Synliggjør disparities: "Modellen har 5% lavere accuracy for gruppe X"
- Koble til organisatoriske fairness-mål

*Confidence: Verified (MCP microsoft-learn)*

---

### 3. Transparency Mechanisms

**Hva det er**: Strukturerte tilnærminger for å avsløre AI-systemets funksjon, begrensninger og påvirkning.

#### 3.1 Transparency Notes

Microsoft's standard for å forklare AI-systemer:

**Inneholder**:
- Hva systemet gjør og ikke gjør
- Hvordan teknologien fungerer (high-level)
- Valg som påvirker systemprestasjon
- Kjente begrensninger og edge cases
- Responsible AI-prinsipper i praksis

**Eksempel — Azure OpenAI Transparency Note**:
> "What is a transparency note? An AI system includes not only the technology, but also the people who use it, the people affected by it, and the environment in which it's deployed."

**Bruk i kommunikasjon**:
- Link til Transparency Note i brukergrensesnitt
- Del med compliance før deployment
- Oppdater ved vesentlige modellendringer

#### 3.2 Design for Explainability

**Prinsipp**: AI-resultater må være forklarbare og justerbare. Dette krever:

1. **Traceability**: Sporbarhet fra datakilde → inferens → resultat
2. **Dokumentasjon**: Både manuell (beslutningslogikk) og teknisk (MLOps)
3. **Transparency materials**: Bruker-vendig dokumentasjon av capabilities og limitations

**I generative modeller** (spesielt utfordrende):
- Dokumenter decision-making-prosessen eksplisitt
- Bruk techniques som Retrieval-Augmented Generation (RAG) for groundedness
- Implementer content filters og safety systems
- Logg metaprompts og system-instruksjoner

*Confidence: Verified (MCP microsoft-learn)*

---

### 4. Cross-Functional Governance

**Hva det er**: En organisasjonsstruktur som sikrer at AI-kommunikasjon når riktige stakeholdere i riktig format.

**Struktur**:

```
                    AI Governance Board (Executive sponsorship)
                              |
        ┌─────────────────────┼─────────────────────┐
        |                     |                     |
AI Center of           Cross-Functional        Incident Response
Excellence            Governance Team              Team
   |                        |                       |
   |-- Standard Operating   |-- Legal              |-- Escalation paths
   |   Procedures           |-- Security           |-- Shutdown authority
   |-- Policy development   |-- Product            |-- Communication plan
   |-- Consultative support |-- Engineering        |-- Remediation procedures
```

**Roller og kommunikasjonsansvar**:

| Rolle | Ansvar i stakeholder-kommunikasjon |
|-------|-------------------------------------|
| **AI Center of Excellence** | Definerer standarder, utvikler templates, tilbyr konsultasjonstjenester |
| **Governance Team** | Godkjenner high-risk AI, krever sign-offs, utvikler policies |
| **Data Scientists** | Genererer Scorecards, forklarer modellbegrensninger, dokumenterer assumptions |
| **Product Managers** | Definerer fairness targets, kommuniserer business impact, kobler teknikk til strategi |
| **Legal/Compliance** | Validerer regulatorisk alignment, krever audit trails, vurderer ansvarsdeling |

**Checkpoints i AI-livssyklusen**:
1. **Design review**: Ethical impact assessment deles med governance team
2. **Testing phase**: Fairness/bias testing dokumenteres for compliance
3. **Pre-launch**: Formal sign-off fra legal, security, og product
4. **Post-deployment**: Regular audits med rapportering til ledelsen

*Confidence: Verified (MCP microsoft-learn)*

---

## Arkitekturmønstre

### Mønster 1: Layered Communication Strategy

**Prinsipp**: Samme AI-beslutning forklares på flere nivåer avhengig av målgruppe.

**Implementering**:

```
┌─────────────────────────────────────────────────────┐
│ TIER 1: Executive Summary (C-suite, Board)         │
│ - One-pager med KPIs (accuracy, fairness, cost)    │
│ - Risikomatrise (likelihood × impact)              │
│ - Go/No-go anbefaling med begrunnelse              │
└─────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────┐
│ TIER 2: Operational Details (Product, Legal)       │
│ - Responsible AI Scorecard (PDF)                   │
│ - Fairness assessment per subgroup                 │
│ - Limitations og edge cases                        │
│ - Compliance mapping (GDPR, AI Act, etc.)          │
└─────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────┐
│ TIER 3: Technical Documentation (Data Science, Eng)│
│ - Full Responsible AI Dashboard                    │
│ - Model cards med hyperparametere                  │
│ - Training data lineage                            │
│ - Evaluation metrics (ROC, AUC, confusion matrix)  │
└─────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────┐
│ TIER 4: End-User Explanations (Customers, Citizens)│
│ - Plain language: "Your application was declined   │
│   because X, Y, Z. Here's what you can change."    │
│ - Visual representations (ikke tabeller)           │
│ - Right to appeal/feedback mechanism               │
└─────────────────────────────────────────────────────┘
```

**Azure-implementering**:
- **Tier 1**: Power BI dashboard med executive KPIs (datakilde: Azure ML metrics)
- **Tier 2**: Responsible AI Scorecard (generert fra Azure ML)
- **Tier 3**: Azure ML Studio med full Responsible AI Dashboard
- **Tier 4**: Custom web UI som kaller Azure ML Interpretability API for lokal forklaring

---

### Mønster 2: Feedback-Loop with Stakeholder Input

**Prinsipp**: AI-beslutninger informerer stakeholders, og stakeholder-feedback informerer AI-forbedringer.

**Workflow**:

```
┌─────────────────┐
│  AI Deployment  │
└────────┬────────┘
         │ (generates decisions)
         ↓
┌─────────────────┐         ┌──────────────────┐
│  Transparency   │────────→│   Stakeholder    │
│  Artifacts      │         │   Consumes Info  │
│ (Scorecard, UI) │         └────────┬─────────┘
└─────────────────┘                  │
         ↑                            │ (provides feedback)
         │                            ↓
┌─────────────────┐         ┌──────────────────┐
│  Model Retrain  │←────────│  Feedback System │
│  or Calibration │         │  (User reports,  │
│                 │         │   Audits)        │
└─────────────────┘         └──────────────────┘
```

**Eksempel — Azure AI Content Safety + User Feedback**:

1. **AI-agent genererer svar** → Content Safety filter sjekker for harmful content
2. **Svar vises til bruker** med disclaimers: "This is AI-generated. Report issues."
3. **Bruker gir feedback** (thumbs up/down, free text)
4. **Feedback logges** i Application Insights med trace context
5. **Data science team** analyserer negative feedback → identifiserer patterns
6. **Metaprompt justeres** eller modell fine-tunes basert på innsikter
7. **Governance team** informeres om endringer → ny godkjenningssyklus

**Azure-verktøy**:
- **Azure AI Tracing**: OpenTelemetry for å koble feedback til spesifikk inference
- **Application Insights**: Sentral logging av user feedback
- **Azure ML Run History**: Archive model metrics før/etter forbedringer

*Confidence: Verified (MCP microsoft-learn) + Baseline (best practice)*

---

### Mønster 3: Incident Response with Clear Communication

**Prinsipp**: Når AI-systemer feiler eller produserer uønskede resultater, må stakeholder-kommunikasjon være rask, transparent og koordinert.

**Pre-defined response plan**:

| Fase | Aksjon | Ansvarlig | Stakeholder-kommunikasjon |
|------|--------|-----------|---------------------------|
| **Detection** | Automated alerts (bias spike, error rate) | Monitoring system | — |
| **Triage** | Assess severity (low/medium/high/critical) | On-call engineer | Internal: Ping governance team |
| **Escalation** | Decide if shutdown needed | Governance team + Product | Internal: Executive briefing (if critical) |
| **Shutdown** (if needed) | Take AI offline, display fallback | Engineering | External: User-facing message ("Temporarily unavailable for maintenance") |
| **Root Cause** | Investigate (data drift, adversarial input, etc.) | Data science team | — |
| **Remediation** | Fix issue, retrain, or calibrate | Data science + Eng | Internal: Governance review before redeployment |
| **Postmortem** | Document lessons learned | All stakeholders | Internal: Distributed to leadership, legal, and team. External (optional): Transparency report for users/regulators |

**Kommunikasjonsmal for eksterne stakeholders** (sluttbrukere):

> "We detected an issue with [AI feature] that may have affected [scope, e.g., 'loan recommendations from Date X to Date Y']. We have temporarily paused this feature while we investigate. If you believe you were impacted, please [contact support/appeal process]. We are committed to transparency and will share findings when the investigation is complete."

**Intern kommunikasjon** (til ledelsen):

> **Incident Summary**: [One-sentence description]
> **Impact**: [Number of users, duration, severity]
> **Root Cause**: [Technical explanation in plain language]
> **Mitigation**: [What we did to stop the issue]
> **Next Steps**: [Retrain, policy change, etc.]
> **Timeline**: [Estimated resolution]

*Confidence: Verified (MCP microsoft-learn) + Baseline (incident response best practice)*

---

## Beslutningsveiledning

### Når bruke hvilken kommunikasjonsverktøy?

| Scenario | Verktøy | Målgruppe | Format |
|----------|---------|-----------|--------|
| **Pre-deployment godkjenning** | Responsible AI Scorecard | Product managers, business leaders, legal | PDF med target values vs. faktisk ytelse |
| **Deployment review** | Transparency Note + Executive Summary | C-suite, Board | One-pager + link til full doc |
| **Regulatorisk audit** | Full Responsible AI Dashboard + Model Card | External auditors, compliance officers | Azure ML Studio export + dokumentasjon |
| **Sluttbruker-avgjørelse** | Local explanation UI | Customer, citizen | Visuell forklaring i web UI (ikke teknisk jargon) |
| **Intern fairness review** | Cohort analysis + Fairness metrics | HR, legal, governance team | Dashboard med group-by dimensjoner |
| **Incident kommunikasjon** | Status page + Postmortem | Alle stakeholders | Tiered messaging: Public (short) → Internal (detailed) |
| **Kontinuerlig monitoring** | Power BI dashboard (executive KPIs) | Leadership, product managers | Real-time dashboard med alerts |

---

### Decision Tree: Hvor mye detalj skal deles?

```
START: Hvem er målgruppen?
   |
   ├─→ [C-suite/Board] → HIGH-LEVEL
   |      └─→ Focus: Business impact, risk, ROI
   |           Format: One-pager med visuell risikomatrise
   |
   ├─→ [Product/Legal/Compliance] → OPERATIONAL
   |      └─→ Focus: Fairness, limitations, compliance gaps
   |           Format: Responsible AI Scorecard + Transparency Note
   |
   ├─→ [Data Science/Engineering] → TECHNICAL
   |      └─→ Focus: Feature importance, metrics, lineage
   |           Format: Full Responsible AI Dashboard
   |
   └─→ [End Users] → PLAIN LANGUAGE
          └─→ Focus: "Why this decision for me?" + "What can I do?"
              Format: Web UI med lokal forklaring + appeal option
```

**Regel**: Jo lenger fra den tekniske implementasjonen, desto mer fokus på **impact** og **action** (ikke på tekniske detaljer).

---

## Integrasjon med Microsoft-stakken

### Azure Machine Learning

| Verktøy | Funksjon | Stakeholder-verdi |
|---------|----------|-------------------|
| **Responsible AI Dashboard** | End-to-end model assessment (fairness, interpretability, error analysis) | Data scientists: Debug model. Product: Assess readiness. |
| **Responsible AI Scorecard** | PDF export av dashboard insights | Business: Share with leadership for go/no-go. Legal: Audit trail. |
| **Model Interpretability** | SHAP-basert feature importance (global/local) | Data scientists: Explain predictions. End users: Understand decisions. |
| **Fairness Assessment** | Group-based performance metrics | Compliance: Verify equitable treatment. HR: Assess impact on workforce. |
| **Error Analysis** | Cohort-based error distribution | Product: Identify where model fails. Engineering: Prioritize fixes. |
| **Causal Inference** | "What if" analysis for counterfactuals | Business: Inform strategy. End users: "What can I change to get different outcome?" |

**Workflow for stakeholder communication**:
1. Data scientist trains model in Azure ML Studio
2. Generate Responsible AI Dashboard (automated via SDK)
3. Configure Scorecard with target metrics (defined by product/business)
4. Export Scorecard as PDF → share with governance team
5. Governance team reviews → provides feedback or approval
6. If approved: Deploy model + expose interpretability API for end-user UI
7. Post-deployment: Monitor via Azure ML metrics → alert governance if drift detected

---

### Azure AI Foundry (Generative AI)

**Spesielle utfordringer med generative AI**:
- **Hallucinations**: Modellen genererer feil informasjon
- **Opacity**: Vanskeligere å forklare enn klassiske ML-modeller
- **Emergent behaviors**: Uforutsigbare outputs i nye kontekster

**Microsoft's løsninger for stakeholder communication**:

| Teknikk | Formål | Stakeholder-nytte |
|---------|--------|-------------------|
| **Retrieval-Augmented Generation (RAG)** | Grunnlag i fakta (ikke hallucinations) | Business: Trust in accuracy. End users: Verifiable sources. |
| **Metaprompt engineering** | Styre modelloppførsel (tone, format, safety) | Legal: Ensure policy compliance. Product: Consistent brand voice. |
| **Content filters** | Blokkere harmful/inappropriate content | Compliance: Risk mitigation. Users: Safe experience. |
| **Groundedness evaluation** | Måle hvor faktisk output er i forhold til source data | Data science: Debug hallucinations. Business: Assess reliability. |
| **Transparency Note for Azure OpenAI** | Forklare limitations og best practices | All stakeholders: Set realistic expectations. |

**Communication pattern for generative AI**:

```yaml
Before deployment:
  - Share Transparency Note med governance team
  - Demonstrate groundedness metrics (e.g., 95% of responses grounded in source docs)
  - Define acceptable thresholds for content safety

During deployment:
  - Display disclaimer: "AI-generated content may contain errors. Verify critical information."
  - Provide feedback mechanism (thumbs up/down)
  - Log all interactions for audit (Application Insights)

Post-deployment:
  - Regular reports til leadership: "X% of interactions flagged by users, Y% blocked by content filter"
  - Quarterly review med governance team: "Model behavior aligned with policies?"
```

*Confidence: Verified (MCP microsoft-learn)*

---

### Copilot Studio

**Use case**: Custom AI agents for business processes.

**Stakeholder communication features**:

1. **Agent observability**: Alle agenter har unik identitet (owner, version, lifecycle status)
   - **Verdi**: Governance team kan tracke hvem som er ansvarlig for hvilke agenter

2. **Centralized logging**: Key events logges til Azure Log Analytics
   - **Verdi**: Audit trail for compliance

3. **Cost tracking**: Token consumption og compute usage per agent
   - **Verdi**: CFO/Finance kan allokere kostnader til avdelinger

4. **User disclosure**: Agents identifiserer seg som AI (ikke menneske)
   - **Verdi**: Etisk transparency overfor sluttbrukere

**Governance workflow for Copilot Studio**:
- **Pre-deployment**: Mandatory ethical impact assessment (template fra governance team)
- **Deployment**: Assign agent identity (owner, cost center, compliance tags)
- **Monitoring**: Dashboards for leadership (agent usage, cost, user satisfaction)
- **Incident**: Shutdown authority defined (who can take agent offline?)

*Confidence: Verified (MCP microsoft-learn)*

---

### Power Platform AI

**Business user AI** (low-code/no-code):

**Utfordring**: Business users (ikke data scientists) bygger AI — hvordan sikre stakeholder communication?

**Microsoft's tilnærming**:

1. **AI Builder transparency features**:
   - Automatiske "confidence scores" på predictions
   - Built-in explainability (viser hvilke felt som påvirket beslutningen)

2. **Governance via CoE Starter Kit**:
   - Inventory av alle AI Builder-modeller i tenant
   - Compliance checks (er modellen i prod uten review?)
   - Automated alerts til governance team ved high-risk deployments

3. **Template-basert kommunikasjon**:
   - Pre-built templates for å dokumentere AI-modeller
   - Enforced metadata: "Business owner", "Approval date", "Intended use"

**Eksempel — Document Processing AI**:
- Business user bygger AI Builder model for invoice extraction
- Model krever approval (via Power Platform governance policy)
- Governance team får alert → ber om dokumentasjon
- Business user fyller ut template:
  - **Purpose**: "Automatisere fakturagodkjenning for finansavdelingen"
  - **Data sources**: "SharePoint-bibliotek med historiske fakturaer"
  - **Sensitive data?**: "Nei"
  - **Fairness considerations**: "N/A (dokument-prosessering)"
- Governance team godkjenner → model går til prod
- Sluttbrukere (finans-ansatte) ser confidence score på hver prediksjon: "95% sikker på at beløp er 12 500 kr"

*Confidence: Baseline (Power Platform best practice) + Verified (CoE Kit concept)*

---

## Offentlig sektor (Norge)

### Spesielle krav for norsk offentlig forvaltning

Norske offentlige etater må følge **Lov om offentlige anskaffelser**, **GDPR**, og **kommende EU AI Act** (via EØS-avtalen). Dette stiller ekstra krav til stakeholder communication.

#### Krav fra EU AI Act (relevant for Norge via EØS)

**High-risk AI systems** (e.g., AI som påvirker tilgang til offentlige tjenester, kreditt, eller sysselsetting):

| Krav | Kommunikasjonsbehov |
|------|---------------------|
| **Transparency obligations** | AI-systemet må identifisere seg som AI (ikke late som om det er menneske) |
| **Human oversight** | Klart definert hvem som har ansvar for AI-beslutninger (ikke "algoritmen bestemte") |
| **Record-keeping** | Dokumentasjon av treningsdata, modell-versjon, beslutningslogikk (må kunne vises til revisor) |
| **Accuracy, robustness, cybersecurity** | Rapportere ytelsesmetrikker til stakeholders (inkl. feilrater) |
| **Right to explanation** | Borgere har rett til å forstå hvorfor en beslutning ble tatt |

**Eksempel — NAV bruker AI til vurdering av trygdeytelser**:

1. **Før deployment**:
   - Juridisk vurdering: Faller dette under "high-risk" i AI Act? → **Ja**
   - Krav: Human oversight, transparency, right to explanation
   - Kommunikasjon til Stortinget/offentligheten: "NAV tester AI-verktøy for å støtte saksbehandlere. Endelig beslutning tas alltid av menneske."

2. **Under drift**:
   - UI til saksbehandler: "AI anbefaler 'avslag' basert på X, Y, Z. Du kan overstyre."
   - UI til borger: "Din søknad er vurdert av saksbehandler [navn]. AI ble brukt som beslutningsstøtte."
   - Logging: Full audit trail (hvem, hva, når, hvorfor)

3. **Ved klage**:
   - Borger har rett til forklaring: "Avslaget ble begrunnet med [konkrete årsaker]. AI-systemet vektla faktorene A, B, C."
   - Juridisk dokumentasjon: Responsible AI Scorecard + Model Card + Lineage → arkiveres i saksmappe

#### Norske tilsynsmyndigheter

| Myndighet | Rolle | Kommunikasjonsbehov |
|-----------|-------|---------------------|
| **Datatilsynet** | GDPR-håndheving | Dokumentasjon av personvernkonsekvenser (DPIA for høyrisiko-AI) |
| **Sivilombudet** | Klager på offentlig forvaltning | Forklaring av AI-beslutninger i klagesaker |
| **Riksrevisjonen** | Revisjon av statlige virksomheter | Audit trail, cost-benefit analysis av AI-investeringer |
| **Direktoratet for forvaltning og økonomistyring (DFØ)** | Veileder om digitalisering | Best practice for AI governance (forventer transparens) |

**Tilnærming for norske etater**:
- **Proaktiv kommunikasjon**: Publiser AI-strategi og responsible AI-prinsipper på nett (åpenhet)
- **Innbyggerdialog**: Før deployment av høyrisiko-AI, involver brukerorganisasjoner til feedback
- **Parlamentarisk informasjon**: Brief relevante stortingskomiteer om AI-bruk
- **Språk**: All dokumentasjon må være tilgjengelig på norsk (ikke bare engelsk)

*Confidence: Baseline (norsk regulatorisk kontekst) + Verified (EU AI Act fra MCP)*

---

### Eksempel: Kommunehelsetjeneste bruker AI for triagering

**Scenario**: En norsk kommune implementerer AI-assistert telefontriage for helserådgivning.

**Stakeholder-kommunikasjonsstrategi**:

| Stakeholder | Kommunikasjon | Format | Tidspunkt |
|-------------|---------------|--------|-----------|
| **Kommunestyret** | "AI vil støtte helsesykepleiere, ikke erstatte dem. Estimert X timer spart per uke." | Rapport med cost-benefit analysis | Før godkjenning av budsjett |
| **Helsepersonell** | "AI foreslår spørsmål basert på symptomer. Dere tar endelig beslutning om henvisning." | Opplæringsworkshop + brukermanual | Før pilot |
| **Innbyggere** | "Når du ringer, vil AI-verktøy støtte helsesykepleieren i å stille relevante spørsmål. All informasjon behandles konfidensielt." | Info på kommune-nettside + muntlig disclaimers ved oppringning | Ved launch |
| **Datatilsynet** | "DPIA gjennomført. Sensitive helseopplysninger lagres i norsk databank (Azure Norway regions). Ingen data deles med tredjeparter." | Formell DPIA-rapport | Før deployment |
| **Media/offentligheten** | "Kommunen tar i bruk moderne teknologi for å forbedre tilgjengelighet. Personvern er ivaretatt." | Pressemelding | Ved offentliggjøring |

**Teknisk implementering**:
- **Azure AI**: Bygg custom triage-modell i Azure ML
- **Interpretability**: Vis helsesykepleier hvorfor AI foreslo visse spørsmål
- **Compliance**: Logg all AI-aktivitet → auditlog for Datatilsynet
- **Fallback**: Hvis AI feiler, system går automatisk til manuell triage (ingen service disruption)

*Confidence: Baseline (offentlig sektor best practice)*

---

## Kostnad og lisensiering

### Azure Machine Learning — Responsible AI Scorecard

**Lisensiering**: Inkludert i Azure ML Workspace (ingen ekstra kostnad for Scorecard).

**Kostnadskomponenter**:
- **Compute for training**: Standard Azure ML compute (CPU/GPU)
- **Responsible AI Dashboard generation**: Lightweight compute (ca. 5-10 min på standard VM)
- **Scorecard export (PDF)**: Gratis (generert fra dashboard-data)

**Estimat (eksempel)**:
- Azure ML Workspace: Fra NOK 0 (pay-as-you-go)
- Compute for modelltrening: NOK 500–5 000 per eksperiment (avhengig av datavolum)
- Dashboard + Scorecard: Neglisjerbar kostnad (ca. NOK 50 per generering)

**Anbefaling**: Bruk Azure ML for models som krever tungt governance (regulatorisk compliance) → kostnad rettferdiggjøres av audit trail.

---

### Azure AI Foundry — Transparency Note

**Lisensiering**: Transparency Note er dokumentasjon (gratis).

**Kostnadskomponenter**:
- **Azure OpenAI / Azure AI Services**: Pay-per-token (variable cost)
- **Content Safety**: Ca. NOK 0.10 per 1 000 text records (real-time filtering)
- **Application Insights**: Fra NOK 200/måned (logging av interactions for audit)

**Estimat (eksempel — chatbot med 10 000 interactions/måned)**:
- Azure OpenAI (GPT-4): Ca. NOK 5 000–10 000/måned
- Content Safety: Ca. NOK 10/måned
- Application Insights: Ca. NOK 500/måned
- **Total**: ~NOK 5 500–10 500/måned

**Transparency cost**: Neglisjerbar (documentation effort, ikke Azure-kostnad).

---

### Copilot Studio — Agent Observability

**Lisensiering**:
- Copilot Studio: Fra $200 per tenant/måned (inkluderer 25 000 messages)
- Ekstra messages: $0.015 per message
- Agent observability (Microsoft Agent 365): Inkludert i Copilot Studio-lisens

**Kostnadskomponenter**:
- **Base subscription**: Ca. NOK 2 200/måned
- **Overage**: Ca. NOK 0.16 per ekstra message
- **Azure Log Analytics** (for centralized logging): Fra NOK 200/måned

**Estimat (eksempel — 50 000 messages/måned)**:
- Base: NOK 2 200
- Overage (25 000 messages): NOK 4 000
- Log Analytics: NOK 500
- **Total**: ~NOK 6 700/måned

**Governance cost**: Tid brukt på reviews og approvals (internt personell) — not teknisk kostnad.

---

### Power Platform AI — CoE Starter Kit

**Lisensiering**:
- CoE Starter Kit: Gratis (open-source)
- Power Platform-lisenser: Krever Power Apps eller Power Automate-lisens for å kjøre CoE-appene
- Power BI (for dashboards): Included i Power BI Pro (fra $10/user/måned)

**Kostnadskomponenter**:
- **CoE deployment**: Engangskostnad (timer brukt av admin)
- **Ongoing monitoring**: Inkludert i Power Platform-lisens
- **Storage (for inventory)**: Dataverse storage (included i base-lisens, overage ca. $40/GB/måned)

**Estimat (eksempel — organisasjon med 500 users)**:
- Power BI Pro (for 5 governance team members): Ca. NOK 500/måned
- Dataverse storage (overage, hvis nødvendig): Ca. NOK 0–500/måned
- **Total**: ~NOK 500–1 000/måned

**Benefit**: Reduserт risk ved "shadow AI" (uapproved models) — ROI via risk mitigation.

*Confidence: Verified (Azure pricing) + Baseline (estimater basert på typical usage)*

---

## For arkitekten (Cosmo)

### Når en kunde spør: "Hvordan forklarer vi AI-beslutninger til ledelsen?"

**Vurder først**:

1. **Hvilket AI-system?**
   - Klassisk ML (Azure ML) → **Responsible AI Scorecard** er go-to
   - Generative AI (Azure OpenAI, Copilot Studio) → **Transparency Note + groundedness metrics**
   - Low-code (Power Platform AI) → **AI Builder confidence scores + CoE dashboards**

2. **Hvem er "ledelsen"?**
   - C-suite → **Executive summary** (one-pager med risiko og ROI)
   - Product managers → **Responsible AI Scorecard** (fairness, accuracy, limitations)
   - Legal/Compliance → **Full Responsible AI Dashboard + audit trail**

3. **Hva er konteksten?**
   - Pre-deployment godkjenning → **Scorecard med target values**
   - Post-deployment review → **Monitoring dashboard (Power BI + Azure ML metrics)**
   - Regulatorisk audit → **Model Card + lineage + DPIA**
   - Incident response → **Postmortem report + remediation plan**

---

### Anbefalinger per scenario

#### Scenario A: "Vi trenger godkjenning for å deploye en risikovurderingsmodell"

**Løsning**:
1. Tren modell i Azure ML med Responsible AI Dashboard
2. Definer target values med product manager (e.g., "min. 90% accuracy, max 5% disparity between groups")
3. Generer Responsible AI Scorecard (PDF)
4. Lag executive summary (one-pager):
   - **What**: "AI-modell for risikovurdering"
   - **Why**: "Redusere manuelt arbeid med X timer/uke"
   - **Performance**: "92% accuracy, 3% disparity — møter targets"
   - **Risk**: "Lav (human-in-the-loop, full audit trail)"
   - **Recommendation**: "Deploy med 3-måneders monitoring"
5. Present for governance board → decision

**Tidslinje**: 2–4 uker (inkludert modelltrening, evaluering, og review)

---

#### Scenario B: "En bruker klager på at AI-systemet diskriminerer"

**Løsning (incident response)**:
1. **Umiddelbar respons** (innen 24 timer):
   - Bekreft mottatt klage: "Vi tar dette alvorlig og undersøker"
   - Triage: Er dette isolert eller systemic issue?

2. **Investigate** (1–7 dager):
   - Hent ut audit trail (Application Insights + Azure ML logs)
   - Kjør fairness assessment på relevant kohort (demografisk gruppe)
   - Identifiser om modellen faktisk viser bias eller om det er andre faktorer

3. **Respond til bruker** (innen 7 dager):
   - Hvis bias bekreftet: "Vi har identifisert et problem med modellen som kan ha påvirket din beslutning. Vi har [pauset systemet/justert modellen]. Din sak vil bli revurdert."
   - Hvis ikke bias: "Vår undersøkelse viser at beslutningen var basert på [faktorer]. Vi fant ingen systematisk diskriminering. Du har rett til å be om manuell revurdering."

4. **Intern kommunikasjon** (ongoing):
   - Brief governance team og legal
   - Hvis systemic issue → shutdown og retrain
   - Hvis isolert → document i incident log, fortsett monitoring

5. **Postmortem** (etter lukking):
   - Distribuer lærdommer til data science team
   - Oppdater policies hvis nødvendig (e.g., "vi trenger mer granular fairness monitoring")

**Kritisk**: Aldri skyld på "algoritmen" — ta organizational accountability.

---

#### Scenario C: "Vi skal implementere AI i offentlig sektor — hva må vi kommunisere til Datatilsynet?"

**Løsning**:
1. **DPIA (Data Protection Impact Assessment)** — obligatorisk for høyrisiko-AI:
   - Beskriv formål, datakilder, behandlingsgrunnlag
   - Identifiser risikoer for personvern
   - Dokumenter mitigations (anonymisering, access controls, etc.)

2. **Transparency materials**:
   - Lag Transparency Note (norsk versjon)
   - Publiser på offentlig nettside: "Slik bruker vi AI"
   - Inkluder right to explanation: "Hvordan klage på en AI-påvirket beslutning"

3. **Tekniske safeguards**:
   - Azure Norway regions for datalagring (unngå dataeksport)
   - Entra ID for identitetsstyring (audit trail av hvem som har tilgang)
   - Azure Policy for compliance (e.g., "All AI-systemer må logge decisions")

4. **Ongoing rapportering** (til Datatilsynet hvis forespurt):
   - Antall AI-beslutninger per måned
   - Antall klager relatert til AI
   - Resultater av fairness audits

**Proaktiv strategi**: Inviter Datatilsynet til pilot-fase for feedback (bygge tillit).

---

### Red Flags (Når stakeholder communication er insufficient)

| Red Flag | Problem | Fix |
|----------|---------|-----|
| "Vi kan ikke forklare hvorfor modellen tok denne beslutningen" | Manglende interpretability | Implementer Azure ML Interpretability component |
| "Ledelsen vet ikke at vi bruker AI" | Shadow AI | Implementer CoE Starter Kit for governance |
| "Vi har ingen audit trail" | Compliance risk | Enable logging (Application Insights, Azure ML Run History) |
| "Brukere tror AI er et menneske" | Etisk brudd | Add disclaimers: "This is AI-generated content" |
| "Legal har aldri sett på modellen" | Deployment risk | Mandatory legal review for high-risk AI (governance checkpoint) |
| "Vi vet ikke hvem som er ansvarlig for AI-systemet" | Accountability gap | Assign owner (Entra ID-identitet, documented i Model Card) |

---

### Cosmo's Stakeholder Communication Checklist

Før deployment av AI-system, sjekk:

- [ ] **Executive summary** er skrevet (one-pager for C-suite)
- [ ] **Responsible AI Scorecard** er generert (hvis Azure ML)
- [ ] **Transparency Note** eller tilsvarende dokumentasjon eksisterer
- [ ] **Governance team** har godkjent (sign-off dokumentert)
- [ ] **Legal/Compliance** har reviewet (spesielt hvis høyrisiko)
- [ ] **End-user communication** er klar (UI disclaimers, feedback mechanism)
- [ ] **Audit trail** er enabled (logging av decisions, lineage)
- [ ] **Incident response plan** er definert (hvem tar beslutninger ved problemer?)
- [ ] **Monitoring dashboard** er satt opp (for kontinuerlig oversight)
- [ ] **Training for stakeholders** er gjennomført (hvis nødvendig)

Hvis noen av disse mangler: **IKKE deploy før de er på plass.** AI uten stakeholder communication er en compliance-bombe.

---

## Kilder og verifisering

### Verified Sources (fra MCP microsoft-learn)

1. **Share Responsible AI insights using the Responsible AI scorecard (preview)**
   - https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai-scorecard?view=azureml-api-2
   - Status: GA (public preview for some features)
   - Verifisert: 2026-02

2. **What is Responsible AI?**
   - https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai?view=azureml-api-2
   - Status: GA
   - Verifisert: 2026-02

3. **Establishing responsible AI policies for AI agents across organizations**
   - https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/responsible-ai-across-organization
   - Status: GA
   - Verifisert: 2026-02

4. **Model interpretability**
   - https://learn.microsoft.com/en-us/azure/machine-learning/how-to-machine-learning-interpretability?view=azureml-api-2
   - Status: GA
   - Verifisert: 2026-02

5. **Design methodology for AI workloads on Azure**
   - https://learn.microsoft.com/en-us/azure/well-architected/ai/design-methodology
   - Status: GA
   - Verifisert: 2026-02

6. **Transparency note for Azure OpenAI**
   - https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/openai/transparency-note?view=foundry-classic
   - Status: GA
   - Verifisert: 2026-02

7. **Artificial Intelligence overview (Microsoft compliance)**
   - https://learn.microsoft.com/en-us/compliance/assurance/assurance-artificial-intelligence
   - Status: GA
   - Verifisert: 2026-02

8. **Governance and security for AI agents across the organization**
   - https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/governance-security-across-organization
   - Status: GA
   - Verifisert: 2026-02

### Baseline Sources (modellkunnskap)

9. **EU AI Act** (via EØS-avtalen, relevant for Norge)
   - Confidence: High (publicly available regulation)

10. **NIST AI Risk Management Framework**
    - Confidence: High (US standard, widely referenced)

11. **Norsk offentlig sektor AI governance** (DFØ, Datatilsynet)
    - Confidence: Medium (basert på generell kunnskap om norske myndigheters krav)

12. **Power Platform CoE Starter Kit**
    - Confidence: High (open-source, dokumentert av Microsoft)

### Code Samples (fra MCP microsoft_code_sample_search)

13. **MLflow GenAI evaluation scorers**
    - Eksempler på å evaluere AI-responder med custom judges
    - Relevant for: Quality assessment og stakeholder-rapportering

14. **Azure AI tracing with OpenTelemetry**
    - Eksempler på å logge AI interactions med feedback
    - Relevant for: Audit trail og user feedback loops

15. **Azure AI Evaluation SDK**
    - Eksempler på å bruke built-in evaluators (RelevanceEvaluator, ViolenceEvaluator)
    - Relevant for: Safety og quality metrics for stakeholders

---

**Total kilder**: 15 (8 verified fra MCP, 7 baseline/code samples)

**MCP calls gjennomført**: 5 (3 docs_search, 2 docs_fetch, 1 code_sample_search)

**Confidence vurdering**:
- **Verified (90–100%)**: Azure ML Scorecard, Transparency Note, Interpretability, Responsible AI principles, AI governance structures
- **High (75–90%)**: Generative AI explainability techniques, incident response patterns, EU AI Act framework
- **Baseline (60–75%)**: Offentlig sektor Norge spesifikke krav (basert på generell kunnskap om Datatilsynet/DFØ)

---

*Sist oppdatert: 2026-02 av Cosmo Skyberg (AI Architect Plugin)*
