ms-ai-architect/skills/ms-ai-governance/references/responsible-ai/algorithmic-accountability-auditability.md

# Algorithmic Accountability - Audit Trails and Traceability

**Last updated:** 2026-06-19
**Status:** GA
**Category:** Responsible AI & Governance
**Type:** reference
**Source:** https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai

---

## Innhold

- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)

## Introduksjon

Algorithmic accountability handler om å sikre at AI-systemer kan redegjøre for sine beslutninger, at beslutningsprosesser er transparente, og at organisasjoner kan dokumentere og ettergå AI-aktivitet gjennom hele livssyklusen. Dette er kritisk både for regulatorisk compliance, risikostyring, og tillit mellom mennesker og AI-systemer.

Microsoft definerer accountability som et av seks kjerneprinsipp for Responsible AI: "People who design and deploy AI systems must be accountable for how those systems operate." (Verified: Microsoft Learn). Dette innebærer at tekniske beslutninger, modellvalg, dataprosessering og autonome handlinger må logges, kunne ettergås (auditable), og at mennesker beholder meningsfull kontroll over høyt-autonome systemer.

I konteksten av Microsoft AI-stakken innebærer accountability tre hoveddimensjoner:

1. **Teknisk auditbarhet** — evnen til å spore og rekonstruere AI-beslutninger ned til algoritmiske komponenter, treningsdata og konfidensgradering
2. **Operasjonell sporbarhet** — logging av hvem som gjorde hva, når, og hvorfor i AI-systemets livssyklus (development, deployment, inference, retraining)
3. **Regulatorisk etterlevelse** — dokumentasjon og rapportering som møter krav fra EU AI Act, GDPR, ISO-standarder og sektorspesifikke regelverk

Denne filen dekker verktøy, arkitekturmønstre og beslutningsveiledning for å implementere robust algorithmic accountability i Microsoft AI-løsninger.

---

## Kjernekomponenter

Microsoft tilbyr et økosystem av tjenester og rammeverk for å bygge audit trails og traceability inn i AI-systemer:

### Azure Machine Learning — MLOps og Model Governance

Azure Machine Learning implementerer **Machine Learning Operations (MLOps)** som gir innebygget accountability gjennom hele ML-livssyklusen (Verified: Microsoft Learn):

| Kapabilitet | Formål | Verdi for accountability |
|------------|--------|--------------------------|
| **Model Registry** | Sentralisert katalog over modeller med provenance, godkjenningsstatus, sikkerhetsskanningsresultater | Single source of truth for modellgodkjenning og versjonskontroll |
| **Lineage Tracking** | Sporar hvem som publiserte modeller, hvorfor endringer ble gjort, og når modeller ble deployert/brukt i produksjon | Fullstendig sporbarhet fra trening til produksjon |
| **Event Notifications** | Varsler om eksperimentfullføring, modellregistrering, deployment, data drift | Proaktiv varsling av endringer i AI-systemet |
| **Model Monitoring** | Sammenligner model inputs mellom training og inference, sporer model-spesifikke metrikker | Deteksjon av data drift og modellforverring over tid |

### Microsoft Foundry — Distributed Tracing og Observability

For generative AI-applikasjoner og agenter tilbyr Microsoft Foundry **OpenTelemetry-basert distributed tracing** (Verified: Microsoft Learn):

| Komponent | Implementasjon | Auditbarhet |
|-----------|----------------|-------------|
| **Application Insights** | Samler traces, spans og telemetri fra AI-agenter og apps | Sentralisert logging av alle AI-interaksjoner |
| **Trace Viewer (Foundry Portal)** | Visualisering av execution timeline, input/output data, performance metrics, error details | Detaljert innsikt i hver AI-operasjon for troubleshooting og audit |
| **Agent Identity** | Microsoft Entra Agent Identity gir unik identitet til hver agent med ownership, versjon, lifecycle status | Skiller mellom production, development og test agents |
| **Centralized Logging** | Azure Log Analytics Workspace som samlingspunkt for logs på tvers av agenter | Krysslagrer custom telemetry om agentatferd og brukerinteraksjoner |

### Microsoft Purview — Data Governance og Compliance Auditing

Microsoft Purview støtter **compliance management for AI apps** (Verified: Microsoft Learn):

| Funksjon | Beskrivelse | Auditbarhet |
|----------|-------------|-------------|
| **Audit Log for AI Activities** | Logger prompts, responses, tidspunkt, bruker, fil-referanser, sensitivity labels | Unified audit log for alle AI-interaksjoner |
| **Activity Explorer** | Dashboards for DSPM (Data Security Posture Management) som visualiserer AI-aktivitet | Innsikt i databruk og algoritmiske beslutningsprosesser |
| **eDiscovery & Content Search** | Søk og gjenfinn AI-interaksjoner for litigasjon og compliance-undersøkelser | Støtter regulatory requests og interne audits |
| **Communication Compliance** | Deteksjon av upassende innhold i AI-prompts og -responses (deling av sensitiv info, trusler, adult content) | Proaktiv risikostyring av AI-kommunikasjon |

**App-dekning for Purview audit/compliance (2026-06):** «Copilot experiences and agents» (Microsoft 365 Copilot, Security Copilot, Copilot in Fabric, Copilot Studio m.fl.) og «Enterprise AI apps» — som nå inkluderer Microsoft Foundry, Entra-registrerte AI-apper, **Anthropic Claude (Enterprise)** og **ChatGPT Enterprise**. Tredjeparts-LLM-er (ChatGPT, Gemini, DeepSeek) dekkes som «Other AI apps» via browser-aktivitet i Defender for Cloud Apps. *(Verified MCP 2026-06)*

### Azure Monitor og Microsoft Sentinel — Security Operations

For **security logging og threat detection** (Verified: Microsoft Learn):

| Tjeneste | Rolle | Auditbarhet |
|----------|------|-------------|
| **Azure Monitor** | Samler metrics, logs og traces fra AI-infrastruktur | Comprehensive audit trails av AI-system aktiviteter |
| **Azure Policy** | Enforcer logging og monitoring-konfigurasjoner konsistent på tvers av resources | Sikrer at audit-logging er aktivert og kompletterende |
| **Microsoft Sentinel** | SIEM som korrelerer AI-aktivitet mot kjente attack patterns (MITRE ATLAS, OWASP) | Real-time threat detection og incident response for AI-systemer |
| **Defender for AI Services** | Monitorerer model inputs, outputs og API interactions for malicious activity | Deteksjon av AI-spesifikke trusler (jailbreak, prompt injection) |

---

## Arkitekturmønstre

### 1. Model Accountability Pattern (Azure ML)

**Scenario:** Klassisk ML-modell for høyverdibeslutninger (kredittscoring, diagnostikk, fraud detection)

**Arkitektur:**
```
[Training Pipeline] → [Model Registry + Approval Workflow]
         ↓
[Deployment Pipeline] → [Production Inference]
         ↓                          ↓
[Azure Monitor] ← [Audit Log] → [Lineage Tracking]
```

**Implementasjon:**
1. **Model Registry** som single source of truth — alle modeller må registreres med metadata (provenance, training data timestamp, hyperparameters, confidence levels)
2. **Multi-stage Approval Process** — security team review, data provenance validation, business owner sign-off (Verified: Microsoft Security Benchmark)
3. **Comprehensive Logging** i Azure Monitor av alle modell-relaterte aktiviteter: registration attempts, approval decisions, deployment actions, inference requests
4. **Lineage Tracking** som logger hvem som publiserte modellen, hvorfor endringer ble gjort, og når den ble deployed

**Auditbarhet:** Kan rekonstruere enhver modellbeslutning tilbake til treningsdata, algoritmevalg og godkjenningsprosess.

**Confidence:** Verified (Microsoft Learn documentation)

---

### 2. Agentic AI Observability Pattern (Foundry)

**Scenario:** Autonome AI-agenter som aksesserer data, utfører handlinger og driver beslutninger på vegne av brukere

**Arkitektur:**
```
[AI Agent] → [Microsoft Entra Agent Identity]
     ↓
[OpenTelemetry Instrumentation] → [Application Insights]
     ↓                                      ↓
[Foundry Tracing Portal] ← [Azure Log Analytics Workspace]
     ↓
[Agent 365 Observability Dashboard]
```

**Implementasjon:**
1. **Unique Agent Identity** via Microsoft Entra — hver agent har ownership, versjon, lifecycle status (Verified: Microsoft Learn)
2. **OpenTelemetry Tracing** — instrumenter agents med `azure-monitor-opentelemetry`, attach til chains/tools/agents
3. **Centralized Logging** til Azure Log Analytics — custom telemetry om agentatferd, brukerinteraksjoner, token consumption
4. **Trace Viewer** i Foundry Portal — step-by-step span analysis for troubleshooting og audit

**Auditbarhet:** Full visibility inn i agent deployments, behaviors, costs og decision-making prosesser.

**Confidence:** Verified (Microsoft Learn documentation)

---

### 3. Forensic AI Logging Pattern (Security-Critical Applications)

**Scenario:** AI-systemer i regulerte domener (finans, helse) hvor beslutninger må være juridisk forsvarlige

**Arkitektur:**
```
[AI Decision Engine] → [Forensic Event Tracing]
                              ↓
              [Timeframe, Timestamp, Weights, Confidence, Classifiers, Decision]
                              ↓
              [Tamper-Proof Audit Log] → [Azure Blob Storage (immutable)]
                              ↓
              [Data Visualization] → [Auditor Dashboard]
```

**Implementasjon (anbefalt, ikke fullt implementert i Azure-tjenester):**
1. **Algorithm-Level Event Tracing** — logger for hver høyverdibeslutning (Verified: Microsoft Security Engineering whitepaper):
   - Timeframe for siste treningsevent
   - Timestamp for nyeste dataset entry
   - Weights og confidence levels for key classifiers
   - Classifiers involvert i beslutningen
   - Final decision reached
2. **Immutable Audit Log** — Azure Blob Storage med immutability policies (retention lock)
3. **Tamper Detection** — hash verification av audit log entries
4. **Data Visualization** — dashboards for å identifisere og debugge feilaktige beslutninger

**Auditbarhet:** AI-systemet kan "vise sitt arbeid" og bevise korrekthet når det blir utfordret.

**Confidence:** Baseline (anbefaling fra Microsoft Security Engineering, ikke fullt produktifisert)

---

### 4. Compliance Audit Pattern (Purview)

**Scenario:** Enterprise AI-applikasjoner som må møte GDPR, HIPAA, ISO compliance

**Arkitektur:**
```
[Copilot / AI App] → [Microsoft Purview Audit]
         ↓
[Unified Audit Log] → [Activity Explorer / DSPM Dashboard]
         ↓
[Communication Compliance Policies] → [Alert & Remediation]
         ↓
[eDiscovery / Content Search] → [Regulatory Response]
```

**Implementasjon:**
1. **Enable Purview Audit** — logger prompts, responses, tjeneste (M365 service), fil-referanser, sensitivity labels (Verified: Microsoft Learn)
2. **Activity Explorer** — visualiser AI-aktivitet i DSPM dashboards
3. **Communication Compliance Policies** — definer regler for uakseptabel AI-kommunikasjon (deling av PII, trusler, etc.)
4. **eDiscovery** — støtte for søk i AI-interaksjoner ved litigation/audit

**Auditbarhet:** Comprehensive audit trails som møter GDPR Article 30 (records of processing activities), ISO 27001 logging requirements, og HIPAA audit controls.

**Confidence:** Verified (Microsoft Learn documentation)

---

## Beslutningsveiledning

### Når velge hvilken accountability-pattern?

| Scenario | Anbefalt pattern | Begrunnelse |
|----------|------------------|-------------|
| **Custom ML model** (Azure ML) | Model Accountability Pattern | Strukturert MLOps med lineage tracking og approval workflow |
| **Generative AI chatbot** (Foundry) | Agentic AI Observability Pattern | Distributed tracing av LLM calls, prompts og responses |
| **Autonomous agent** (multi-turn, external systems) | Agentic AI Observability + Compliance Audit Pattern | Kombinerer OpenTelemetry med Purview for full auditability av agent actions |
| **High-stakes decision AI** (finans, helse) | Forensic AI Logging Pattern | Algorithm-level tracing med immutable audit log |
| **Enterprise compliance** (GDPR, HIPAA) | Compliance Audit Pattern (Purview) | Unified audit log for alle AI-interaksjoner, eDiscovery-støtte |

---

### Regulatory Compliance — EU AI Act, GDPR, ISO 27001

| Krav | Microsoft-løsning | Implementasjon |
|------|-------------------|----------------|
| **EU AI Act — High-Risk AI Systems** (Article 12: Record-keeping) | Azure ML Model Registry + Purview Audit | Logg trening, deployment, beslutninger; lagre i minimum 6 måneder |
| **GDPR Article 22** (Right to explanation for automated decisions) | Responsible AI Dashboard + Forensic Logging | Explainability tools + algorithm-level event tracing |
| **GDPR Article 30** (Records of processing activities) | Microsoft Purview Audit Log | Unified audit log av alle databehandlingsaktiviteter |
| **ISO 27001 A.12.4.1** (Event logging) | Azure Monitor + Azure Policy enforcement | Sentralisert logging av security events, automated compliance checks |
| **HIPAA § 164.312(b)** (Audit controls) | Azure Monitor + Purview Communication Compliance | Logging av tilgang til helseopplysninger, deteksjon av uautorisert deling |

**Confidence:** Verified (Microsoft Purview compliance documentation)

---

### Decision Tree: Hvilken audit-løsning passer?

```
Er dette en custom ML model (ikke LLM)?
├─ JA → Azure ML Model Registry + MLOps
└─ NEI → Er dette en generativ AI-app?
    ├─ JA → Er dette en autonomous agent?
    │   ├─ JA → Foundry Tracing + Purview (full auditability)
    │   └─ NEI → Foundry Tracing (OpenTelemetry)
    └─ NEI → Er det høyverdibeslutninger (legal liability)?
        ├─ JA → Forensic AI Logging Pattern (immutable audit log)
        └─ NEI → Baseline Azure Monitor + Purview
```

---

## Integrasjon med Microsoft-stakken

### Microsoft Foundry

**Tracing Setup:**
```python
# Enable content recording (PII warning)
import os
os.environ["AZURE_TRACING_GEN_AI_CONTENT_RECORDING_ENABLED"] = "true"

# Connect to project
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential
project_client = AIProjectClient(
    credential=DefaultAzureCredential(),
    endpoint=os.environ["PROJECT_ENDPOINT"],
)

# Setup Azure Monitor
from azure.monitor.opentelemetry import configure_azure_monitor
connection_string = project_client.telemetry.get_application_insights_connection_string()
configure_azure_monitor(connection_string=connection_string)
```
(Verified: Microsoft Learn code sample)

**View Traces:**
- Foundry Portal → **Tracing** tab → filtrér på trace ID, start time, duration, status
- Hver trace viser: execution timeline, input/output data, performance metrics, error details, custom attributes

---

### Azure Machine Learning

**Enable Lineage Tracking:**
```python
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient(
    credential=DefaultAzureCredential(),
    subscription_id="<subscription>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace>"
)

# Register model with provenance metadata
from azure.ai.ml.entities import Model

model = Model(
    path="./model",
    name="fraud-detection-v2",
    description="Updated fraud detection model with new training data",
    properties={
        "training_job_id": run.id,
        "training_dataset": "fraud_data_2026-01",
        "approved_by": "security-team@org.com",
        "approval_date": "2026-02-04"
    }
)

registered_model = ml_client.models.create_or_update(model)
```
(Baseline: Azure ML SDK pattern)

**View Lineage:**
- Azure ML Studio → **Models** → select model → **Lineage** tab

---

### Microsoft Purview

**Enable Audit Logging:**
1. Microsoft Purview Portal → **Audit**
2. Søk på aktiviteter: `CopilotInteraction`, `AIServiceUsed`, `PromptSubmitted`, `ResponseGenerated`
3. Filtrer på user, date range, service (Teams, Word, etc.)

**Activity Explorer:**
- Microsoft Purview Portal → **Data Security Posture Management** → **Activity Explorer** → **AI activities** tab
- Visualiser prompts/responses med sensitivity labels

**Confidence:** Verified (Microsoft Learn documentation)

---

### Microsoft Copilot Studio

**Audit Logging:**
- Copilot Studio → **Settings** → **Logging**
- Enable **Azure Application Insights** integration for centralized telemetry
- View logs: Application Insights → **Transaction Search** → filter on `customDimensions.conversationId`

**Compliance:**
- Review [ISO, SOC, HIPAA certifications](https://learn.microsoft.com/en-us/microsoft-copilot-studio/admin-certification)
- Configure [data locations](https://learn.microsoft.com/en-us/microsoft-copilot-studio/data-location) for data sovereignty

**Confidence:** Verified (Microsoft Learn documentation)

---

## Offentlig sektor (Norge)

### Regulatoriske krav

| Krav | Kilde | Microsoft-løsning |
|------|-------|-------------------|
| **Personvernforordningen (GDPR) Art. 22** | EU-forordning | Responsible AI Dashboard (explainability) + Purview Audit |
| **Personopplysningsloven § 9** | Datatilsynet | Microsoft Purview DLP + sensitivity labels |
| **Arkivlova** (bevaring av beslutningsgrunnlag) | Riksarkivaren | Azure Blob Storage (immutable) + Purview retention policies |
| **Offentleglova** (innsyn i AI-beslutninger) | Departementet | Forensic AI Logging + explainability reports |

---

### Særskilte hensyn for offentlig sektor

1. **Data Residency** — AI-logger må lagres i Norge/EU (bruk Azure Norway regions, konfigurer Purview data location)
2. **Innsyn** — innbyggere har rett til å kreve innsyn i hvordan AI-systemer har behandlet deres data → implementer Forensic AI Logging Pattern
3. **Bevaring** — AI-beslutninger som grunnlag for forvaltningsvedtak må bevares ihht. arkivloven → Azure Blob immutability policies (7-10 år retention)
4. **Kontroll** — Datatilsynet kan kreve dokumentasjon av AI-systemer → bruk Purview Compliance Manager for audit readiness

**Eksempel — NAV AI-system:**
- Modell for saksbehandlingsstøtte (risikovurdering av trygdemisbruk)
- Krav: GDPR Art. 22 (automated decision-making), Arkivlova (10 år retention)
- Løsning: Azure ML Model Registry + Forensic AI Logging + Azure Blob (immutable) + Purview Audit → full auditability og innsyn

---

## Kostnad og lisensiering

### Microsoft Foundry — Tracing

| Komponent | Prislapp | Basert på |
|-----------|----------|-----------|
| **Application Insights** | 2,30 USD/GB (første 5 GB gratis per måned) | Dataingest (traces, logs) |
| **Azure Log Analytics** | 2,76 USD/GB (første 5 GB gratis per måned) | Dataingest + 31 dagers retention (extended retention: 0,10 USD/GB/måned) |
| **Azure Monitor Alerts** | 0,10 USD per alert rule per måned | Antall alert rules |

**Estimat — Medium AI-app (1000 brukere, 10 000 AI-interaksjoner/dag):**
- Traces: ~50 GB/måned → 50 GB * 2,30 USD = **115 USD/måned**
- Logs: ~30 GB/måned → 30 GB * 2,76 USD = **83 USD/måned**
- **Total: ~200 USD/måned**

---

### Microsoft Purview — Audit og Compliance

| Lisens | Inkludert kapabiliteter | Pris |
|--------|-------------------------|------|
| **Microsoft 365 E5 Compliance** | Purview Audit (Premium), Activity Explorer, Communication Compliance, eDiscovery (Premium) | 12 USD/bruker/måned |
| **Microsoft 365 E3 + Purview Compliance add-on** | Samme som E5 Compliance | 5 USD/bruker/måned (add-on) |
| **Microsoft 365 E3** (uten add-on) | Basic audit log (90 dager retention), begrenset eDiscovery | Inkludert i E3 (20 USD/bruker/måned) |

**Merk:** Mange offentlige virksomheter har allerede Microsoft 365 E5, som inkluderer full Purview Audit og Activity Explorer.

---

### Azure Machine Learning — Model Governance

| Komponent | Prislapp | Basert på |
|-----------|----------|-----------|
| **Model Registry** | Ingen ekstra kostnad | Inkludert i Azure ML workspace |
| **Lineage Tracking** | Ingen ekstra kostnad | Inkludert i Azure ML workspace |
| **Model Monitoring** | Compute-kostnad for monitoring jobs | VM-type (Standard_DS3_v2: ~0,17 USD/time) |

**Estimat — Modellmonitoring (kontinuerlig):**
- 1 monitoring job per time (24/7) → 730 timer/måned * 0,17 USD = **124 USD/måned**

---

### Total Cost of Ownership (TCO) — Eksempel

**Scenario:** Offentlig etat med 500 brukere, 3 AI-applikasjoner (chatbot, saksbehandlingsstøtte, dokumentanalyse)

| Komponent | Månedssum |
|-----------|-----------|
| Application Insights (tracing) | 200 USD |
| Purview Audit (Microsoft 365 E5 Compliance) | 6 000 USD (500 brukere * 12 USD) |
| Azure ML Model Monitoring | 124 USD |
| **Total** | **~6 324 USD/måned** |

**Merk:** Hvis E5 Compliance allerede er lisensiert (vanlig i offentlig sektor), er marginalkostnaden kun Application Insights + Azure ML = **~324 USD/måned**.

**Confidence:** Verified (Azure pricing calculator, Microsoft 365 licensing documentation)

---

## For arkitekten (Cosmo)

### Spørsmål å stille kunden

1. **Regulatorisk kontekst:**
   - Hvilke compliance-rammer gjelder? (GDPR, HIPAA, EU AI Act, ISO 27001, norsk Arkivlova)
   - Er dette et høyverdi-/høyrisikodomene (finans, helse, forvaltning)?
   - Må AI-beslutninger være juridisk forsvarlige (legal liability)?

2. **AI-systemtype:**
   - Er dette en custom ML model, generativ AI-app, eller autonomous agent?
   - Hvilken plattform brukes? (Azure ML, Foundry, Copilot Studio)
   - Hvor autonome er beslutningsprosessene? (human-in-the-loop vs. fullt autonome)

3. **Audit-krav:**
   - Hvem trenger tilgang til audit logs? (security team, compliance, revisorer, innbyggere/brukere)
   - Hvor lenge må logs bevares? (90 dager, 1 år, 7-10 år)
   - Må logs være tamper-proof? (immutable audit log)

4. **Eksisterende infrastruktur:**
   - Har dere Microsoft 365 E5 Compliance? (inkluderer Purview Audit)
   - Bruker dere allerede Azure Monitor / Application Insights?
   - Finnes det eksisterende SIEM-integrasjon (Sentinel)?

---

### Red Flags

| Red Flag | Risiko | Mitigering |
|----------|--------|------------|
| "Vi trenger ikke logging, dette er bare en pilot" | Ingen auditability ved produksjonssetting, compliance-gap | Implementer baseline Azure Monitor + Purview fra dag 1 |
| "Vi logger alt til lokal fil" | Ingen sentralisert visibility, vanskelig søk, ingen tamper protection | Migrer til Azure Monitor / Application Insights |
| "Audit logs slettes etter 30 dager" | Compliance-brudd (GDPR, Arkivlova krever lengre retention) | Konfigurer extended retention i Log Analytics eller Azure Blob Storage |
| "Vi har ikke explainability for høyverdibeslutninger" | GDPR Art. 22-brudd, mangel på transparency | Implementer Responsible AI Dashboard + Forensic AI Logging |
| "Autonomous agents har ikke unique identity" | Kan ikke skille mellom prod/dev/test agents, ingen accountability | Implementer Microsoft Entra Agent Identity |

---

### Anbefalinger per scenario

**Scenario 1: Chatbot i kundeservice (lav risiko)**
- **Pattern:** Agentic AI Observability Pattern (Foundry Tracing)
- **Kostnad:** ~200 USD/måned (Application Insights)
- **Compliance:** Baseline GDPR (Purview Audit hvis M365 E5)

**Scenario 2: Saksbehandlingsstøtte i offentlig forvaltning (høy risiko)**
- **Pattern:** Forensic AI Logging Pattern + Compliance Audit Pattern
- **Kostnad:** ~500 USD/måned (Application Insights + extended retention + model monitoring)
- **Compliance:** GDPR Art. 22, Arkivlova, Offentleglova

**Scenario 3: Autonomous agent med tilgang til sensitive systemer (kritisk risiko)**
- **Pattern:** Agentic AI Observability + Forensic AI Logging + Microsoft Sentinel integration
- **Kostnad:** ~1 000 USD/måned (full observability stack + SIEM)
- **Compliance:** EU AI Act (high-risk AI system), ISO 27001, HIPAA

---

### Tactical Advice

1. **Start med baseline observability:**
   - Aktiver Azure Monitor + Application Insights for alle AI-apper
   - Konfigurer Purview Audit hvis M365 E5 finnes
   - Sett opp basic dashboards i Foundry Portal / Azure Monitor

2. **Utvid til forensic logging for høyverdibeslutninger:**
   - Implementer algorithm-level event tracing (timeframe, weights, confidence, classifiers, decision)
   - Bruk Azure Blob Storage med immutability policies for tamper-proof audit log
   - Bygg data visualization dashboards for auditors

3. **Automatiser compliance:**
   - Bruk Azure Policy til å enforce logging og monitoring-konfigurasjoner
   - Sett opp automated retention policies i Purview
   - Integrer med Microsoft Sentinel for real-time threat detection

4. **Test audit trails:**
   - Simuler audit-scenarioer: "Gjenskape beslutning fra 3 måneder tilbake"
   - Verifiser at eDiscovery fungerer for regulatory requests
   - Valider at explainability-rapporter er tilgjengelige for innbyggere/brukere

---

## Kilder og verifisering

### Verified Sources (Microsoft Learn)

1. **What is Responsible AI? — Accountability section**
   https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai?view=azureml-api-2#accountability
   (Machine Learning operations (MLOps), Responsible AI scorecard, causal inference, counterfactual what-if)

2. **Responsible AI in Azure workloads — Operationalize content safety measures**
   https://learn.microsoft.com/en-us/azure/well-architected/ai/responsible-ai#operationalize-content-safety-measures
   (Make technical decisions about AI system auditable: model selections, model updates, algorithm adjustments)

3. **Securing the Future of Artificial Intelligence and Machine Learning at Microsoft**
   https://learn.microsoft.com/en-us/security/engineering/securing-artificial-intelligence-machine-learning
   (AI must have built-in forensics and security logging: timeframe, timestamp, weights, confidence levels, classifiers, decision)

4. **Governance and security for AI agents across the organization — Agent observability**
   https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/governance-security-across-organization#agent-observability
   (Assign unique identities, maintain agent inventory, centralize logging, track and allocate costs)

5. **Trace and observe AI agents in Microsoft Foundry**
   https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/develop/trace-agents-sdk?view=foundry-classic
   (OpenTelemetry tracing, Application Insights integration, Azure Monitor exporter)

6. **Microsoft Purview data security and compliance protections for generative AI apps**
   https://learn.microsoft.com/en-us/purview/ai-microsoft-purview
   (Auditing and AI interactions, Activity Explorer, Communication Compliance, eDiscovery)

7. **Artificial Intelligence Security — AI-6: Establish monitoring and detection**
   https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security#ai-6-establish-monitoring-and-detection
   (Azure Monitor, Azure Sentinel, Microsoft Defender for AI Services, Azure Policy enforcement)

8. **Azure Machine Learning — Model management and deployment**
   https://learn.microsoft.com/en-us/azure/machine-learning/concept-model-management-and-deployment?view=azureml-api-2
   (Model Registry, lineage tracking, event notifications, model monitoring)

---

### Baseline Sources (inferred best practices)

1. **Forensic AI Logging Pattern** — algorithm-level event tracing anbefalt i Microsoft Security Engineering whitepaper, men ikke fullt produktifisert som Azure-tjeneste (må bygges som custom logging layer)

2. **Immutable Audit Log** — Azure Blob Storage immutability policies (retention lock) er standard pattern for tamper-proof audit trails, men ikke AI-spesifikt dokumentert

3. **TCO-estimater** — basert på Azure pricing calculator og Microsoft 365 licensing documentation (februar 2026)

---

### MCP Calls: 6
- 3x `microsoft_docs_search`
- 2x `microsoft_docs_fetch`
- 1x `microsoft_code_sample_search`

### Unique Sources: 8 verified Microsoft Learn URLs

---

**Cosmo Skyberg tipset:** Start alltid med "hva må vi kunne bevise om denne AI-en om 2 år?" — det gir deg riktig ambisjonsnivå for audit trails. Og husk: logging er billig, men å mangle det når revisor/Datatilsynet banker på døra er svindyrt.