ms-ai-architect/skills/ms-ai-governance/references/responsible-ai/algorithmic-accountability-auditability.md

Algorithmic Accountability - Audit Trails and Traceability

Last updated: 2026-06-19 Status: GA Category: Responsible AI & Governance Type: reference Source: https://learn.microsoft.com/azure/machine-learning/concept-responsible-ai

---

Innhold

• Introduksjon
• Kjernekomponenter
• Arkitekturmønstre
• Beslutningsveiledning
• Integrasjon med Microsoft-stakken
• Offentlig sektor (Norge)
• Kostnad og lisensiering
• For arkitekten (Cosmo)
• Kilder og verifisering

Introduksjon

Algorithmic accountability handler om å sikre at AI-systemer kan redegjøre for sine beslutninger, at beslutningsprosesser er transparente, og at organisasjoner kan dokumentere og ettergå AI-aktivitet gjennom hele livssyklusen. Dette er kritisk både for regulatorisk compliance, risikostyring, og tillit mellom mennesker og AI-systemer.

Microsoft definerer accountability som et av seks kjerneprinsipp for Responsible AI: "People who design and deploy AI systems must be accountable for how those systems operate." (Verified: Microsoft Learn). Dette innebærer at tekniske beslutninger, modellvalg, dataprosessering og autonome handlinger må logges, kunne ettergås (auditable), og at mennesker beholder meningsfull kontroll over høyt-autonome systemer.

I konteksten av Microsoft AI-stakken innebærer accountability tre hoveddimensjoner:

1. Teknisk auditbarhet — evnen til å spore og rekonstruere AI-beslutninger ned til algoritmiske komponenter, treningsdata og konfidensgradering
2. Operasjonell sporbarhet — logging av hvem som gjorde hva, når, og hvorfor i AI-systemets livssyklus (development, deployment, inference, retraining)
3. Regulatorisk etterlevelse — dokumentasjon og rapportering som møter krav fra EU AI Act, GDPR, ISO-standarder og sektorspesifikke regelverk

Denne filen dekker verktøy, arkitekturmønstre og beslutningsveiledning for å implementere robust algorithmic accountability i Microsoft AI-løsninger.

---

Kjernekomponenter

Microsoft tilbyr et økosystem av tjenester og rammeverk for å bygge audit trails og traceability inn i AI-systemer:

Azure Machine Learning — MLOps og Model Governance

Azure Machine Learning implementerer Machine Learning Operations (MLOps) som gir innebygget accountability gjennom hele ML-livssyklusen (Verified: Microsoft Learn):

Kapabilitet	Formål	Verdi for accountability
Model Registry	Sentralisert katalog over modeller med provenance, godkjenningsstatus, sikkerhetsskanningsresultater	Single source of truth for modellgodkjenning og versjonskontroll
Lineage Tracking	Sporar hvem som publiserte modeller, hvorfor endringer ble gjort, og når modeller ble deployert/brukt i produksjon	Fullstendig sporbarhet fra trening til produksjon
Event Notifications	Varsler om eksperimentfullføring, modellregistrering, deployment, data drift	Proaktiv varsling av endringer i AI-systemet
Model Monitoring	Sammenligner model inputs mellom training og inference, sporer model-spesifikke metrikker	Deteksjon av data drift og modellforverring over tid

Microsoft Foundry — Distributed Tracing og Observability

For generative AI-applikasjoner og agenter tilbyr Microsoft Foundry OpenTelemetry-basert distributed tracing (Verified: Microsoft Learn):

Komponent	Implementasjon	Auditbarhet
Application Insights	Samler traces, spans og telemetri fra AI-agenter og apps	Sentralisert logging av alle AI-interaksjoner
Trace Viewer (Foundry Portal)	Visualisering av execution timeline, input/output data, performance metrics, error details	Detaljert innsikt i hver AI-operasjon for troubleshooting og audit
Agent Identity	Microsoft Entra Agent Identity gir unik identitet til hver agent med ownership, versjon, lifecycle status	Skiller mellom production, development og test agents
Centralized Logging	Azure Log Analytics Workspace som samlingspunkt for logs på tvers av agenter	Krysslagrer custom telemetry om agentatferd og brukerinteraksjoner

Microsoft Purview — Data Governance og Compliance Auditing

Microsoft Purview støtter compliance management for AI apps (Verified: Microsoft Learn):

Funksjon	Beskrivelse	Auditbarhet
Audit Log for AI Activities	Logger prompts, responses, tidspunkt, bruker, fil-referanser, sensitivity labels	Unified audit log for alle AI-interaksjoner
Activity Explorer	Dashboards for DSPM (Data Security Posture Management) som visualiserer AI-aktivitet	Innsikt i databruk og algoritmiske beslutningsprosesser
eDiscovery & Content Search	Søk og gjenfinn AI-interaksjoner for litigasjon og compliance-undersøkelser	Støtter regulatory requests og interne audits
Communication Compliance	Deteksjon av upassende innhold i AI-prompts og -responses (deling av sensitiv info, trusler, adult content)	Proaktiv risikostyring av AI-kommunikasjon

App-dekning for Purview audit/compliance (2026-06): «Copilot experiences and agents» (Microsoft 365 Copilot, Security Copilot, Copilot in Fabric, Copilot Studio m.fl.) og «Enterprise AI apps» — som nå inkluderer Microsoft Foundry, Entra-registrerte AI-apper, Anthropic Claude (Enterprise) og ChatGPT Enterprise. Tredjeparts-LLM-er (ChatGPT, Gemini, DeepSeek) dekkes som «Other AI apps» via browser-aktivitet i Defender for Cloud Apps. (Verified MCP 2026-06)

Azure Monitor og Microsoft Sentinel — Security Operations

For security logging og threat detection (Verified: Microsoft Learn):

Tjeneste	Rolle	Auditbarhet
Azure Monitor	Samler metrics, logs og traces fra AI-infrastruktur	Comprehensive audit trails av AI-system aktiviteter
Azure Policy	Enforcer logging og monitoring-konfigurasjoner konsistent på tvers av resources	Sikrer at audit-logging er aktivert og kompletterende
Microsoft Sentinel	SIEM som korrelerer AI-aktivitet mot kjente attack patterns (MITRE ATLAS, OWASP)	Real-time threat detection og incident response for AI-systemer
Defender for AI Services	Monitorerer model inputs, outputs og API interactions for malicious activity	Deteksjon av AI-spesifikke trusler (jailbreak, prompt injection)

---

Arkitekturmønstre

1. Model Accountability Pattern (Azure ML)

Scenario: Klassisk ML-modell for høyverdibeslutninger (kredittscoring, diagnostikk, fraud detection)

Arkitektur:

[Training Pipeline] → [Model Registry + Approval Workflow]
         ↓
[Deployment Pipeline] → [Production Inference]
         ↓                          ↓
[Azure Monitor] ← [Audit Log] → [Lineage Tracking]

Implementasjon:

1. Model Registry som single source of truth — alle modeller må registreres med metadata (provenance, training data timestamp, hyperparameters, confidence levels)
2. Multi-stage Approval Process — security team review, data provenance validation, business owner sign-off (Verified: Microsoft Security Benchmark)
3. Comprehensive Logging i Azure Monitor av alle modell-relaterte aktiviteter: registration attempts, approval decisions, deployment actions, inference requests
4. Lineage Tracking som logger hvem som publiserte modellen, hvorfor endringer ble gjort, og når den ble deployed

Auditbarhet: Kan rekonstruere enhver modellbeslutning tilbake til treningsdata, algoritmevalg og godkjenningsprosess.

Confidence: Verified (Microsoft Learn documentation)

---

2. Agentic AI Observability Pattern (Foundry)

Scenario: Autonome AI-agenter som aksesserer data, utfører handlinger og driver beslutninger på vegne av brukere

Arkitektur:

[AI Agent] → [Microsoft Entra Agent Identity]
     ↓
[OpenTelemetry Instrumentation] → [Application Insights]
     ↓                                      ↓
[Foundry Tracing Portal] ← [Azure Log Analytics Workspace]
     ↓
[Agent 365 Observability Dashboard]

Implementasjon:

1. Unique Agent Identity via Microsoft Entra — hver agent har ownership, versjon, lifecycle status (Verified: Microsoft Learn)
2. OpenTelemetry Tracing — instrumenter agents med azure-monitor-opentelemetry, attach til chains/tools/agents
3. Centralized Logging til Azure Log Analytics — custom telemetry om agentatferd, brukerinteraksjoner, token consumption
4. Trace Viewer i Foundry Portal — step-by-step span analysis for troubleshooting og audit

Auditbarhet: Full visibility inn i agent deployments, behaviors, costs og decision-making prosesser.

Confidence: Verified (Microsoft Learn documentation)

---

3. Forensic AI Logging Pattern (Security-Critical Applications)

Scenario: AI-systemer i regulerte domener (finans, helse) hvor beslutninger må være juridisk forsvarlige

Arkitektur:

[AI Decision Engine] → [Forensic Event Tracing]
                              ↓
              [Timeframe, Timestamp, Weights, Confidence, Classifiers, Decision]
                              ↓
              [Tamper-Proof Audit Log] → [Azure Blob Storage (immutable)]
                              ↓
              [Data Visualization] → [Auditor Dashboard]

Implementasjon (anbefalt, ikke fullt implementert i Azure-tjenester):

1. Algorithm-Level Event Tracing — logger for hver høyverdibeslutning (Verified: Microsoft Security Engineering whitepaper):
   • Timeframe for siste treningsevent
   • Timestamp for nyeste dataset entry
   • Weights og confidence levels for key classifiers
   • Classifiers involvert i beslutningen
   • Final decision reached
2. Immutable Audit Log — Azure Blob Storage med immutability policies (retention lock)
3. Tamper Detection — hash verification av audit log entries
4. Data Visualization — dashboards for å identifisere og debugge feilaktige beslutninger

Auditbarhet: AI-systemet kan "vise sitt arbeid" og bevise korrekthet når det blir utfordret.

Confidence: Baseline (anbefaling fra Microsoft Security Engineering, ikke fullt produktifisert)

---

4. Compliance Audit Pattern (Purview)

Scenario: Enterprise AI-applikasjoner som må møte GDPR, HIPAA, ISO compliance

Arkitektur:

[Copilot / AI App] → [Microsoft Purview Audit]
         ↓
[Unified Audit Log] → [Activity Explorer / DSPM Dashboard]
         ↓
[Communication Compliance Policies] → [Alert & Remediation]
         ↓
[eDiscovery / Content Search] → [Regulatory Response]

Implementasjon:

1. Enable Purview Audit — logger prompts, responses, tjeneste (M365 service), fil-referanser, sensitivity labels (Verified: Microsoft Learn)
2. Activity Explorer — visualiser AI-aktivitet i DSPM dashboards
3. Communication Compliance Policies — definer regler for uakseptabel AI-kommunikasjon (deling av PII, trusler, etc.)
4. eDiscovery — støtte for søk i AI-interaksjoner ved litigation/audit

Auditbarhet: Comprehensive audit trails som møter GDPR Article 30 (records of processing activities), ISO 27001 logging requirements, og HIPAA audit controls.

Confidence: Verified (Microsoft Learn documentation)

---

Beslutningsveiledning

Når velge hvilken accountability-pattern?

Scenario	Anbefalt pattern	Begrunnelse
Custom ML model (Azure ML)	Model Accountability Pattern	Strukturert MLOps med lineage tracking og approval workflow
Generative AI chatbot (Foundry)	Agentic AI Observability Pattern	Distributed tracing av LLM calls, prompts og responses
Autonomous agent (multi-turn, external systems)	Agentic AI Observability + Compliance Audit Pattern	Kombinerer OpenTelemetry med Purview for full auditability av agent actions
High-stakes decision AI (finans, helse)	Forensic AI Logging Pattern	Algorithm-level tracing med immutable audit log
Enterprise compliance (GDPR, HIPAA)	Compliance Audit Pattern (Purview)	Unified audit log for alle AI-interaksjoner, eDiscovery-støtte

---

Regulatory Compliance — EU AI Act, GDPR, ISO 27001

Krav	Microsoft-løsning	Implementasjon
EU AI Act — High-Risk AI Systems (Article 12: Record-keeping)	Azure ML Model Registry + Purview Audit	Logg trening, deployment, beslutninger; lagre i minimum 6 måneder
GDPR Article 22 (Right to explanation for automated decisions)	Responsible AI Dashboard + Forensic Logging	Explainability tools + algorithm-level event tracing
GDPR Article 30 (Records of processing activities)	Microsoft Purview Audit Log	Unified audit log av alle databehandlingsaktiviteter
ISO 27001 A.12.4.1 (Event logging)	Azure Monitor + Azure Policy enforcement	Sentralisert logging av security events, automated compliance checks
HIPAA § 164.312(b) (Audit controls)	Azure Monitor + Purview Communication Compliance	Logging av tilgang til helseopplysninger, deteksjon av uautorisert deling

Confidence: Verified (Microsoft Purview compliance documentation)

---

Decision Tree: Hvilken audit-løsning passer?

Er dette en custom ML model (ikke LLM)?
├─ JA → Azure ML Model Registry + MLOps
└─ NEI → Er dette en generativ AI-app?
    ├─ JA → Er dette en autonomous agent?
    │   ├─ JA → Foundry Tracing + Purview (full auditability)
    │   └─ NEI → Foundry Tracing (OpenTelemetry)
    └─ NEI → Er det høyverdibeslutninger (legal liability)?
        ├─ JA → Forensic AI Logging Pattern (immutable audit log)
        └─ NEI → Baseline Azure Monitor + Purview

---

Integrasjon med Microsoft-stakken

Microsoft Foundry

Tracing Setup:

# Enable content recording (PII warning)
import os
os.environ["AZURE_TRACING_GEN_AI_CONTENT_RECORDING_ENABLED"] = "true"

# Connect to project
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential
project_client = AIProjectClient(
    credential=DefaultAzureCredential(),
    endpoint=os.environ["PROJECT_ENDPOINT"],
)

# Setup Azure Monitor
from azure.monitor.opentelemetry import configure_azure_monitor
connection_string = project_client.telemetry.get_application_insights_connection_string()
configure_azure_monitor(connection_string=connection_string)

(Verified: Microsoft Learn code sample)

View Traces:

• Foundry Portal → Tracing tab → filtrér på trace ID, start time, duration, status
• Hver trace viser: execution timeline, input/output data, performance metrics, error details, custom attributes

---

Azure Machine Learning

Enable Lineage Tracking:

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

ml_client = MLClient(
    credential=DefaultAzureCredential(),
    subscription_id="<subscription>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace>"
)

# Register model with provenance metadata
from azure.ai.ml.entities import Model

model = Model(
    path="./model",
    name="fraud-detection-v2",
    description="Updated fraud detection model with new training data",
    properties={
        "training_job_id": run.id,
        "training_dataset": "fraud_data_2026-01",
        "approved_by": "security-team@org.com",
        "approval_date": "2026-02-04"
    }
)

registered_model = ml_client.models.create_or_update(model)

(Baseline: Azure ML SDK pattern)

View Lineage:

• Azure ML Studio → Models → select model → Lineage tab

---

Microsoft Purview

Enable Audit Logging:

1. Microsoft Purview Portal → Audit
2. Søk på aktiviteter: CopilotInteraction, AIServiceUsed, PromptSubmitted, ResponseGenerated
3. Filtrer på user, date range, service (Teams, Word, etc.)

Activity Explorer:

• Microsoft Purview Portal → Data Security Posture Management → Activity Explorer → AI activities tab
• Visualiser prompts/responses med sensitivity labels

Confidence: Verified (Microsoft Learn documentation)

---

Microsoft Copilot Studio

Audit Logging:

• Copilot Studio → Settings → Logging
• Enable Azure Application Insights integration for centralized telemetry
• View logs: Application Insights → Transaction Search → filter on customDimensions.conversationId

Compliance:

• Review ISO, SOC, HIPAA certifications
• Configure data locations for data sovereignty

Confidence: Verified (Microsoft Learn documentation)

---

Offentlig sektor (Norge)

Regulatoriske krav

Krav	Kilde	Microsoft-løsning
Personvernforordningen (GDPR) Art. 22	EU-forordning	Responsible AI Dashboard (explainability) + Purview Audit
Personopplysningsloven § 9	Datatilsynet	Microsoft Purview DLP + sensitivity labels
Arkivlova (bevaring av beslutningsgrunnlag)	Riksarkivaren	Azure Blob Storage (immutable) + Purview retention policies
Offentleglova (innsyn i AI-beslutninger)	Departementet	Forensic AI Logging + explainability reports

---

Særskilte hensyn for offentlig sektor

1. Data Residency — AI-logger må lagres i Norge/EU (bruk Azure Norway regions, konfigurer Purview data location)
2. Innsyn — innbyggere har rett til å kreve innsyn i hvordan AI-systemer har behandlet deres data → implementer Forensic AI Logging Pattern
3. Bevaring — AI-beslutninger som grunnlag for forvaltningsvedtak må bevares ihht. arkivloven → Azure Blob immutability policies (7-10 år retention)
4. Kontroll — Datatilsynet kan kreve dokumentasjon av AI-systemer → bruk Purview Compliance Manager for audit readiness

Eksempel — NAV AI-system:

• Modell for saksbehandlingsstøtte (risikovurdering av trygdemisbruk)
• Krav: GDPR Art. 22 (automated decision-making), Arkivlova (10 år retention)
• Løsning: Azure ML Model Registry + Forensic AI Logging + Azure Blob (immutable) + Purview Audit → full auditability og innsyn

---

Kostnad og lisensiering

Microsoft Foundry — Tracing

Komponent	Prislapp	Basert på
Application Insights	2,30 USD/GB (første 5 GB gratis per måned)	Dataingest (traces, logs)
Azure Log Analytics	2,76 USD/GB (første 5 GB gratis per måned)	Dataingest + 31 dagers retention (extended retention: 0,10 USD/GB/måned)
Azure Monitor Alerts	0,10 USD per alert rule per måned	Antall alert rules

Estimat — Medium AI-app (1000 brukere, 10 000 AI-interaksjoner/dag):

• Traces: ~50 GB/måned → 50 GB * 2,30 USD = 115 USD/måned
• Logs: ~30 GB/måned → 30 GB * 2,76 USD = 83 USD/måned
• Total: ~200 USD/måned

---

Microsoft Purview — Audit og Compliance

Lisens	Inkludert kapabiliteter	Pris
Microsoft 365 E5 Compliance	Purview Audit (Premium), Activity Explorer, Communication Compliance, eDiscovery (Premium)	12 USD/bruker/måned
Microsoft 365 E3 + Purview Compliance add-on	Samme som E5 Compliance	5 USD/bruker/måned (add-on)
Microsoft 365 E3 (uten add-on)	Basic audit log (90 dager retention), begrenset eDiscovery	Inkludert i E3 (20 USD/bruker/måned)

Merk: Mange offentlige virksomheter har allerede Microsoft 365 E5, som inkluderer full Purview Audit og Activity Explorer.

---

Azure Machine Learning — Model Governance

Komponent	Prislapp	Basert på
Model Registry	Ingen ekstra kostnad	Inkludert i Azure ML workspace
Lineage Tracking	Ingen ekstra kostnad	Inkludert i Azure ML workspace
Model Monitoring	Compute-kostnad for monitoring jobs	VM-type (Standard_DS3_v2: ~0,17 USD/time)

Estimat — Modellmonitoring (kontinuerlig):

• 1 monitoring job per time (24/7) → 730 timer/måned * 0,17 USD = 124 USD/måned

---

Total Cost of Ownership (TCO) — Eksempel

Scenario: Offentlig etat med 500 brukere, 3 AI-applikasjoner (chatbot, saksbehandlingsstøtte, dokumentanalyse)

Komponent	Månedssum
Application Insights (tracing)	200 USD
Purview Audit (Microsoft 365 E5 Compliance)	6 000 USD (500 brukere * 12 USD)
Azure ML Model Monitoring	124 USD
Total	~6 324 USD/måned

Merk: Hvis E5 Compliance allerede er lisensiert (vanlig i offentlig sektor), er marginalkostnaden kun Application Insights + Azure ML = ~324 USD/måned.

Confidence: Verified (Azure pricing calculator, Microsoft 365 licensing documentation)

---

For arkitekten (Cosmo)

Spørsmål å stille kunden

1. Regulatorisk kontekst:

   • Hvilke compliance-rammer gjelder? (GDPR, HIPAA, EU AI Act, ISO 27001, norsk Arkivlova)
   • Er dette et høyverdi-/høyrisikodomene (finans, helse, forvaltning)?
   • Må AI-beslutninger være juridisk forsvarlige (legal liability)?

2. AI-systemtype:

   • Er dette en custom ML model, generativ AI-app, eller autonomous agent?
   • Hvilken plattform brukes? (Azure ML, Foundry, Copilot Studio)
   • Hvor autonome er beslutningsprosessene? (human-in-the-loop vs. fullt autonome)

3. Audit-krav:

   • Hvem trenger tilgang til audit logs? (security team, compliance, revisorer, innbyggere/brukere)
   • Hvor lenge må logs bevares? (90 dager, 1 år, 7-10 år)
   • Må logs være tamper-proof? (immutable audit log)

4. Eksisterende infrastruktur:

   • Har dere Microsoft 365 E5 Compliance? (inkluderer Purview Audit)
   • Bruker dere allerede Azure Monitor / Application Insights?
   • Finnes det eksisterende SIEM-integrasjon (Sentinel)?

---

Red Flags

Red Flag	Risiko	Mitigering
"Vi trenger ikke logging, dette er bare en pilot"	Ingen auditability ved produksjonssetting, compliance-gap	Implementer baseline Azure Monitor + Purview fra dag 1
"Vi logger alt til lokal fil"	Ingen sentralisert visibility, vanskelig søk, ingen tamper protection	Migrer til Azure Monitor / Application Insights
"Audit logs slettes etter 30 dager"	Compliance-brudd (GDPR, Arkivlova krever lengre retention)	Konfigurer extended retention i Log Analytics eller Azure Blob Storage
"Vi har ikke explainability for høyverdibeslutninger"	GDPR Art. 22-brudd, mangel på transparency	Implementer Responsible AI Dashboard + Forensic AI Logging
"Autonomous agents har ikke unique identity"	Kan ikke skille mellom prod/dev/test agents, ingen accountability	Implementer Microsoft Entra Agent Identity

---

Anbefalinger per scenario

Scenario 1: Chatbot i kundeservice (lav risiko)

• Pattern: Agentic AI Observability Pattern (Foundry Tracing)
• Kostnad: ~200 USD/måned (Application Insights)
• Compliance: Baseline GDPR (Purview Audit hvis M365 E5)

Scenario 2: Saksbehandlingsstøtte i offentlig forvaltning (høy risiko)

• Pattern: Forensic AI Logging Pattern + Compliance Audit Pattern
• Kostnad: ~500 USD/måned (Application Insights + extended retention + model monitoring)
• Compliance: GDPR Art. 22, Arkivlova, Offentleglova

Scenario 3: Autonomous agent med tilgang til sensitive systemer (kritisk risiko)

• Pattern: Agentic AI Observability + Forensic AI Logging + Microsoft Sentinel integration
• Kostnad: ~1 000 USD/måned (full observability stack + SIEM)
• Compliance: EU AI Act (high-risk AI system), ISO 27001, HIPAA

---

Tactical Advice

1. Start med baseline observability:

   • Aktiver Azure Monitor + Application Insights for alle AI-apper
   • Konfigurer Purview Audit hvis M365 E5 finnes
   • Sett opp basic dashboards i Foundry Portal / Azure Monitor

2. Utvid til forensic logging for høyverdibeslutninger:

   • Implementer algorithm-level event tracing (timeframe, weights, confidence, classifiers, decision)
   • Bruk Azure Blob Storage med immutability policies for tamper-proof audit log
   • Bygg data visualization dashboards for auditors

3. Automatiser compliance:

   • Bruk Azure Policy til å enforce logging og monitoring-konfigurasjoner
   • Sett opp automated retention policies i Purview
   • Integrer med Microsoft Sentinel for real-time threat detection

4. Test audit trails:

   • Simuler audit-scenarioer: "Gjenskape beslutning fra 3 måneder tilbake"
   • Verifiser at eDiscovery fungerer for regulatory requests
   • Valider at explainability-rapporter er tilgjengelige for innbyggere/brukere

---

Kilder og verifisering

Verified Sources (Microsoft Learn)

1. What is Responsible AI? — Accountability section https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai?view=azureml-api-2#accountability (Machine Learning operations (MLOps), Responsible AI scorecard, causal inference, counterfactual what-if)

2. Responsible AI in Azure workloads — Operationalize content safety measures https://learn.microsoft.com/en-us/azure/well-architected/ai/responsible-ai#operationalize-content-safety-measures (Make technical decisions about AI system auditable: model selections, model updates, algorithm adjustments)

3. Securing the Future of Artificial Intelligence and Machine Learning at Microsoft https://learn.microsoft.com/en-us/security/engineering/securing-artificial-intelligence-machine-learning (AI must have built-in forensics and security logging: timeframe, timestamp, weights, confidence levels, classifiers, decision)

4. Governance and security for AI agents across the organization — Agent observability https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/governance-security-across-organization#agent-observability (Assign unique identities, maintain agent inventory, centralize logging, track and allocate costs)

5. Trace and observe AI agents in Microsoft Foundry https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/develop/trace-agents-sdk?view=foundry-classic (OpenTelemetry tracing, Application Insights integration, Azure Monitor exporter)

6. Microsoft Purview data security and compliance protections for generative AI apps https://learn.microsoft.com/en-us/purview/ai-microsoft-purview (Auditing and AI interactions, Activity Explorer, Communication Compliance, eDiscovery)

7. Artificial Intelligence Security — AI-6: Establish monitoring and detection https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security#ai-6-establish-monitoring-and-detection (Azure Monitor, Azure Sentinel, Microsoft Defender for AI Services, Azure Policy enforcement)

8. Azure Machine Learning — Model management and deployment https://learn.microsoft.com/en-us/azure/machine-learning/concept-model-management-and-deployment?view=azureml-api-2 (Model Registry, lineage tracking, event notifications, model monitoring)

---

Baseline Sources (inferred best practices)

1. Forensic AI Logging Pattern — algorithm-level event tracing anbefalt i Microsoft Security Engineering whitepaper, men ikke fullt produktifisert som Azure-tjeneste (må bygges som custom logging layer)

2. Immutable Audit Log — Azure Blob Storage immutability policies (retention lock) er standard pattern for tamper-proof audit trails, men ikke AI-spesifikt dokumentert

3. TCO-estimater — basert på Azure pricing calculator og Microsoft 365 licensing documentation (februar 2026)

---

MCP Calls: 6

• 3x microsoft_docs_search
• 2x microsoft_docs_fetch
• 1x microsoft_code_sample_search

Unique Sources: 8 verified Microsoft Learn URLs

---

Cosmo Skyberg tipset: Start alltid med "hva må vi kunne bevise om denne AI-en om 2 år?" — det gir deg riktig ambisjonsnivå for audit trails. Og husk: logging er billig, men å mangle det når revisor/Datatilsynet banker på døra er svindyrt.