ktg-plugin-marketplace/plugins/ms-ai-architect/skills/ms-ai-governance/references/responsible-ai/ai-risk-taxonomy-classification.md
Kjell Tore Guttormsen 6a7632146e feat(ms-ai-architect): add plugin to open marketplace (v1.5.0 baseline)
Initial addition of ms-ai-architect plugin to the open-source marketplace.
Private content excluded: orchestrator/ (Linear tooling), docs/utredning/
(client investigation), generated test reports and PDF export script.
skill-gen tooling moved from orchestrator/ to scripts/skill-gen/.

Security scan: WARNING (risk 20/100) — no secrets, no injection found.
False positive fixed: added gitleaks:allow to Python variable reference
in output-validation-grounding-verification.md line 109.

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-04-07 17:17:17 +02:00

19 KiB
Raw Blame History

AI Risk Taxonomy - Classification and Risk Levels

Last updated: 2026-02 Status: GA Category: Responsible AI & Governance


Introduksjon

AI Risk Taxonomy er et strukturert rammeverk for å identifisere, klassifisere og prioritere risikoer i AI-systemer. Microsoft har utviklet en omfattende tilnærming som kombinerer teknisk sikkerhet, ansvarlig AI-praksis og regulatorisk compliance (spesielt EU AI Act). Taxonomien dekker hele AI-livssyklusen fra datainnsamling til produksjonsdrift.

Denne kunnskapsbasen beskriver Microsofts tilnærming til risikokategorisering, severitetsgradering og taksonomisk klassifikasjon av AI-risikoer. Den integrerer:

  • AI Security Risk Assessment Framework teknisk risikokartlegging
  • Responsible AI Standard etiske og regulatoriske krav
  • EU AI Act alignment risikokategorier (unacceptable, high, limited, minimal)
  • MITRE ATLAS adversarial ML threat matrix

Verified (microsoft_docs_search, 2026-02)


Kjernekomponenter

1. Risikokategorier (EU AI Act-inspirert)

Microsoft har tilpasset sin risikotaksonomi til EU AI Acts fire hovedkategorier:

Risikokategori Beskrivelse Krav Eksempler
Unacceptable Risk Forbudte bruksområder som krenker grunnleggende rettigheter Totalt forbud Social scoring, real-time facial recognition (law enforcement), subliminal manipulation, exploitation av sårbare grupper
High Risk Betydelig påvirkning på individers rettigheter eller sikkerhet Strict compliance, human oversight, impact assessment Critical infrastructure, employment decisions, credit scoring, healthcare diagnosis, biometric identification
Limited Risk Transparenskrav for brukere Disclosure requirements Chatbots, AI-generated content, deepfakes
Minimal Risk Fri bruk med best practice Voluntary compliance Spam filters, AI-enabled video games, recommendation systems

Verified (Microsoft Enterprise AI Services Code of Conduct, 2026-02)

2. Severitetsgradering (Microsoft Security Framework)

Microsoft bruker en 5-nivå severitetsmodell for å prioritere sikkerhetsrisikoer:

Severity Level Kriterier Impact Eksempler
Critical AI modell behandler sensitive persondata (PCI, HIPAA, GDPR)
Business-critical system
Fysisk skade/død mulig
Kritisk infrastruktur
Stor negativ innvirkning på business operations Healthcare AI, autonomous vehicles, financial fraud detection
High Sensitive persondata eller konfidensielt IP
Stor men avgrenset business impact
Business-critical applications
Betydelig men avgrenset skade Customer-facing AI, HR recruitment systems
Medium Subset av treningsdata inneholder sensitive data
Ikke-kritisk men business-facing
Påvirker production models indirekte
Begrenset business impact Non-production models with production data access
Low Treningsdata ikke brukt i production
Ingen production deployment
Ingen produksjonsrelevans
Minimal business impact Research models, sandbox environments
Informational Uklassifiserte data fra vetted sources
Ingen production-bruk
Ingen business impact Academic research, public datasets

Verified (AI Risk Assessment for ML Engineers, 2026-02)

3. Attack Type Risk Matrix

Microsoft har utviklet en spesialisert risikomatrise for adversarial ML attacks basert på likelihood, impact og exploitability:

Attack Type Likelihood Impact Exploitability Beskrivelse
Extraction High Low High Model stealing via API queries
Evasion High Medium High Adversarial inputs som forårsaker feile prediksjoner
Inference Medium Medium Medium Rekonstruksjon av treningsdata via modell-spørring
Inversion Medium High Medium Recovery av sensitive attributter fra modelloutput
Poisoning Low High Low Manipulering av treningsdata for å påvirke modelloppførsel

Verified (AI Risk Assessment for ML Engineers, 2026-02)

4. Content Safety Risk Categories

Azure AI Content Safety og Microsoft Responsible AI Standard definerer seks primære innholdsrisiko-kategorier:

Risk Category Severity Levels Beskrivelse Default Threshold
Hate and Fairness Safe (0) → High (6) Hatefullt innhold, diskriminering basert på beskyttede attributter Medium (block 4+)
Sexual Content Safe (0) → High (6) Erotisk, pornografisk eller seksuelt eksplisitt innhold Medium (block 4+)
Violence Safe (0) → High (6) Grafisk vold, gore, våpen, trusler Medium (block 4+)
Self-Harm Safe (0) → High (6) Selvskading, suicidal ideation Medium (block 4+)
Protected Material Detected / Not Detected Opphavsrettsbeskyttet materiale (text, code) Block all detected
Jailbreak (User Prompt Injection) Detected / Not Detected Forsøk på å omgå sikkerhetskontroller Block all detected

Verified (Default Guidelines & controls policies, 2026-02)


Arkitekturmønstre

Risk Assessment Workflow

1. IDENTIFY
   ├─ Impact Assessment (Responsible AI Impact Assessment template)
   ├─ Red Team Testing (PYRIT, AI Red Teaming Agent)
   ├─ Stress Testing
   └─ Prioritized Harm List

2. ASSESS
   ├─ Severity Classification (Critical → Informational)
   ├─ Likelihood Evaluation (High → Low)
   ├─ Impact Analysis (Quantitative + Qualitative)
   └─ Risk Score Calculation

3. MITIGATE
   ├─ Platform Security (AI-1 to AI-5 controls)
   ├─ Content Safety Filters
   ├─ Human-in-the-Loop (HITL)
   └─ Access Controls & Monitoring

4. MONITOR
   ├─ Azure Monitor Logs (AADUserRiskEvents)
   ├─ Security Dashboard for AI
   ├─ Continuous Red Teaming
   └─ Incident Response

Three-Pillar Security Model

Microsoft organiserer AI-sikkerhet i tre pillarer:

Pillar 1: AI Platform Security

  • Model approval process (AI-1)
  • Network segmentation & VPN (NS-2)
  • Identity management (IM-3)
  • Logging & monitoring (LT-3)

Pillar 2: AI Application Security

  • Content Safety inspection (Azure AI Content Safety)
  • Prompt injection detection
  • Output validation & filtering
  • RAG grounding verification

Pillar 3: AI Usage Security

  • Human-in-the-Loop (AI-5)
  • User authentication & authorization
  • Acceptable Use Policies
  • Audit trails & compliance reporting

Verified (Artificial Intelligence Security - MCSB, 2026-02)


Beslutningsveiledning

Når skal hvilken risikokategori brukes?

Bruk denne beslutningstreet:

START
  │
  ├─ Omfattes bruksområdet av forbudte use cases? → JA → UNACCEPTABLE RISK (avslå)
  │                                               → NEI → fortsett
  │
  ├─ Påvirker systemet juridiske rettigheter, økonomisk stilling,
  │  ansettelse, eller kan det forårsake fysisk/psykisk skade? → JA → HIGH RISK
  │                                                            → NEI → fortsett
  │
  ├─ Genererer systemet syntetisk innhold (tekst, tale, bilde, video)
  │  som interagerer med eksterne brukere? → JA → LIMITED RISK (disclosure required)
  │                                        → NEI → fortsett
  │
  └─ Alle andre tilfeller → MINIMAL RISK (best practice)

Severity Assessment Checklist

For hvert AI-system, evaluer:

Kritiske faktorer (Critical hvis JA):

  • Behandler sensitive persondata (GDPR Art. 9, HIPAA, PCI-DSS)
  • Fysisk skade eller død er mulig outcome
  • Kritisk infrastruktur (helse, energi, transport, vann)
  • Business-critical med stor operational impact

Høye faktorer (High hvis JA):

  • Konfidensielle data eller bedriftshemmeligheter
  • Betydelig men avgrenset business impact
  • Customer-facing production system

Medium faktorer (Medium hvis JA):

  • Subset av treningsdata er sensitive
  • Non-production men business-relevant
  • Indirekte påvirkning på production models

Human Oversight Requirements (AI-5)

High-risk actions krever Human-in-the-Loop (HITL) ved:

Scenario HITL-krav Implementering
External data transfer Mandatory approval Azure Logic Apps / Power Automate approval workflow
Financial transactions > threshold Mandatory approval Secure dashboard with Azure Key Vault auth
Healthcare diagnosis/treatment Mandatory review Clinical decision support with physician override
Employment decisions Mandatory review HR dashboard with documented decision rationale
Legal/compliance decisions Mandatory approval Audit trail with Azure Monitor

Verified (AI-5: Ensure human-in-the-loop, MCSB, 2026-02)


Integrasjon med Microsoft-stakken

Azure AI Foundry

Komponent Risk Assessment Feature
AI Red Teaming Agent Automated adversarial testing (4 risk categories: Violence, Hate, Sexual, Self-Harm)
Safety Evaluators Pre-deployment risk scoring for content safety
Prompt Shields Real-time jailbreak detection
Groundedness Detection Hallucination & ungrounded inference detection

Azure AI Content Safety

{
  "riskCategories": {
    "Hate": { "enabled": true, "threshold": "Medium" },
    "Sexual": { "enabled": true, "threshold": "Medium" },
    "Violence": { "enabled": true, "threshold": "Medium" },
    "SelfHarm": { "enabled": true, "threshold": "Medium" }
  },
  "blocklists": ["custom-terms-list"],
  "promptShield": { "enabled": true }
}

Security Dashboard for AI (Preview)

Sentralisert risikokartlegging på tvers av:

  • Microsoft Entra Identity & access risk
  • Microsoft Defender Threat protection & cloud security posture
  • Microsoft Purview Data classification & DLP
  • Security Copilot AI-powered risk exploration

Query example (Log Analytics):

// Recent high-risk user events
AADUserRiskEvents
| where DetectedDateTime > ago(30d)
| where RiskState == "atRisk"
| where RiskLevel == "high"
| summarize count() by RiskEventType

Verified (Security Dashboard for AI, 2026-02)

Responsible AI Dashboard (Azure Machine Learning)

Integrert risikoevaluering med:

  • Error Analysis Identifiser cohorts med høy feilrate
  • Fairness Assessment Bias detection across sensitive groups
  • Model Explainability Feature importance for transparency
  • Causal Inference Skille correlation fra causation

Offentlig sektor (Norge)

GDPR & Personopplysningsloven

Risk taxonomy må tilpasses norsk regulering:

Datakategori GDPR Art. Risk Level Tiltak
Særlige kategorier (Art. 9) 9(1) Critical Explicit consent, DPIA, encryption at rest/transit
Personopplysninger 4(1) High Lawful basis (Art. 6), data minimization
Anonymiserte data Recital 26 Low Best practice, no legal basis required

Sektorspesifikke krav

Helsesektoren:

  • Norm for informasjonssikkerhet (Helsedirektoratet)
  • Pasientjournalloven § 22 (tilgangskontroll)
  • Helseregisterloven (forskning & kvalitet)

Justissektoren:

  • Politiregisterloven (behandling av straffesakdata)
  • Straffeprosessloven kap. 16a (DNA-register)

Anbefalt tilnærming for offentlig sektor

  1. Alltid start med DPIA (GDPR Art. 35) for high-risk AI
  2. Dokumenter lawful basis (GDPR Art. 6 eller Art. 9)
  3. Implementer Privacy by Design (GDPR Art. 25)
  4. Etabler Data Protection Officer (DPO) oversight
  5. Bruk Norwegian data residency (Azure Norway East/West)

Kostnad og lisensiering

Azure AI Services Pricing (Risk-relevante tjenester)

Tjeneste Pris (ca. NOK) Risk Mitigation Capability
Azure AI Content Safety 11 NOK / 1000 transactions Content filtering (4 risk categories)
Azure OpenAI (GPT-4o) 0.03 NOK / 1K input tokens Built-in content filters (default: Medium threshold)
Azure AI Foundry (Red Teaming) Inkludert i AI Foundry Automated adversarial testing
Microsoft Defender for Cloud 190 NOK / server / måned AI security posture management
Microsoft Purview (Compliance) Fra 2500 NOK / måned Data classification & DLP for AI

Lisenskrav for Security Dashboard for AI

Security Dashboard for AI krever ingen egen lisens, men er avhengig av:

Produkt Lisens Rolle i Risk Management
Microsoft Entra ID P2 ~75 NOK / bruker / måned Identity risk detection (low/medium/high)
Microsoft Defender for Cloud (P2) ~380 NOK / ressurs / måned AI workload threat protection
Microsoft Purview (Compliance) ~340 NOK / bruker / måned AI-accessible data classification
Security Copilot ~4500 NOK / capacity unit / måned AI risk exploration via prompts

Baseline confidence (modellkunnskap, januar 2025 verifiser priser)


For arkitekten (Cosmo)

Når dette temaet er relevant

Bruk denne kunnskapsbasen når kunden:

  • Spør om "risk levels", "severity", "high risk AI"
  • Trenger å klassifisere AI-systemet sitt iht. regulering (EU AI Act, GDPR)
  • Skal gjøre en Responsible AI Impact Assessment
  • Trenger å dokumentere risk assessment for compliance
  • Planlegger offentlig sektor-deployment med sensitive data

Cosmo-tilnærming

Fase 2 (Kontekst) Still disse spørsmålene:

  1. "Hvilke datakategorier behandler systemet? (personopplysninger, helseopplysninger, etc.)"
  2. "Kan systemet påvirke individers juridiske rettigheter, økonomiske stilling eller sikkerhet?"
  3. "Er dette et autonomt system, eller har dere human oversight?"
  4. "Hvilke compliance-krav gjelder for dere? (GDPR, helsesektorlover, etc.)"

Fase 5 (Kunnskapsintegrasjon) Kombiner med:

  • responsible-ai-framework.md overordnede prinsipper
  • security-governance-model.md tekniske kontroller
  • public-sector-requirements-norway.md sektorspesifikke krav
  • licensing-guide-ai-capabilities.md Security Dashboard krav

Fase 6 (Arkitekturforslag) Lever:

  1. Risk Classification Report:

    • EU AI Act category (unacceptable/high/limited/minimal)
    • Microsoft severity level (critical → informational)
    • Attack type risk matrix (extraction, evasion, etc.)
  2. Mitigation Architecture:

    • Content Safety filters (med threshold-anbefaling)
    • HITL workflows (Logic Apps / Power Automate)
    • Monitoring setup (Log Analytics queries)
  3. Compliance Checklist:

    • GDPR Art. 35 DPIA template
    • Lawful basis dokumentasjon
    • Data residency confirmation (Azure Norway)

Røde flagg (Unacceptable Risk)

Hvis kunden beskriver noen av disse, stopp og advare:

  • Social scoring eller predictive profiling som fører til diskriminering
  • Real-time facial recognition for law enforcement (unntatt spesifikke lovlige bruksområder)
  • Manipulation via subliminal techniques
  • Exploitation av sårbare grupper (alder, funksjonshemming, sosioøkonomisk status)
  • Criminality risk assessment basert kun på profiling

Disse er forbudt iht. Microsoft Enterprise AI Services Code of Conduct.

Typiske misvær

Misforståelse: "Vi bruker bare Azure OpenAI, så vi har ingen high-risk AI." Cosmo-svar: "Azure OpenAI selv er ikke high-risk, men bruken kan være det. Hvis systemet deres tar beslutninger om ansettelse, kreditt, eller helsediagnoser, er det high-risk uavhengig av underliggende teknologi."

Misforståelse: "Vi trenger ikke HITL fordi modellen er veldig nøyaktig." Cosmo-svar: "HITL handler ikke bare om nøyaktighet det handler om accountability og compliance. EU AI Act krever human oversight for high-risk systems uavhengig av modellprestasjon."

Praktisk verktøy-stack for risk assessment

Anbefal denne kombinasjonen:

  1. Pre-deployment:

    • AI Red Teaming Agent (Azure AI Foundry)
    • Responsible AI Dashboard (Azure ML)
    • PYRIT (open source red teaming)
  2. Runtime:

    • Azure AI Content Safety (API integration)
    • Prompt Shields (Azure OpenAI)
    • Azure Monitor + Log Analytics
  3. Governance:

    • Security Dashboard for AI (cross-product view)
    • Microsoft Purview (data classification)
    • Defender for Cloud (CSPM for AI)

Kilder og verifisering

Primærkilder (Verified via MCP)

  1. AI Risk Assessment for ML Engineers

  2. Microsoft Enterprise AI Services Code of Conduct

  3. Artificial Intelligence Security (MCSB v2)

  4. Security Dashboard for AI (Preview)

  5. Default Guidelines & controls policies (Azure AI Foundry)

  6. What is Responsible AI? (Azure Machine Learning)

Sekundærkilder (Baseline confidence)

  • ISO 27001:2013 standard (kontroller og policies)
  • MITRE ATLAS (adversarial ML threat matrix)
  • EU AI Act (risikokategorier ikke offisiell Microsoft-dokumentasjon)
  • Microsoft Responsible AI Standard v2 (PDF, juni 2022)

MCP Calls Summary

  • microsoft_docs_search: 3 calls (AI risk classification, AI Act levels, Azure framework)
  • microsoft_docs_fetch: 2 calls (AI Risk Assessment, Code of Conduct)
  • microsoft_code_sample_search: 1 call (AI risk assessment code examples)
  • Totalt unike URLer: 6 verified Microsoft Learn articles

Sist verifisert

  • Dato: 2026-02-04
  • Metode: MCP microsoft-learn server
  • Confidence: High (alle kjernekomponenter fra Microsoft Learn)

Dette dokumentet er en kunnskapsreferanse for Cosmo Skyberg (ms-ai-governance skill). Sist oppdatert: 2026-02. Status: General Availability (GA). For spørsmål om denne referansen, kontakt plugin-utvikler.