chore(ms-ai-architect): refresh KB high-bucket — 49 files [skip-docs]
KB-currency refresh (high priority, 2026-06-19) via /architect:kb-update. 49 high-prioritets governance/security/monitoring-filer re-verifisert mot Microsoft Learn (MCP) — delegert til 8 parallelle Opus-subagenter gruppert etter delt kilde, verifisert i hovedkontekst (diff-review + tester). Hovedendringer (faktuelle korreksjoner + currency): - MITRE ATLAS-IDer korrigert (supply-chain): AML.T0050 -> AML.T0018.000 (Poison AI Model); AML.T0020 = Poison Training Data; T1195 Supply Chain Compromise. Gamle IDer var utdaterte (verifisert mot MCSB v2 AI-1). - OTel-sampling presisert (distributed-tracing): adaptive sampling = klassisk App Insights SDK; OTel-distroen sampler IKKE by default (fixed-rate/ rate-limited maa konfigureres); Functions parent-based sampling er default. - MCSB v2 AI-kontroller AI-1 -> AI-7 (risk-taxonomy three-pillar, scoring- framework, rubrics, red-team, adversarial); Defender for Cloud AI threat protection + AI-SPM (GA). - AI gateway (APIM) multi-provider: Anthropic Messages API v2-tiers, Google Vertex, unified model API (preview), MCP/A2A, Foundry-integrasjon; eksakte policy-navn (llm-emit-token-metric maks 5 dims, llm-semantic-cache-*, score-threshold = avstand, MS-eks. 0.15). - Purview Enterprise AI apps inkl. Anthropic Claude (Enterprise) + ChatGPT Enterprise; Security Dashboard for AI (Agent 365-inventar, MCP-servere, tredjepartsmodeller; Security Reader minimumsrolle). - Entra Agent ID: CA-lisenskrav (Entra ID P1/P2 + Agent 365), CA-scoping per tilgangsmoenster (on-behalf-of/app-only/agent-as-user), CA-grenser, connector-permissions som API-permissions. - Copilot DLP: Block SITs in web search (GA, Performing Web Searches) + Block external email (preview) som prompt injection-vern. - Azure AI Language PII: tre feature-typer, GA-API 2026-05-01; NOIdentityNumber bekreftet dedikert kategori for norske foedselsnummer. - Foundry Tools-rename forsterket paa tvers; alle 49 Last updated -> 2026-06-19. Discovery: 500 kandidater (alle Databricks-stoey) -> kun registry-kandidater, ingen nye skills/-filer -> 389-telling uendret. validate 239 PASS, kb-integrity 115/115 (262 orphan-warnings uendret), gitleaks clean. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
This commit is contained in:
parent
41b390b38d
commit
25bcb74d9a
49 changed files with 304 additions and 235 deletions
|
|
@ -1,6 +1,6 @@
|
|||
# Alerting Strategies and Escalation Policies for AI Incidents
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -549,7 +549,7 @@ Cost = 0.10 USD (rule) + (8640 × 0.20 USD) = 1728.10 USD/month
|
|||
|
||||
1. **Action Groups Overview**
|
||||
https://learn.microsoft.com/en-us/azure/azure-monitor/alerts/action-groups
|
||||
*Confidence: High — Official documentation retrieved 2026-02, covers notification types, managed identity, rate limits.*
|
||||
*Confidence: High — Official documentation retrieved 2026-06-19, covers notification types, managed identity (preview, role IDs bekreftet), rate limits (SMS/voice/push/email), webhook retry-intervaller (5/20/5/40/5s + 15-min cooldown), Event Hub cross-tenant til API 2023-09-01-preview. Kilden bekrefter eksisterende innhold.*
|
||||
|
||||
2. **Best Practices for Azure Monitor Alerts**
|
||||
https://learn.microsoft.com/en-us/azure/azure-monitor/alerts/best-practices-alerts
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Compliance Monitoring and AI Governance Dashboards
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -64,18 +64,20 @@ Unified view av AI-security posture på tvers av Microsoft Entra, Defender, Purv
|
|||
|
||||
| Seksjon | Metrikker | Alerts |
|
||||
|---------|-----------|--------|
|
||||
| **AI Agent Inventory** | Totalt antall agents, managed vs. unmanaged, shadow AI | Nye uregistrerte agents oppdaget |
|
||||
| **AI Agent Inventory** | Totalt antall agents (registrert i Microsoft Agent 365), modeller, MCP-servere og tredjeparts AI-apper (Gemini, ChatGPT); managed vs. unmanaged, shadow AI | Nye uregistrerte agents oppdaget |
|
||||
| **Threat Detection** | Jailbreak-forsøk, prompt injection, abuse patterns | High-severity AI-threats (real-time) |
|
||||
| **Data Security** | Sensitive data i prompts/responses, oversharing risks | PII-lekkasje via AI-interaksjoner |
|
||||
| **Access Control** | Conditional access policies, privileged access reviews | Over-privileged AI agent identities |
|
||||
| **Compliance Status** | % av agents med required policies, policy drift | Non-compliant agents etter 24t grace period |
|
||||
|
||||
**Supported products:**
|
||||
- **Microsoft Entra**: Agent identity platform, conditional access for AI apps
|
||||
- **Microsoft Defender for Cloud**: AI workload discovery, posture management, threat protection
|
||||
- **Microsoft Purview**: Data classification, DLP for AI prompts, insider risk detection
|
||||
- **Microsoft Entra**: Agent identity platform (Agent Registry), conditional access for AI apps
|
||||
- **Microsoft Defender**: AI model/MCP/app-discovery, posture management, AI threat protection (real-time blokkering for støttede agenter)
|
||||
- **Microsoft Purview**: Data classification, DLP for AI prompts, insider risk detection (DSPM for AI)
|
||||
- **Security Copilot**: Prompt-basert exploration av AI-risikoer
|
||||
|
||||
> Minimumsrolle for full innsikt: **Security Reader** (Microsoft Entra). Agent-inventar dekker agenter registrert i Microsoft Agent 365; modeller/MCP-servere/øvrige AI-apper oppdages av Defender.
|
||||
|
||||
---
|
||||
|
||||
## Arkitekturmønstre
|
||||
|
|
@ -248,11 +250,14 @@ async with DefaultAzureCredential() as credential, \
|
|||
|
||||
### Azure API Management (AI Gateway)
|
||||
|
||||
**Modell-/endepunktdekning:** OpenAI Chat Completions/Responses, **Anthropic Messages API** (støttet i API Management v2-tiers), **Google Vertex AI**, modeller i Microsoft Foundry og Amazon Bedrock, samt remote **MCP-servere** og **A2A agent-APIer**. En **unified model API (preview)** eksponerer flere backends gjennom ett OpenAI-kompatibelt endepunkt med felles governance-policyer. AI gateway kan nå integreres direkte i **Microsoft Foundry (preview)**.
|
||||
|
||||
**Governance capabilities:**
|
||||
- **Token consumption metrics**: Emit til Application Insights med custom dimensions (user ID, cost center, API ID)
|
||||
- **Quota enforcement**: Rate limits per user/tenant
|
||||
- **Logging**: Prompts, completions, token usage → Azure Monitor Logs
|
||||
- **Policy enforcement**: Input validation, content filtering, max token caps
|
||||
- **Token consumption metrics**: Emit til Application Insights med custom dimensions (user ID, cost center, API ID) via `llm-emit-token-metric` (maks 5 custom dimensions inbound)
|
||||
- **Quota enforcement**: Rate limits / token-kvoter per consumer (`llm-token-limit`)
|
||||
- **Semantic caching**: `llm-semantic-cache-store` / `llm-semantic-cache-lookup` mot Azure Managed Redis (RediSearch); `score-threshold` er et distanse-mål (lavere = strengere, MS-eksempel 0,15)
|
||||
- **Logging**: Prompts, completions, token usage → Azure Monitor Logs + innebygd dashboard
|
||||
- **Policy enforcement**: Input validation, content safety (`llm-content-safety`), max token caps
|
||||
|
||||
**Sample policy:**
|
||||
```xml
|
||||
|
|
@ -270,8 +275,14 @@ async with DefaultAzureCredential() as credential, \
|
|||
- **Audit logs**: Unified audit log for AI interactions (prompts, responses, referenced files, sensitivity labels)
|
||||
- **Communication Compliance**: Policy violations i AI-generert innhold (harassment, sensitive info sharing)
|
||||
- **eDiscovery**: Søk og slett AI interaction data (GDPR "right to be forgotten")
|
||||
- **Insider Risk Management**: `Risky AI usage`-policy fanger prompt injection-forsøk og tilgang til beskyttet materiale
|
||||
- **Retention policies**: Automatisk retain/delete prompts og responses per compliance requirements
|
||||
|
||||
**App-dekning (Purview-kategorier):**
|
||||
- **Copilot experiences and agents**: Microsoft 365 Copilot (+ Cowork), Security Copilot, Copilot in Fabric, Copilot Studio, Microsoft Facilitator, Teams Channel Agent
|
||||
- **Enterprise AI apps**: Microsoft Foundry, Entra-registrerte AI-apper, **Anthropic Claude (Enterprise)**, **ChatGPT Enterprise**
|
||||
- **Other AI apps** (oppdaget via browser, Defender for Cloud Apps): ChatGPT, Google Gemini, Microsoft Copilot (consumer), DeepSeek
|
||||
|
||||
**Collection policies:**
|
||||
- `DSPM for AI - Detect sensitive info shared with AI via network`
|
||||
- `DSPM for AI - Capture interactions for enterprise AI apps`
|
||||
|
|
@ -459,7 +470,7 @@ AppMetrics
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
*(Verified MCP 2026-06-19)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
|
|
@ -472,17 +483,17 @@ AppMetrics
|
|||
- [Govern AI apps and data for regulatory compliance](https://learn.microsoft.com/en-us/security/security-for-ai/govern) — Verified 2026-02
|
||||
|
||||
**Microsoft Purview for AI:**
|
||||
- [Microsoft Purview data security and compliance protections for generative AI apps](https://learn.microsoft.com/en-us/purview/ai-microsoft-purview) — Verified 2026-02
|
||||
- [Microsoft Purview data security and compliance protections for generative AI apps](https://learn.microsoft.com/en-us/purview/ai-microsoft-purview) — Verified 2026-06-19 (Enterprise AI apps inkluderer nå Anthropic Claude Enterprise + ChatGPT Enterprise)
|
||||
- [Use Microsoft Purview to manage data security & compliance for Microsoft Foundry](https://learn.microsoft.com/en-us/purview/ai-azure-foundry) — Verified 2026-02
|
||||
- [Assessments for AI regulations](https://learn.microsoft.com/en-us/purview/compliance-manager-assessments#assessments-for-ai-regulations) — Verified 2026-02
|
||||
|
||||
**Azure Policy & monitoring:**
|
||||
- [Azure Policy Regulatory Compliance controls for Azure AI Search](https://learn.microsoft.com/en-us/azure/search/security-controls-policy) — Verified 2026-02
|
||||
- [Control AI model deployment with built-in policies in Microsoft Foundry portal](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/built-in-policy-model-deployment) — Verified 2026-02
|
||||
- [AI gateway in Azure API Management (Observability and governance)](https://learn.microsoft.com/en-us/azure/api-management/genai-gateway-capabilities#observability-and-governance) — Verified 2026-02
|
||||
- [AI gateway in Azure API Management (Observability and governance)](https://learn.microsoft.com/en-us/azure/api-management/genai-gateway-capabilities#observability-and-governance) — Verified 2026-06-19 (Anthropic Messages API v2-tiers, Google Vertex AI, unified model API preview, MCP/A2A, AI gateway i Foundry preview)
|
||||
|
||||
**Security & observability:**
|
||||
- [Assess your organization's AI risk with Microsoft Security Dashboard for AI (Preview)](https://learn.microsoft.com/en-us/security/security-for-ai/security-dashboard-for-ai) — Verified 2026-02
|
||||
- [Assess your organization's AI risk with Microsoft Security Dashboard for AI](https://learn.microsoft.com/en-us/security/security-for-ai/security-dashboard-for-ai) — Verified 2026-06-19 (Agent 365-inventar, MCP-servere, tredjepartsmodeller; Security Reader minimumsrolle)
|
||||
- [Governance and security for AI agents across the organization](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/governance-security-across-organization) — Verified 2026-02
|
||||
- [Monitor Azure OpenAI (Dashboards)](https://learn.microsoft.com/en-us/azure/foundry-classic/openai/how-to/monitor-openai) — Verified 2026-02
|
||||
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Custom Dashboards for AI Operations
|
||||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Sist oppdatert:** 2026-05 | Verified: MCP 2026-05
|
||||
**Sist oppdatert:** 2026-06-19 | Verified: MCP 2026-06-19
|
||||
**Brukes av:** Cosmo Skyberg, Microsoft AI Solution Architect
|
||||
|
||||
---
|
||||
|
|
@ -215,7 +215,7 @@ AzureDiagnostics
|
|||
- Benchmark mot SLA
|
||||
|
||||
**Scheduling:**
|
||||
- Sett opp scheduled refresh (8x per dag for free, hourly for Pro)
|
||||
- Scheduled refresh, deling, dataflows og incremental refresh krever Power BI Pro eller Premium (gratis-tier dekker kun lokal rapport-/dashboardbygging). Incremental refresh forutsetter et **datetime**-felt i resultatsettet.
|
||||
- Email subscriptions for stakeholders
|
||||
- Power BI mobile app for on-the-go access
|
||||
|
||||
|
|
@ -485,7 +485,7 @@ Når kunden spør om dashboards for AI operations:
|
|||
- [Create an Azure AI Foundry dashboard](https://learn.microsoft.com/en-us/azure/managed-grafana/azure-ai-foundry-dashboard)
|
||||
- [Monitor Azure OpenAI](https://learn.microsoft.com/en-us/azure/foundry-classic/openai/how-to/monitor-openai)
|
||||
- [Workbooks programmatic management](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-automate) *(Verified MCP 2026-04)* — ARM/Bicep deployment, RBAC (Monitoring Contributor for redigering, Monitoring Reader for visning), `microsoft.insights/workbooks/write` for custom roles
|
||||
- [Power BI + Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/log-powerbi)
|
||||
- [Power BI + Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/log-powerbi) *(Verified MCP 2026-06-19)* — eksport fra Log Analytics som M-query (.txt → Power BI Desktop) eller new Dataset (Power BI-tjenesten); dataflows + incremental refresh; scheduled refresh/deling krever Pro/Premium
|
||||
|
||||
### Code Samples
|
||||
- [Workbook ARM/Bicep template samples](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-samples) — workbook templates bruker apiVersion `2019-10-17-preview` (type: microsoft.insights/workbooktemplates); workbook instances bruker `2018-06-17-preview` (type: Microsoft.Insights/workbooks) *(Verified MCP 2026-04)*
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Distributed Tracing for AI Pipelines
|
||||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Dato:** 2026-02-05
|
||||
**Dato:** 2026-06-19
|
||||
**Status:** ✅ Komplett
|
||||
|
||||
## Innledning
|
||||
|
|
@ -150,6 +150,12 @@ def orchestrator(req: func.HttpRequest) -> func.HttpResponse:
|
|||
return func.HttpResponse("OK", status_code=200)
|
||||
```
|
||||
|
||||
**Viktige forbehold for OpenTelemetry-modus i Functions** *(Verified MCP 2026-06-19)*:
|
||||
- OTel aktiveres på app-nivå i både `host.json` (`"telemetryMode": "OpenTelemetry"`) og i koden. Når du oppgir både `APPLICATIONINSIGHTS_CONNECTION_STRING` og en OTLP-eksportør (`OTEL_EXPORTER_OTLP_ENDPOINT`/`OTEL_EXPORTER_OTLP_HEADERS`), sendes telemetri til begge endepunktene.
|
||||
- I OTel-modus støtter Azure-portalen **ikke** log streaming, og `Recent function invocation`-traces vises kun hvis telemetri sendes til Azure Monitor. Logging-konfigurasjon under `logging.applicationInsights` i `host.json` gjelder ikke.
|
||||
- **Parent-based sampling er standard.** Triggere som HTTP, Service Bus og Event Hubs avhenger av context propagation; request-telemetri genereres ikke når den innkommende requesten/meldingen ikke samples. `OperationId` hentes direkte fra `traceparent` — gjenbruk av samme `traceparent` gir samme `OperationId`.
|
||||
- Filtre i `host.json` gjelder kun host-prosessens logger; worker-prosessens logger filtreres via språkspesifikke OTel-innstillinger. Go-worker har egen opt-in OTel-middleware (`middleware/otelfunc`).
|
||||
|
||||
### 3. LangChain/LangGraph + Azure AI Tracing
|
||||
|
||||
**Setup:**
|
||||
|
|
@ -447,10 +453,12 @@ traces
|
|||
|
||||
### 5. Sampling for High-Volume Scenarios
|
||||
|
||||
**Adaptive sampling (automatisk i Azure Monitor):**
|
||||
**Adaptive sampling (Application Insights SDK / klassisk):**
|
||||
- Reduserer volum uten å miste viktige traces
|
||||
- Prioriterer feil og trege forespørsler
|
||||
|
||||
> **Merk:** Azure Monitor OpenTelemetry-distroen sampler **ikke** som standard. Distroen støtter fixed-rate og rate-limited samplere som må konfigureres eksplisitt; trace-basert sampling for logger er default-på først når sampling er aktivert. Adaptive sampling over gjelder den klassiske Application Insights SDK-en, ikke OTel-distroen. *(Verified MCP 2026-06-19)*
|
||||
|
||||
**Custom sampling (avansert):**
|
||||
|
||||
```python
|
||||
|
|
@ -596,7 +604,7 @@ Adapted from Microsoft Learn documentation ([CC BY 4.0](https://creativecommons.
|
|||
|
||||
- [Tracing in Azure AI Foundry](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/develop/trace-local-sdk)
|
||||
- [Azure Monitor OpenTelemetry overview](https://learn.microsoft.com/en-us/azure/azure-monitor/app/opentelemetry-overview)
|
||||
- [Azure Functions OpenTelemetry](https://learn.microsoft.com/en-us/azure/azure-functions/opentelemetry-howto)
|
||||
- [Azure Functions OpenTelemetry](https://learn.microsoft.com/en-us/azure/azure-functions/opentelemetry-howto) *(Verified MCP 2026-06-19 — parent-based sampling default; OTLP + App Insights dual-export; portal log-streaming/recent-invocation-traces krever Azure Monitor)*
|
||||
- [Distributed tracing in Application Insights](https://learn.microsoft.com/en-us/azure/azure-monitor/app/distributed-trace-data)
|
||||
- [Semantic Kernel observability](https://learn.microsoft.com/en-us/semantic-kernel/concepts/enterprise-readiness/observability/)
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Endpoint Health Monitoring and Capacity Planning
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -612,7 +612,7 @@ az role assignment create \
|
|||
|
||||
7. **Service limits in Azure AI Search:**
|
||||
https://learn.microsoft.com/en-us/azure/search/search-limits-quotas-capacity
|
||||
*Confidence: Verified* — Throttling patterns (relevant for RAG-arkitekturer)
|
||||
*Confidence: Verified* — Throttling patterns (relevant for RAG-arkitekturer). To prismodeller: Dedicated (SU) + Serverless (Preview, CU/time + per-GB, kun West Central US / Switzerland North / Japan East, ingen SLA). Basic-tier (tjenester opprettet etter 2024-04-03) støtter inntil 3 partisjoner × 3 replikaer (9 SU). *(Verified MCP 2026-06-19)*
|
||||
|
||||
8. **Monitor model quality and endpoint health (Databricks):**
|
||||
https://learn.microsoft.com/en-us/azure/databricks/machine-learning/model-serving/monitor-diagnose-endpoints
|
||||
|
|
@ -645,4 +645,4 @@ az role assignment create \
|
|||
|
||||
**Samlet konfidens:** 85% Verified (core features), 15% Baseline (best practices, offentlig sektor-spesifikt)
|
||||
|
||||
**Sist verifisert:** 2026-04 (MCP-searches mot Microsoft Learn)
|
||||
**Sist verifisert:** 2026-06-19 (MCP-fetch mot search-limits-quotas-capacity + Databricks model-serving monitor-diagnose-endpoints — kildene bekrefter eksisterende innhold)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Real-Time Streaming and Live Monitoring Dashboards
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -522,7 +522,7 @@ Real-Time Dashboard er IKKE erstatning for data warehouse. Bruk for operational
|
|||
|
||||
6. **Build real-time monitoring and observable systems for media**
|
||||
https://learn.microsoft.com/en-us/azure/architecture/example-scenario/monitoring/monitoring-observable-systems-media
|
||||
**Confidence:** Verified (Feb 2026) - Real-time architecture patterns
|
||||
**Confidence:** Verified (2026-06-19) - Real-time architecture patterns (Eventstream → eventhouse → Real-Time Intelligence hub; Data Activator subsecond anomaly detection)
|
||||
|
||||
7. **Observability in generative AI**
|
||||
https://learn.microsoft.com/en-us/azure/foundry/concepts/observability
|
||||
|
|
@ -545,4 +545,4 @@ Real-Time Dashboard er IKKE erstatning for data warehouse. Bruk for operational
|
|||
|
||||
**MCP calls:** 6 (3 × search, 2 × fetch, 1 × code search)
|
||||
**Unique sources:** 8 Microsoft Learn URLs
|
||||
**Last verified:** 2026-04
|
||||
**Last verified:** 2026-06-19
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Security and Audit Logging for AI Systems
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -23,7 +23,7 @@ For norsk offentlig sektor er audit logging et lovpålagt krav under Forvaltning
|
|||
| **Azure Monitor Resource Logs** | Detaljert logging av data plane-operasjoner | API calls, modell-inferens, plugin-interaksjoner, token-forbruk |
|
||||
| **Azure Activity Log** | Control plane-hendelser på abonnementsnivå | Ressursopprettelse, rolleutdelinger, brannmurregler, sletting |
|
||||
| **Diagnostic Settings** | Rute-konfigurasjon for loggeksport | Log Analytics, Storage Account, Event Hub, SIEM-partnere |
|
||||
| **Microsoft Defender for AI Services** | Trusseldeteksjon spesifikk for AI | Jailbreak-forsøk, prompt injection, unormale modell-outputs. Støtter Azure OpenAI (via Foundry Tools). Konfigureres separat for Foundry-ressurser. *(Verified MCP 2026-04)* |
|
||||
| **Microsoft Defender for Cloud — AI threat protection + AI-SPM** | Trusseldeteksjon spesifikk for AI | Jailbreak-forsøk, prompt injection, unormale modell-outputs + AI Security Posture Management. Støtter Azure OpenAI. Konfigureres separat for Foundry-ressurser. («Foundry resource», kind=AIServices, er nytt navn på det som tidligere het «Foundry Tools».) *(Verified MCP 2026-06-19)* |
|
||||
| **Microsoft Purview** | Dataklassifisering og tilgangssporing | PII-aksess, sensitiv datalogging, dataeiers-revisjon |
|
||||
| **Azure Policy** | Compliance enforcement | Automatisk pålegging av diagnostiske innstillinger, policy-etterlevelse |
|
||||
|
||||
|
|
@ -391,7 +391,7 @@ Ingen ekstra lisenser kreves for audit logging — funksjonen er inkludert i Azu
|
|||
| **Microsoft cloud security benchmark: Logging and threat detection** | https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-logging-threat-detection | ✅ Verified |
|
||||
| **Artificial Intelligence Security (AI-6: Establish monitoring and detection)** | https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security | ✅ Verified |
|
||||
| **Azure Policy Regulatory Compliance controls** | https://learn.microsoft.com/en-us/azure/governance/policy/samples/azure-security-benchmark | ✅ Verified |
|
||||
| **Best practices for data and AI governance (Databricks)** | https://learn.microsoft.com/en-us/azure/databricks/lakehouse-architecture/data-governance/best-practices | ✅ Verified — Unity Catalog er nå sentral governance for BÅDE data og AI assets (modeller, features, lineage). Tre governance-modeller: sentralisert, distribuert (federated), hybrid. AI-genererte kommentarer støttes (krever human review). *(Verified MCP 2026-04)* |
|
||||
| **Best practices for data and AI governance (Databricks)** | https://learn.microsoft.com/en-us/azure/databricks/lakehouse-architecture/data-governance/best-practices | ✅ Verified — Unity Catalog er nå sentral governance for BÅDE data og AI assets (modeller, features, lineage ned til kolonne-nivå). Tre governance-modeller: sentralisert, distribuert (federated), hybrid. Audit-logging på to nivåer (workspace + account) + verbose audit logs per query/kommando. AI-genererte kommentarer støttes (krever human review). *(Verified MCP 2026-06-19)* |
|
||||
|
||||
### Konfidensgradering per seksjon
|
||||
|
||||
|
|
@ -405,4 +405,4 @@ Ingen ekstra lisenser kreves for audit logging — funksjonen er inkludert i Azu
|
|||
| **Offentlig sektor** | ⚠️ Baseline | Rettsgrunnlag er korrekt, implementasjonsdetaljer er tolkninger |
|
||||
| **Kostnad** | ⚠️ Baseline | Priser fra Azure Pricing Calculator (februar 2026), kan variere |
|
||||
|
||||
### Sist verifisert: 2026-04
|
||||
### Sist verifisert: 2026-06-19
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# SLA Monitoring and Availability Tracking for AI Services
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -360,7 +360,7 @@ Metric Alert
|
|||
|
||||
3. **Monitoring and diagnostics guidance**
|
||||
https://learn.microsoft.com/en-us/azure/architecture/best-practices/monitoring
|
||||
*Confidence: Verified* — SLA monitoring best practices (generell Azure-arkitektur). Dekker: tilgjengelighetssporing, ytelsesovervåkning, SLA-etterlevelse, sikkerhet/personvern, regulatorisk audit, trend-deteksjon. Brukes i AI-kontekst for å sikre end-to-end synlighet i distribuerte AI-systemer. *(Verified MCP 2026-04)*
|
||||
*Confidence: Verified* — SLA monitoring best practices (generell Azure-arkitektur). Dekker: tilgjengelighetssporing, ytelsesovervåkning, SLA-etterlevelse, sikkerhet/personvern, regulatorisk audit, trend-deteksjon. Brukes i AI-kontekst for å sikre end-to-end synlighet i distribuerte AI-systemer. *(Verified MCP 2026-06-19 — kilde uendret, bekrefter eksisterende innhold)*
|
||||
|
||||
4. **Azure OpenAI FAQ - SLA**
|
||||
https://learn.microsoft.com/en-us/azure/foundry-classic/openai/faq#what-are-the-slas-service-level-agreements-in-azure-openai
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Token Usage Tracking and Attribution
|
||||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Dato:** 2026-04-09
|
||||
**Dato:** 2026-06-19
|
||||
**Versjon:** 1.0
|
||||
|
||||
## Introduksjon
|
||||
|
|
@ -505,9 +505,14 @@ Owner: <email>
|
|||
|
||||
**3. Budgets:**
|
||||
- Opprett per resource group eller subscription
|
||||
- Sett alert thresholds (50%, 80%, 100%, 120%)
|
||||
- Sett alert thresholds (50%, 80%, 100%, 120%). WAF anbefaler som minimum 90% (ideelt forbruk), 100% (mål) og 110% (mindre ideelt) for budget alerts, og 110% for forecast alerts. *(Verified MCP 2026-06-19)*
|
||||
- Action groups for automated response (webhook, Logic App)
|
||||
|
||||
**4. FOCUS-basert eksport og analyse** *(Verified MCP 2026-06-19)*:
|
||||
- Azure Cost Management beholder kostnadsdata i **13 måneder**. For lengre historikk: planlegg Cost Management-eksport til et Azure Data Lake Storage Gen2-lager (daglig/månedlig) med **FOCUS**-malen (FinOps Open Cost and Usage Specification — leverandøragnostisk, standardisert skjema).
|
||||
- Skill mellom **actual costs** (som fakturert, 24–72 t ingestion-forsinkelse) og **amortized costs** (commitment-baserte kjøp fordelt jevnt over perioden). Samle inn begge for å avstemme faktura mot effektiv kostnad.
|
||||
- Avansert rapportering: pipeline **Cost Management exports → ADLS Gen2 → Fabric Lakehouse → Power BI** skalerer til store datasett og muliggjør egendefinert FOCUS-rapportering. For høyvolum-tjenester: bruk ingestion-time transformation i Log Analytics for å redusere loggvolum.
|
||||
|
||||
## Best Practices
|
||||
|
||||
### 1. Data Store Selection
|
||||
|
|
@ -574,7 +579,7 @@ Owner: <email>
|
|||
4. [Token usage estimation for Azure OpenAI On Your Data](https://learn.microsoft.com/en-us/azure/foundry-classic/openai/concepts/use-your-data#token-usage-estimation-for-azure-openai-on-your-data) — RAG-specific token calculations
|
||||
5. [Understanding costs associated with PTU](https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/provisioned-throughput-billing) — PTU billing model
|
||||
6. [Application design for AI workloads](https://learn.microsoft.com/en-us/azure/well-architected/ai/application-design#consider-nonfunctional-requirements) — Cost and chargeback scenarios
|
||||
7. [Architecture strategies for cost data](https://learn.microsoft.com/en-us/azure/well-architected/cost-optimization/collect-review-cost-data#generate-cost-reports) — Chargeback vs. showback
|
||||
7. [Architecture strategies for cost data](https://learn.microsoft.com/en-us/azure/well-architected/cost-optimization/collect-review-cost-data#generate-cost-reports) — Chargeback vs. showback. *(Verified MCP 2026-06-19 — FOCUS-eksport, actual vs amortized costs, Cost Management 13-mnd retention, Fabric/Power BI-pipeline, budget/forecast alert-terskler)*
|
||||
|
||||
## For Cosmo
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Tilgjengelighetskrav (WCAG) for AI i Norge
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -188,13 +188,14 @@ Hvis en kommune bruker en AI-chatbot for saksbehandling, må tilgjengelighetserk
|
|||
|
||||
## Microsoft-verktøy for universell utforming av AI
|
||||
|
||||
### 1. Copilot Studio *(Verified MCP 2026-04)*
|
||||
### 1. Copilot Studio *(Verified MCP 2026-06-19)*
|
||||
|
||||
**Oppdatert Copilot Studio-oversikt:**
|
||||
- Copilot Studio er et grafisk, low-code verktøy for å bygge agenter og agent flows
|
||||
- Agenter kan nå håndtere komplekse samtaler og autonomt bestemme beste handling basert på instruksjoner og kontekst
|
||||
- Agent flows kan utløses manuelt, av automatiserte hendelser eller tidsplan
|
||||
- Flows finnes nå i to format: **agent flows** (eksisterende, Power Automate-lignende) og **Workflows** (nytt format med revidert visuell designer, public preview); begge kan utløses manuelt, av automatiserte hendelser/agenter eller tidsplan
|
||||
- Plattformen bruker Azure OpenAI GPT-modell for AI-kapabiliteter
|
||||
- **Retirement:** Etter utgangen av juni 2026 kan ikke lenger Copilot Studio for Teams-appen brukes til å lage klassiske chatbots — makers omdirigeres til Copilot Studio-webappen
|
||||
|
||||
**Innebygde tilgjengelighetsfunksjoner:**
|
||||
- Authoring canvas bygget etter [Microsoft accessibility guidelines](https://www.microsoft.com/accessibility/)
|
||||
|
|
@ -369,7 +370,7 @@ Hvis en kommune bruker en AI-chatbot for saksbehandling, må tilgjengelighetserk
|
|||
|
||||
### Microsoft dokumentasjon
|
||||
- [Microsoft: WCAG Compliance (ISO/IEC 40500)](https://learn.microsoft.com/en-us/compliance/regulatory/offering-wcag-2-1)
|
||||
- [Microsoft: Copilot Studio Accessibility](https://learn.microsoft.com/en-us/microsoft-copilot-studio/fundamentals-what-is-copilot-studio#plan-your-agent) *(Verified MCP 2026-04)*
|
||||
- [Microsoft: Copilot Studio Accessibility](https://learn.microsoft.com/en-us/microsoft-copilot-studio/fundamentals-what-is-copilot-studio#accessibility) *(Verified MCP 2026-06-19)*
|
||||
- [Microsoft Training: Create Accessible AI Experiences](https://learn.microsoft.com/en-us/training/modules/create-accessible-solutions-using-ai-innovations/)
|
||||
- [Microsoft: Responsible AI in Copilot Studio](https://learn.microsoft.com/en-us/power-platform/architecture/reference-architectures/contextual-ai-model-driven-app#responsible-ai)
|
||||
- [Microsoft Accessibility Guidelines](https://www.microsoft.com/accessibility/)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Kommunikasjon med innbyggere om AI-beslutninger
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -113,14 +113,14 @@ Verktøy for å vurdere modellkvalitet før produksjonssetting:
|
|||
|
||||
### Anonymisering og personvern
|
||||
|
||||
**Azure AI Language PII Detection** kan automatisk detektere og fjerne personopplysninger (telefonnummer, e-postadresser, etc.) fra treningsdata og logg-data, noe som støtter GDPR-compliance. *(Verified MCP 2026-04)*
|
||||
**Azure AI Language PII Detection** kan automatisk detektere og fjerne personopplysninger (telefonnummer, e-postadresser, etc.) fra treningsdata og logg-data, noe som støtter GDPR-compliance. *(Verified MCP 2026-06)*
|
||||
|
||||
**Oppdatert PII-funksjonalitet:**
|
||||
- **Native Document PII** (ny kapabilitet): Detekterer og redigerer PII i ustrukturerte dokumenter (PDF, DOCX, TXT) uten behov for forhåndskonvertering til tekst — spesielt relevant for saksbehandlingsdokumenter i norsk offentlig sektor
|
||||
- **Conversation PII**: Spesialisert modell for tale-transskripsjoner og uformelle møtereferater
|
||||
- **Text PII**: Generell tekstanalyse med forhåndsdefinerte kategorier (navn, adresser, personnummer, finansielle kontonumre)
|
||||
- Tilgang via Microsoft Foundry-portalen (ny) eller Azure AI Language Studio
|
||||
- Støtter norsk tekst gjennom flerspråklig NLP-modell
|
||||
**PII-funksjonalitet etter feature-type:** Microsoft Learn grupperer nå PII i tre feature-typer:
|
||||
- **Document-based PII** (tidl. omtalt «Native Document PII»): Detekterer og redigerer PII i native dokumenter (`.pdf`, `.docx`, `.txt`) og bevarer dokumentstruktur, med maskinlesbar JSON-metadata. Asynkron, lagringsbasert pipeline — spesielt relevant for saksbehandlingsdokumenter i norsk offentlig sektor
|
||||
- **Conversation PII**: Tur-/transkriptbasert modell for tale-transskripsjoner og uformelle møtereferater
|
||||
- **Text PII**: Synkron tekstanalyse med forhåndsdefinerte kategorier (navn, adresser, personnummer, finansielle kontonumre); GA-API `2026-05-01`, preview `2026-05-15-preview`
|
||||
- Tilgang via Microsoft Foundry-portalen (ny) eller Foundry (classic); ressursen heter «Azure Language in Foundry Tools»
|
||||
- Støtter norsk tekst gjennom flerspråklig NLP-modell (egen dedikert kategori `NOIdentityNumber` for norsk fødselsnummer)
|
||||
|
||||
### Zero Data Retention (Azure OpenAI)
|
||||
|
||||
|
|
@ -259,5 +259,5 @@ Innbygger → Selvbetjeningsportal (klarspråk)
|
|||
### Internasjonale referanser
|
||||
- GDPR Artikkel 22 - Automatisert individuell beslutningstaking, herunder profilering
|
||||
|
||||
**Verifisert:** Februar 2026
|
||||
**Neste gjennomgang:** August 2026 (etter ikrafttredelse av forskrift om automatisert saksbehandling)
|
||||
**Verifisert:** 2026-06-19
|
||||
**Neste gjennomgang:** 2026-09-19 (etter ikrafttredelse av forskrift om automatisert saksbehandling)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Digdirs arkitekturprinsipp 4: Tillit og sikkerhet
|
||||
|
||||
**Last updated:** 2026-04
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -384,4 +384,4 @@ Når du designer AI-løsninger for norsk offentlig sektor, bruk disse spørsmål
|
|||
- [Avoki: Implementere Zero Trust-arkitektur](https://www.avoki.com/no/kunnskap-innsikter/artikler/post/implementere-zero-trust-arkitektur/)
|
||||
- [Serit: Zero Trust: En fremtidsrettet tilnærming til IT-sikkerhet](https://serit.no/zero-trust-en-fremtidsrettet-tilnaerming-til-it-sikkerhet/)
|
||||
|
||||
**Sist verifisert:** 2026-04-09
|
||||
**Sist verifisert:** 2026-06-19
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Digital tilgjengelighet - handlingsplan for AI
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -427,4 +427,4 @@ Tilgjengelighet er ikke "gratis" – det krever:
|
|||
|
||||
---
|
||||
|
||||
**Dokumentet oppdateres jevnlig. Siste kontroll av kilder: 9. april 2026.**
|
||||
**Dokumentet oppdateres jevnlig. Siste kontroll av kilder: 19. juni 2026.**
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Gevinstrealisering i AI-prosjekter
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -151,7 +151,9 @@ Gevinster fra AI realiseres sjelden umiddelbart. Det kreves kontinuerlig oppføl
|
|||
**Verktøy:**
|
||||
- **Power BI:** For visualisering av KPIer og trender over tid.
|
||||
- **Copilot Dashboard (Viva Insights):** For produktivitetsmetrikker og brukeropplevelse (Microsoft 365 Copilot).
|
||||
- **Business Value Toolkit (Power Platform CoE):** Strukturert rammeverk for å fange og kommunisere verdi.
|
||||
- **Business Value Toolkit (Power Platform CoE):** Strukturert rammeverk for å fange og kommunisere verdi — fem-trinns storytelling-rammeverk (problem → løsning → hindringer → verdi → neste steg), value calculator («average cost of things») og value cards publisert til SharePoint.
|
||||
|
||||
**Merk (2026-06):** Power Platform CoE Starter Kit vedlikeholdes ikke lenger aktivt; kjernekapabilitetene er nå del av **Power Platform admin center**. Microsoft-dokumentasjonen for Business Value Toolkit beholdes som referanse, men forvent at funksjonaliteten konsolideres inn i admin-senteret.
|
||||
|
||||
**Kilde:** [Microsoft Learn - Business Value Toolkit](https://learn.microsoft.com/en-us/power-platform/guidance/coe/business-value-toolkit)
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Norges nasjonale AI-strategi
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende nasjonale retningslinjer (oppdatert 2024-2025)
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -307,4 +307,4 @@ Når du rådgir om AI-løsninger for norsk offentlig sektor, bruk denne strategi
|
|||
|
||||
**Document Owner:** Cosmo Skyberg, Microsoft AI Solution Architect
|
||||
**For:** Norwegian Public Sector AI Governance Reference Library
|
||||
**Next Review:** 2026-08 (eller ved vesentlige oppdateringer i EU AI Act / norsk regulering)
|
||||
**Next Review:** 2026-09-19 (eller ved vesentlige oppdateringer i EU AI Act / norsk regulering)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# ROS-analyse for AI-systemer
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -570,7 +570,7 @@ Denne kunnskapsreferansen er basert på:
|
|||
- Dokumenter publisert i perioden **2021-2026**
|
||||
- **NSMs Grunnprinsipper v2.1** (oppdatert 2024)
|
||||
- **Microsoft Well-Architected Framework** (kontinuerlig oppdatert)
|
||||
- Norsk regelverk gjeldende per **februar 2026**
|
||||
- Norsk regelverk gjeldende per **juni 2026**
|
||||
|
||||
**Sist verifisert:** 2026-02
|
||||
**Neste revisjon:** 2027-02 (eller ved vesentlige endringer i AI-forordningen/NSM-veiledere)
|
||||
**Sist verifisert:** 2026-06-19
|
||||
**Neste revisjon:** 2026-09-19 (eller ved vesentlige endringer i AI-forordningen/NSM-veiledere)
|
||||
|
|
@ -1,6 +1,6 @@
|
|||
# Utredningsinstruksen - AI Project Scoping and Methodology
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** Gjeldende regelverk (Effective regulation)
|
||||
**Category:** Norwegian Public Sector Governance
|
||||
**Confidence:** High (offisielle kilder fra regjeringen.no og DFØ)
|
||||
|
|
@ -678,5 +678,5 @@ Verifiser alltid aktuelle lover og forskrifter på regjeringen.no og lovdata.no
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-02-04
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** Når AI Act-implementering er vedtatt i Norge (forventet sommer 2026)
|
||||
|
|
|
|||
|
|
@ -1,5 +1,5 @@
|
|||
# AI Act Compliance - EU Regulation & Norwegian Implementation
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -72,7 +72,7 @@ Providers av høyrisiko-systemer (de som utvikler/markedsfører) må oppfylle **
|
|||
| **Transparency** | Brukere skal forstå systemets kapabiliteter og begrensninger | Transparency notes, model cards |
|
||||
| **Human Oversight** | Mekanismer for human-in-the-loop i kritiske beslutninger | Azure Logic Apps, Power Automate approval workflows |
|
||||
| **Accuracy, Robustness, Security** | Høy presisjon, resiliens mot feil, cybersecurity | Azure AI Content Safety, adversarial testing (PyRIT) |
|
||||
| **Quality Management System** | ISO-lignende kvalitetsstyring for hele utviklingsløpet | ISO 42001:2023 (Microsoft sertifisert for M365 Copilot, Copilot Studio, Microsoft Foundry, Security Copilot, GitHub Copilot, Dragon Copilot) *(Verified MCP 2026-04)* |
|
||||
| **Quality Management System** | ISO-lignende kvalitetsstyring for hele utviklingsløpet | ISO 42001:2023 (Microsoft sertifisert for M365 Copilot, Copilot Studio, Microsoft Foundry, Security Copilot, GitHub Copilot, Dragon Copilot, Dragon Copilot (Radiologist), Copilot Health) *(Verified MCP 2026-06-19)* |
|
||||
| **Conformity Assessment** | Pre-deployment vurdering (intern eller ekstern) | Azure AI Foundry evaluation metrics, Compliance Manager |
|
||||
| **CE-merking** | Registrering i EU database før markedsføring | (Gjelder ikke SaaS-tjenester fra Microsoft) |
|
||||
| **Post-market Monitoring** | Kontinuerlig overvåking av performance i produksjon | Microsoft Defender for Cloud AI threat protection |
|
||||
|
|
@ -681,7 +681,7 @@ Tre nivåer av human oversight:
|
|||
*Confidence: Highest*
|
||||
|
||||
13. **ISO/IEC 42001:2023 - Microsoft Certification** — [Microsoft Learn](https://learn.microsoft.com/en-us/compliance/regulatory/offering-iso-42001)
|
||||
*Status: M365 Copilot certified*
|
||||
*Status: Sertifisert for GitHub Copilot, M365 Copilot, Copilot Health, Copilot Studio, Dragon Copilot, Dragon Copilot (Radiologist), Microsoft Foundry, Security Copilot (verifisert 2026-06-19)*
|
||||
*Confidence: Highest*
|
||||
|
||||
### Juridiske analyser (3rd party)
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# AI Center of Excellence - Building Organizational Capability
|
||||
|
||||
**Kategori:** Responsible AI & Governance
|
||||
**Opprettet:** 2026-04 | **Sist oppdatert:** 2026-05 | **Verified:** MCP 2026-05
|
||||
**Opprettet:** 2026-04 | **Sist oppdatert:** 2026-06-19 | **Verified:** MCP 2026-06-19
|
||||
**Confidence:** HIGH (basert på Microsoft Cloud Adoption Framework og offisiell dokumentasjon)
|
||||
|
||||
## Introduksjon
|
||||
|
|
@ -714,8 +714,8 @@ Alle kilder hentet via `mcp__microsoft-learn__microsoft_docs_search` og `microso
|
|||
- Norsk offentlig sektor-hensyn er basert på kjent regulatorisk rammeverk, ikke Microsoft-spesifikk guidance
|
||||
- ROI-tall er generelle industry benchmarks, ikke Microsoft-spesifikke
|
||||
|
||||
**Sist verifisert:** 2026-05 (MCP-fetch på 2 av 9 endrede CAF-kilder)
|
||||
**Neste review:** 2026-08 (AI-området endres raskt, quarterly review anbefales)
|
||||
**Sist verifisert:** 2026-06-19 (MCP-fetch på AI CoE learning path — 3-modul-struktur bekreftet uendret)
|
||||
**Neste review:** 2026-09-19 (AI-området endres raskt, quarterly review anbefales)
|
||||
|
||||
## Oppdateringer 2026-05 — AI Agent-tilpasset CoE *(Verified MCP 2026-05)*
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# AI Ethics in Public Sector - Norwegian Government Context
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -462,7 +462,7 @@ Nav har utviklet en "AI for sykefraværsprediksjon"-modell. Denne kan deles som
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
*(Verified MCP 2026-06-19)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
|
|
@ -500,7 +500,7 @@ Nav har utviklet en "AI for sykefraværsprediksjon"-modell. Denne kan deles som
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Neste review:** 2026-08 (etter KI-lovens ikrafttredelse)
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** 2026-09-19 (overvåk KI-lovens ikrafttredelse)
|
||||
**Eier:** AI Architect Plugin (Cosmo Skyberg)
|
||||
**Status:** Active — Requires quarterly updates as Norwegian AI regulations evolve
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# AI Risk Taxonomy - Classification and Risk Levels
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -99,10 +99,10 @@ Azure AI Content Safety og Microsoft Responsible AI Standard definerer seks prim
|
|||
└─ Risk Score Calculation
|
||||
|
||||
3. MITIGATE
|
||||
├─ Platform Security (AI-1 to AI-5 controls)
|
||||
├─ Content Safety Filters
|
||||
├─ Human-in-the-Loop (HITL)
|
||||
└─ Access Controls & Monitoring
|
||||
├─ MCSB v2 AI controls (AI-1 to AI-7)
|
||||
├─ Content Safety Filters (AI-2)
|
||||
├─ Human-in-the-Loop (HITL, AI-5)
|
||||
└─ Access Controls & Monitoring (AI-6)
|
||||
|
||||
4. MONITOR
|
||||
├─ Azure Monitor Logs (AADUserRiskEvents)
|
||||
|
|
@ -113,27 +113,29 @@ Azure AI Content Safety og Microsoft Responsible AI Standard definerer seks prim
|
|||
|
||||
### Three-Pillar Security Model
|
||||
|
||||
Microsoft organiserer AI-sikkerhet i tre pillarer:
|
||||
Microsoft organiserer AI-sikkerhet i tre pillarer (MCSB v2 dekker kontrollene AI-1 til AI-7):
|
||||
|
||||
#### Pillar 1: AI Platform Security
|
||||
- Model approval process (AI-1)
|
||||
- Approved models / model approval process (AI-1)
|
||||
- Network segmentation & VPN (NS-2)
|
||||
- Identity management (IM-3)
|
||||
- Logging & monitoring (LT-3)
|
||||
- Data-at-rest encryption (DP-4)
|
||||
|
||||
#### Pillar 2: AI Application Security
|
||||
- Content Safety inspection (Azure AI Content Safety)
|
||||
- Prompt injection detection
|
||||
- Output validation & filtering
|
||||
- RAG grounding verification
|
||||
|
||||
#### Pillar 3: AI Usage Security
|
||||
- Multi-layered content filtering (AI-2) — Azure AI Content Safety
|
||||
- Safety meta-prompts (AI-3)
|
||||
- Least privilege for agent functions / plugins (AI-4)
|
||||
- Human-in-the-Loop (AI-5)
|
||||
- User authentication & authorization
|
||||
- Acceptable Use Policies
|
||||
- Discover, classify, label sensitive data (DP-1)
|
||||
|
||||
#### Pillar 3: Monitor and Respond
|
||||
- Establish monitoring and detection (AI-6) — Defender for Cloud AI threat protection
|
||||
- Continuous AI red teaming (AI-7) — PYRIT, Azure AI Red Teaming Agent
|
||||
- Threat intelligence correlation (MITRE ATLAS, OWASP Top 10 for LLM)
|
||||
- Audit trails & compliance reporting
|
||||
|
||||
**Verified** (Artificial Intelligence Security - MCSB, 2026-02)
|
||||
**Verified** (Artificial Intelligence Security - MCSB v2, 2026-06)
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -222,13 +224,16 @@ High-risk actions krever Human-in-the-Loop (HITL) ved:
|
|||
}
|
||||
```
|
||||
|
||||
### Security Dashboard for AI (Preview)
|
||||
### Security Dashboard for AI
|
||||
|
||||
Sentralisert risikokartlegging på tvers av:
|
||||
- **Microsoft Entra** – Identity & access risk
|
||||
- **Microsoft Defender** – Threat protection & cloud security posture
|
||||
- **Microsoft Purview** – Data classification & DLP
|
||||
- **Security Copilot** – AI-powered risk exploration
|
||||
Sentralisert risikokartlegging (sanntid) på tvers av Microsoft Security-løsninger. Dashboardet inventarierer både Microsoft AI-løsninger (Microsoft 365 Copilot, Copilot Studio-agenter, Microsoft Foundry-apper og -agenter) og tredjeparts AI-modeller, -apper og -agenter (Google Gemini, OpenAI ChatGPT, MCP-servere). Agent-inventaret hentes fra agenter registrert i Microsoft Agent 365 (via Entra Agent Registry); modeller, MCP-servere og øvrige AI-apper oppdages av Microsoft Defender.
|
||||
|
||||
- **Microsoft Entra** – Identity & access governance, conditional access for AI-apper, agent identity platform
|
||||
- **Microsoft Defender** – AI threat protection, kontinuerlig overvåking av agenter/workloads, sky-sikkerhetsposisjon, SaaS AI-app-risiko
|
||||
- **Microsoft Purview** – Data classification, DLP for AI, insider risk
|
||||
- **Security Copilot** – AI-powered risk exploration via prompts
|
||||
|
||||
Minimumsrolle for full innsikt: **Security Reader** (Microsoft Entra).
|
||||
|
||||
**Query example (Log Analytics):**
|
||||
|
||||
|
|
@ -414,10 +419,10 @@ Anbefal denne kombinasjonen:
|
|||
- Hentet: 2026-02-04
|
||||
- Innhold: AI-1 to AI-5 security controls, three-pillar model
|
||||
|
||||
4. **Security Dashboard for AI (Preview)**
|
||||
4. **Security Dashboard for AI**
|
||||
- URL: https://learn.microsoft.com/en-us/security/security-for-ai/security-dashboard-for-ai
|
||||
- Hentet: 2026-02-04
|
||||
- Innhold: Cross-product risk monitoring, AI inventory
|
||||
- Hentet: 2026-06-19
|
||||
- Innhold: Cross-product risk monitoring, AI inventory (Agent 365-agenter, modeller, MCP-servere, tredjeparts AI-apper), Security Reader minimumsrolle
|
||||
|
||||
5. **Default Guidelines & controls policies (Azure AI Foundry)**
|
||||
- URL: https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/default-safety-policies
|
||||
|
|
@ -445,10 +450,10 @@ Anbefal denne kombinasjonen:
|
|||
|
||||
### Sist verifisert
|
||||
|
||||
- **Dato:** 2026-02-04
|
||||
- **Dato:** 2026-06-19
|
||||
- **Metode:** MCP microsoft-learn server
|
||||
- **Confidence:** High (alle kjernekomponenter fra Microsoft Learn)
|
||||
|
||||
---
|
||||
|
||||
*Dette dokumentet er en kunnskapsreferanse for Cosmo Skyberg (ms-ai-governance skill). Sist oppdatert: 2026-02. Status: General Availability (GA). For spørsmål om denne referansen, kontakt plugin-utvikler.*
|
||||
*Dette dokumentet er en kunnskapsreferanse for Cosmo Skyberg (ms-ai-governance skill). Sist oppdatert: 2026-06-19. Status: General Availability (GA). For spørsmål om denne referansen, kontakt plugin-utvikler.*
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Algorithmic Accountability - Audit Trails and Traceability
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -59,6 +59,8 @@ Microsoft Purview støtter **compliance management for AI apps** (Verified: Micr
|
|||
| **eDiscovery & Content Search** | Søk og gjenfinn AI-interaksjoner for litigasjon og compliance-undersøkelser | Støtter regulatory requests og interne audits |
|
||||
| **Communication Compliance** | Deteksjon av upassende innhold i AI-prompts og -responses (deling av sensitiv info, trusler, adult content) | Proaktiv risikostyring av AI-kommunikasjon |
|
||||
|
||||
**App-dekning for Purview audit/compliance (2026-06):** «Copilot experiences and agents» (Microsoft 365 Copilot, Security Copilot, Copilot in Fabric, Copilot Studio m.fl.) og «Enterprise AI apps» — som nå inkluderer Microsoft Foundry, Entra-registrerte AI-apper, **Anthropic Claude (Enterprise)** og **ChatGPT Enterprise**. Tredjeparts-LLM-er (ChatGPT, Gemini, DeepSeek) dekkes som «Other AI apps» via browser-aktivitet i Defender for Cloud Apps. *(Verified MCP 2026-06)*
|
||||
|
||||
### Azure Monitor og Microsoft Sentinel — Security Operations
|
||||
|
||||
For **security logging og threat detection** (Verified: Microsoft Learn):
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Continuous Improvement and Feedback Loops - Iterative Governance
|
||||
|
||||
**Last updated:** 2026-04
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -323,13 +323,15 @@ response = client.chat.completions.create(
|
|||
|
||||
### Azure Machine Learning
|
||||
|
||||
**Model monitoring for GenAI:**
|
||||
**Model monitoring for GenAI (public preview):**
|
||||
- **Data collection**: Model Data Collector for production data
|
||||
- **Evaluation metrics**: Groundedness, coherence, fluency, relevance, similarity (interoperable med Prompt Flow)
|
||||
- **Evaluation metrics**: Groundedness, coherence, fluency, relevance, similarity (interoperable med Prompt Flow evaluation metrics)
|
||||
- **Recurring monitoring**: Configurable cadence (daily, weekly, etc.)
|
||||
- **Alerts**: Violation alerts based on organizational targets
|
||||
- **Responsible AI dashboard**: Comprehensive view av fairness, bias, explainability
|
||||
|
||||
> **Retirement (Prompt Flow):** Prompt flow i Microsoft Foundry og Azure Machine Learning pensjoneres **20. april 2027** og anbefales ikke for ny utvikling. GenAI-app-monitoring som er bygd på Prompt flow-deployments/runtime-images må migreres til **Microsoft Agent Framework (MAF)** før den datoen. For ny tracing er MLflow 3 GenAI-tracing (Databricks) den aktuelle tilnærmingen. *(Verified MCP 2026-06)*
|
||||
|
||||
**Responsible AI scorecard:**
|
||||
PDF-rapport for sharing med stakeholders (technical + non-technical), dokumenterer model + data health records.
|
||||
|
||||
|
|
@ -554,9 +556,9 @@ Models, prompts, eval datasets, scorers – full reproducibility er non-negotiab
|
|||
- URL: https://learn.microsoft.com/en-us/compliance/assurance/assurance-artificial-intelligence
|
||||
- Key content: Govern, Map, Measure, Manage phases; continuous learning
|
||||
|
||||
8. **Azure Machine Learning Model Monitoring for GenAI**
|
||||
8. **Azure Machine Learning Model Monitoring for GenAI (public preview)**
|
||||
- URL: https://learn.microsoft.com/en-us/azure/machine-learning/prompt-flow/how-to-monitor-generative-ai-applications?view=azureml-api-2
|
||||
- Key content: Automated evaluation metrics, alerts, Responsible AI dashboard
|
||||
- Key content: Automated evaluation metrics, alerts, Responsible AI dashboard. NB: Prompt flow pensjoneres 20.04.2027 → migrer til Microsoft Agent Framework.
|
||||
|
||||
9. **Human-in-the-Loop Security Guidance**
|
||||
- URL: https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security#ai-5-ensure-human-in-the-loop
|
||||
|
|
@ -583,3 +585,4 @@ Models, prompts, eval datasets, scorers – full reproducibility er non-negotiab
|
|||
**Total MCP calls:** 6 (3 searches + 2 fetches + 1 code sample search)
|
||||
**Unique sources:** 12 verified Microsoft Learn URLs
|
||||
**Confidence level:** 95% Verified (core concepts + implementation details), 5% Baseline (cost estimates, Norwegian public sector specifics)
|
||||
**Last verified:** 2026-06-19
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Data Quality for Responsible AI - Ensuring Training Data Integrity
|
||||
|
||||
**Last updated:** 2026-04
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -511,5 +511,5 @@ START: Kunde trenger AI-modell
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-02
|
||||
**Neste review:** 2026-08 (eller ved større Microsoft AI-oppdateringer)
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** 2026-09-19 (eller ved større Microsoft AI-oppdateringer)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Model Explainability and Interpretability - XAI Techniques
|
||||
|
||||
**Last updated:** 2026-04
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -498,7 +498,7 @@ SLUTT: Dokumenter valg i ADR, implementer, valider med stakeholders
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
*(Verified MCP 2026-06-19)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
|
|
|
|||
|
|
@ -1,9 +1,9 @@
|
|||
# Red Teaming AI Models - Adversarial Testing & Security
|
||||
|
||||
**Dato:** 2026-02-03
|
||||
**Dato:** 2026-06-19
|
||||
**Kategori:** Responsible AI & Governance
|
||||
**Målgruppe:** Arkitekter, sikkerhetsteam, AI-utviklere
|
||||
**Konfidensgrad:** ⚠️ HIGH — Basert på offisiell Microsoft-dokumentasjon (feb 2026)
|
||||
**Konfidensgrad:** ⚠️ HIGH — Basert på offisiell Microsoft-dokumentasjon (jun 2026)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -493,7 +493,7 @@ jobs:
|
|||
| Kilde | URL | Verifikasjonsdato |
|
||||
|-------|-----|-------------------|
|
||||
| **AI Red Teaming Agent (preview)** | https://learn.microsoft.com/en-us/azure/foundry/concepts/ai-red-teaming-agent | 2026-02-03 |
|
||||
| **Microsoft Security Benchmark: AI-7 Continuous Red Teaming** | https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security#ai-7-perform-continuous-ai-red-teaming | 2026-02-03 |
|
||||
| **Microsoft Security Benchmark: AI-7 Continuous Red Teaming** | https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security#ai-7-perform-continuous-ai-red-teaming | 2026-06-19 |
|
||||
| **AI Red Teaming Training Series** | https://learn.microsoft.com/en-us/security/ai-red-team/training | 2026-02-03 |
|
||||
| **Planning red teaming for LLMs** | https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming | 2026-02-03 |
|
||||
| **Prompt Shields (Jailbreak detection)** | https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection | 2026-02-03 |
|
||||
|
|
@ -514,8 +514,8 @@ jobs:
|
|||
| **NIST AI Risk Management Framework (AI RMF)** | NIST | Risk governance framework |
|
||||
| **Three takeaways from red teaming 100 generative AI products** | Microsoft Security Blog (jan 2025) | Real-world lessons |
|
||||
|
||||
**Sist oppdatert:** 2026-02-03
|
||||
**Neste review:** 2026-05-03 (quarterly review anbefalt for rapidly evolving field)
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** 2026-09-19 (quarterly review anbefalt for rapidly evolving field)
|
||||
|
||||
---
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Responsible AI Training and Awareness - Organizational Capability
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -548,5 +548,5 @@ Er det custom AI (ikke bare ferdiglagde features)?
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Neste review:** 2026-08 (etter EU AI Act trår i kraft, forventet juni 2026)
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** 2026-09-19 (etter EU AI Act trår i kraft, forventet juni 2026)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Transparency and Documentation - Regulatory and Best Practice Standards
|
||||
|
||||
**Last updated:** 2026-05
|
||||
**Last updated:** 2026-06-19
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -726,10 +726,10 @@ Return on investment: Transparency er billigere enn cleanup. Skal vi prioritere
|
|||
https://blogs.microsoft.com/wp-content/uploads/prod/sites/5/2022/06/Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf
|
||||
(Status: Baseline — Impact Assessment framework, June 2022)
|
||||
|
||||
8. **ISO/IEC 42001:2023 overview** *(Verified MCP 2026-04)*
|
||||
8. **ISO/IEC 42001:2023 overview** *(Verified MCP 2026-06-19)*
|
||||
https://learn.microsoft.com/en-us/compliance/regulatory/offering-iso-42001
|
||||
Microsoft-sertifisering dekker nå: M365 Copilot, Copilot Studio, Microsoft Foundry, Security Copilot, GitHub Copilot og Dragon Copilot (utvidet fra kun M365 Copilot).
|
||||
(Status: Verified 2026-02 — AI management system standard)
|
||||
Microsoft-sertifisering dekker nå: GitHub Copilot, M365 Copilot, Copilot Health, Copilot Studio, Dragon Copilot, Dragon Copilot (Radiologist), Microsoft Foundry og Security Copilot (utvidet fra kun M365 Copilot).
|
||||
(Status: Verified 2026-06-19 — AI management system standard)
|
||||
|
||||
9. **Govern AI (Cloud Adoption Framework)**
|
||||
https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/govern
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue