docs(architect): weekly KB update — 66 files refreshed (2026-04)
Updated 66 stale knowledge base reference files (10 critical, 56 high) across all 5 skills using Microsoft Learn MCP research. Key factual updates: - Groundedness Detection API: `correction` → `mitigating` param, `correctedText` → `correctionText` (breaking change) - Copilot Studio: GPT-4.1 mini now default (was GPT-4o mini); Claude Sonnet 4.5 + Opus 4.5 added (experimental, 200K ctx) - Agentic Retrieval: still public preview; 50M free tokens/month - Azure security baselines: "Cognitive Services" → "Foundry Tools" - Databricks: Delta Live Tables → Lakeflow Spark Declarative Pipelines - MLflow 3 GenAI: new Feedback/Expectation data model - Token tracking doc: "Azure OpenAI in Foundry Models through a gateway" - Agent Registry: Risks column (M365 E7), Graph API (preview) - Copilot DLP: new Entra AI Admin + Purview Data Security AI Admin roles - ISO/IEC 42001: scope expanded to M365 Copilot, Foundry, Security Copilot - Zero Trust: CAE now via Conditional Access, Strict Location Enforcement - Purview: new Fabric Copilots/agents governance section - AG-UI HITL: ApprovalRequiredAIFunction (C#), @tool approval_mode (Python) All files: Last updated → 2026-04, *(Verified MCP 2026-04)* markers added. Build registry: 1341 URLs from 387 files (+2 new URLs). Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
1793faa1f2
commit
ad8a411f38
73 changed files with 727 additions and 301 deletions
|
|
@ -1,6 +1,6 @@
|
|||
# Alerting Strategies and Escalation Policies for AI Incidents
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -24,7 +24,7 @@ Eskaleringsrutiner må reflektere organisasjonens modenhetsnivå. En Minimum Via
|
|||
|-----------|-------------|-------------|
|
||||
| **Alert Rules** | Definerer betingelser som trigger alerts (metrics, logs, activity log) | Token rate limits, model latency, failed requests |
|
||||
| **Action Groups** | Samling av notifications og actions som kjøres når alert fires | Email, SMS, webhook, runbook, Logic App |
|
||||
| **Alert Processing Rules** | Overstyr eller beriket alert-oppførsel (f.eks. suppression under maintenance) | Prevent alert fatigue under model redeployments |
|
||||
| **Alert Processing Rules** | Overstyr eller berik alert-oppførsel (suppression, tillegg av action groups, scheduling). Filtre støtter opptil 5 verdier per filter (logisk OR). Suppression har høyere prioritet enn Apply action groups. | Prevent alert fatigue under model redeployments; recurring maintenance windows *(Verified MCP 2026-04)* |
|
||||
| **Common Alert Schema** | Uniform JSON payload på tvers av alle alert-typer | Forenkler webhook-integrasjoner og ITSM-connectors |
|
||||
| **Severity Levels** | Sev 0 (Critical) til Sev 4 (Informational) | Map til business impact (Sev 0 = PII leak, Sev 4 = latency spike) |
|
||||
|
||||
|
|
@ -39,6 +39,8 @@ Eskaleringsrutiner må reflektere organisasjonens modenhetsnivå. En Minimum Via
|
|||
| **Azure App Push** | Mobile notifications til Azure-appen | Begrenset til Azure mobile app | ✅ Yes |
|
||||
| **Event Hub** | Stream alerts til analytics/SIEM | Supports Private Link og NSP | ✅ Yes (regional) |
|
||||
|
||||
**Reusability:** Du kan legge til opptil 5 action groups per alert rule. Action groups kjøres concurrent (ingen bestemt rekkefølge). Multiple alert rules kan bruke samme action group. *(Verified MCP 2026-04)*
|
||||
|
||||
**Rate Limiting:** Azure Monitor rate-limiter notifications for å hindre spam. Hvis samme email/SMS/telefonnummer mottar for mange alerts, suspenderes notifications midlertidig. For AI-systemer som kan generere høy alert-volum (f.eks. per-request failures), bruk programmatic actions (Logic Apps, Automation Runbooks) i stedet.
|
||||
|
||||
### Action Types for AI Incidents
|
||||
|
|
@ -53,16 +55,18 @@ Eskaleringsrutiner må reflektere organisasjonens modenhetsnivå. En Minimum Via
|
|||
}
|
||||
```
|
||||
|
||||
| Action Type | AI Use Case | Authentication | Cross-tenant Support |
|
||||
|-------------|-------------|----------------|---------------------|
|
||||
| **Automation Runbook** | Auto-scale Azure OpenAI TPM, restart failing deployments | Managed Identity (Automation Contributor role) | ❌ No |
|
||||
| **Logic App** | Enrich alert med model metadata, post til Teams/Slack | Managed Identity (Logic App Contributor) | ❌ No |
|
||||
| **Azure Function** | Custom logic (e.g., invoke model rollback API) | HTTP trigger med access key | ❌ No |
|
||||
| **Webhook** | Invoke external incident mgmt (PagerDuty, ServiceNow) | Basic auth via URI eller secure webhook (Entra ID) | ✅ Yes (limited) |
|
||||
| **Event Hub** | Stream til SIEM (Microsoft Sentinel) for correlation | Managed Identity (Event Hubs Data Sender) | ✅ Yes (up to API 2023-09) |
|
||||
| **ITSM Connector** | Create incidents i ServiceNow, Cherwell | ITSM connection credentials | ❌ No |
|
||||
| Action Type | AI Use Case | Authentication | Managed Identity | Cross-tenant Support |
|
||||
|-------------|-------------|----------------|-----------------|---------------------|
|
||||
| **Automation Runbook** | Auto-scale Azure OpenAI TPM, restart failing deployments | Managed Identity (Automation Contributor, Role ID: f353d9bd) | ✅ Yes | ❌ No |
|
||||
| **Logic App** | Enrich alert med model metadata, post til Teams/Slack | Managed Identity (Logic App Contributor, Role ID: 87a39d53) | ✅ Yes | ❌ No |
|
||||
| **Azure Function** | Custom logic (e.g., invoke model rollback API) | HTTP trigger med access key | ❌ No | ❌ No |
|
||||
| **Webhook** | Invoke external incident mgmt (PagerDuty, ServiceNow) | Basic auth via URI eller secure webhook (Entra ID) | ❌ No | ✅ Yes (limited) |
|
||||
| **Event Hub** | Stream til SIEM (Microsoft Sentinel) for correlation | Managed Identity (Event Hubs Data Sender, Role ID: 2b629674) | ✅ Yes | ✅ Yes (up to API 2023-09-01-preview) |
|
||||
| **ITSM Connector** | Create incidents i ServiceNow, Cherwell | ITSM connection credentials | ❌ No | ❌ No |
|
||||
|
||||
**Managed Identity Best Practice:** For Automation Runbooks og Logic Apps, bruk managed identity i stedet for service principals. Azure Portal legger automatisk til role assignments. For PowerShell/CLI/SDK må du manuelt tildele roller (se tabell over).
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
**Managed Identity Best Practice:** For Automation Runbooks, Logic Apps og Event Hubs, bruk managed identity i stedet for service principals. Azure Function og Webhook støtter ikke managed identity — bruk HTTP trigger access key respektive secure webhook med Entra ID. Azure Portal legger automatisk til role assignments ved konfigurasjon. For PowerShell/CLI/SDK må du manuelt tildele roller (se tabell over). *(Verified MCP 2026-04)*
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -225,6 +229,18 @@ START: AI Alert Fired
|
|||
YES─> Email only
|
||||
```
|
||||
|
||||
### Anbefalinger fra Well-Architected Framework
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
| Anbefaling | Fordel |
|
||||
|------------|--------|
|
||||
| **Bruk dynamic thresholds i metric alerts** | ML-baserte terskler tilpasser seg automatisk — unngår manuell threshold-tuning for AI-workloads med variabelt load |
|
||||
| **Bruk managed identity for log search alert rules** | Credential-free auth; påkrevd hvis query aksesserer Azure Data Explorer (ADX) eller Azure Resource Graph (ARG) |
|
||||
| **Bruk custom properties i alert rules** | Legg til metadata (owner, cost center, AI Act reportable) i alert payload — enklere triaging og compliance-logging |
|
||||
| **Bruk Logic Apps for enrichment** | Customiser notification-format, hent tags fra ressurser, integrer med Teams/Slack/PagerDuty uten å endre alert rule |
|
||||
| **Activity log alerts er gratis** | Bruk activity log alerts for administrative hendelser der mulig — ingen kostnad per evaluering |
|
||||
|
||||
### Vanlige Feil (Red Flags)
|
||||
|
||||
| Anti-pattern | Problem | Anbefaling |
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Compliance Monitoring and AI Governance Dashboards
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -459,6 +459,8 @@ AppMetrics
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Microsoft Learn (Verified via MCP)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Cost Monitoring and Expense Reporting for AI Deployments
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -442,9 +442,9 @@ if ($metrics.Data.Total -eq 0) {
|
|||
https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/manage-costs
|
||||
*Konfidensgrad: Verified* – Komplett guide for cost management (budgets, alerts, export)
|
||||
|
||||
2. **Azure OpenAI gateway monitoring**
|
||||
2. **Azure OpenAI in Foundry Models gateway monitoring** *(Verified MCP 2026-04)*
|
||||
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring
|
||||
*Konfidensgrad: Verified* – Gateway-arkitektur for cost attribution og chargeback
|
||||
*Konfidensgrad: Verified* – Gateway-arkitektur for cost attribution og chargeback. Artikkel nå titulert "Implement advanced monitoring for Azure OpenAI in Foundry Models through a gateway".
|
||||
|
||||
3. **Governance for AI workloads (IaaS)**
|
||||
https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/infrastructure/governance#cost-management
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Custom Dashboards for AI Operations
|
||||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Sist oppdatert:** 2026-02-05
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Brukes av:** Cosmo Skyberg, Microsoft AI Solution Architect
|
||||
|
||||
---
|
||||
|
|
@ -88,7 +88,7 @@ Workbooks kan deployes via ARM templates for consistency across teams:
|
|||
"name": "ai-operations-workbook",
|
||||
"type": "microsoft.insights/workbooks",
|
||||
"location": "[resourceGroup().location]",
|
||||
"apiVersion": "2022-04-01",
|
||||
"apiVersion": "2022-04-01", // For workbook instances; use 2020-11-20 for workbook templates
|
||||
"properties": {
|
||||
"displayName": "AI Operations Dashboard",
|
||||
"serializedData": "{\"version\":\"Notebook/1.0\",\"items\":[...]}",
|
||||
|
|
@ -98,11 +98,12 @@ Workbooks kan deployes via ARM templates for consistency across teams:
|
|||
}
|
||||
```
|
||||
|
||||
**Best practices:**
|
||||
**Best practices:** *(Verified MCP 2026-04)*
|
||||
- Bruk parametere for time ranges og resource filters
|
||||
- Inkluder markdown-tekst for kontekst og aksjonspunkter
|
||||
- Legg til links til troubleshooting-docs
|
||||
- Del workbooks via Azure RBAC (Workbook Contributor role)
|
||||
- Del workbooks via Azure RBAC (Monitoring Contributor for redigering, Monitoring Reader for visning)
|
||||
- Vurder Bicep-templates som alternativ til ARM JSON for ny infrastruktur (støttes nå offisielt)
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -110,9 +111,9 @@ Workbooks kan deployes via ARM templates for consistency across teams:
|
|||
|
||||
Azure Managed Grafana er ideell for sanntids-operasjonssentre. Grafana excels i streaming visualizations, multi-source aggregation, og alert-integrasjon.
|
||||
|
||||
### Azure AI Foundry Grafana Dashboard
|
||||
### Microsoft Foundry Grafana Dashboard *(Verified MCP 2026-04)*
|
||||
|
||||
Microsoft tilbyr en ferdig Grafana dashboard (ID: 24039) for Azure AI Foundry ressurser.
|
||||
Microsoft tilbyr en ferdig Grafana dashboard (ID: **24039**) for Azure AI Foundry/Foundry ressurser. Dashboard-tittelen er nå "Microsoft Foundry dashboard" i offisiell dokumentasjon.
|
||||
|
||||
**Key metrics:**
|
||||
- **Model performance:** Inference latency (time to last byte), throughput, success rates
|
||||
|
|
@ -128,6 +129,8 @@ Microsoft tilbyr en ferdig Grafana dashboard (ID: 24039) for Azure AI Foundry re
|
|||
4. Velg Azure Monitor data source
|
||||
5. Assign Monitoring Reader role til Grafana managed identity
|
||||
|
||||
**Alternativ (direktelenke fra Azure Portal):** Monitor → Dashboards with Grafana (preview) → AI Foundry *(Verified MCP 2026-04)*
|
||||
|
||||
**Metric namespace:** `Microsoft.CognitiveServices/accounts`
|
||||
|
||||
**Key metrics:**
|
||||
|
|
@ -269,9 +272,10 @@ AITelemetry
|
|||
|
||||
### Access Control
|
||||
|
||||
**Azure Workbooks:**
|
||||
- **Workbook Contributor role:** Kan redigere og lagre delte workbooks
|
||||
**Azure Workbooks:** *(Verified MCP 2026-04)*
|
||||
- **Monitoring Contributor role:** Inkluderer `workbooks/write` — kan redigere og lagre delte workbooks
|
||||
- **Monitoring Reader role:** Kan se workbooks, men ikke endre
|
||||
- **Custom roles:** Krev `microsoft.insights/workbooks/write` for redigering
|
||||
- **Resource-based permissions:** Brukere ser kun data fra ressurser de har tilgang til
|
||||
|
||||
**Grafana:**
|
||||
|
|
@ -484,7 +488,7 @@ Når kunden spør om dashboards for AI operations:
|
|||
- [Power BI + Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/log-powerbi)
|
||||
|
||||
### Code Samples
|
||||
- [Workbook ARM template sample](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-samples)
|
||||
- [Workbook ARM/Bicep template samples](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-samples) — inkluderer nå Bicep-syntaks; workbooktemplates apiVersion er `2020-11-20` *(Verified MCP 2026-04)*
|
||||
- [Azure AI Foundry Grafana dashboard ID: 24039](https://grafana.com/grafana/dashboards/24039)
|
||||
- [KQL query examples for AI monitoring](https://learn.microsoft.com/en-us/azure/data-explorer/kusto/query/samples)
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Data Residency and Geographic Audit Monitoring
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -56,12 +56,15 @@ Resources
|
|||
**Azure:**
|
||||
- Regional services: Deploy i EU/EFTA regions (Norway East, West Europe, etc.)
|
||||
- Non-regional services: Konfigurer via Azure Resource Manager til EU Data Boundary
|
||||
- **OBS (2026-04):** Azure Resource Manager EU Data Boundary kan kun konfigureres for **nye tenants uten eksisterende subscriptions/ressurser**. Eksisterende ressurser kan ikke flyttes inn eller ut av tenant med EU Data Boundary. *(Verified MCP 2026-04)*
|
||||
- **Application Change Analysis:** Lagres og prosesseres globalt — ikke tilgjengelig i EU Data Boundary. Bruk Azure Policy + Resource Graph som alternativ.
|
||||
- Validation: Azure Policy kan enforces geographic constraints
|
||||
|
||||
**Dynamics 365 & Power Platform:**
|
||||
- Geographic area (Geo) basert på billing address
|
||||
- Provision tenant og environments i EU Data Boundary Geo
|
||||
- Data residency følger environment-plassering
|
||||
- **Copilot/generative AI (2026-04):** For EU-miljøer i EU Data Boundary brukes Azure OpenAI-endepunkt innenfor samme boundary. "Allow flex routing during periods of peak load"-checkbox tilgjengelig for EU-miljøer. Bing Search-data prosesseres i USA selv ved EU-residency. *(Verified MCP 2026-04)*
|
||||
|
||||
**Microsoft 365:**
|
||||
- Automatisk EU Data Boundary for tenants med sign-up i EU/EFTA
|
||||
|
|
@ -482,11 +485,12 @@ For norsk offentlig sektor med AI workloads: **Start single-region (Norway East)
|
|||
|
||||
1. [What is the EU Data Boundary?](https://learn.microsoft.com/en-us/privacy/eudb/eu-data-boundary-learn)
|
||||
- **Confidence:** Verified
|
||||
- **Relevans:** Definisjon av EU Data Boundary, configuration guidance, datacenter locations
|
||||
- **Sist oppdatert av Microsoft:** 26. februar 2025
|
||||
- **Relevans:** Definisjon av EU Data Boundary, configuration guidance, datacenter locations. Inkluderer nå Microsoft Fabric, Power BI Embedded, Translator (europeisk endepunkt). Azure Resource Manager EUDB kun for nye tenants. *(Verified MCP 2026-04)*
|
||||
|
||||
2. [Configuring Azure non-regional services for the EU Data Boundary](https://learn.microsoft.com/en-us/privacy/eudb/eu-data-boundary-configure-azure-nonregional-services)
|
||||
- **Confidence:** Verified
|
||||
- **Relevans:** Bot Service, Communication Services, Azure Stack Edge/Hub configuration
|
||||
- **Relevans:** Bot Service, Communication Services, Azure Stack Edge/Hub, Azure Local (tidl. Azure Stack HCI), Azure Migrate, Azure VM Image Builder, Cloud Shell, Microsoft Fabric, Power BI Embedded, Translator (EU-endepunkt), Microsoft Entra ID. Application Change Analysis lagres fortsatt globalt. *(Verified MCP 2026-04)*
|
||||
|
||||
3. [Audit logging and monitoring overview](https://learn.microsoft.com/en-us/compliance/assurance/assurance-audit-logging)
|
||||
- **Confidence:** Verified
|
||||
|
|
@ -508,9 +512,9 @@ For norsk offentlig sektor med AI workloads: **Start single-region (Norway East)
|
|||
- **Confidence:** Verified
|
||||
- **Relevans:** EUDB compliance for voice, video, chat, SMS, email capabilities
|
||||
|
||||
8. [Move data across regions for Copilots and generative AI features](https://learn.microsoft.com/en-us/power-platform/admin/geographical-availability-copilot)
|
||||
8. [Move data across regions for Copilots, AI agents, and generative AI features](https://learn.microsoft.com/en-us/power-platform/admin/geographical-availability-copilot)
|
||||
- **Confidence:** Verified
|
||||
- **Relevans:** Azure OpenAI endpoint regions, consent requirements, data movement
|
||||
- **Relevans:** Azure OpenAI endpoint regions for EU (EU Data Boundary), Bing Search alltid USA, ny "Allow flex routing during periods of peak load" for EU, Microsoft 365 services checkbox nå separat. Tittel oppdatert til å inkludere "AI agents". *(Verified MCP 2026-04)*
|
||||
|
||||
### Azure Resource Graph Samples
|
||||
|
||||
|
|
@ -548,5 +552,5 @@ For norsk offentlig sektor med AI workloads: **Start single-region (Norway East)
|
|||
- **Verified sections (85%):** Microsoft EU Data Boundary, Purview Audit, Azure Monitor, Copilot Studio, Communication Services, compliance certifications
|
||||
- **Baseline sections (15%):** AI Act specifics (enforcement starts 2026-08), Schrems II case law interpretation, Norwegian public sector specific guidance
|
||||
|
||||
**Sist oppdatert:** 2026-02-05
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Neste review:** 2026-08 (etter AI Act enforcement start)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Endpoint Health Monitoring and Capacity Planning
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -294,6 +294,30 @@ az monitor scheduled-query create \
|
|||
--action "/subscriptions/{sub}/resourceGroups/{rg}/providers/microsoft.insights/actionGroups/{actionGroup}"
|
||||
```
|
||||
|
||||
**Oppdatert metric alert CLI-syntaks (2026):** Microsoft anbefaler nå sub-kommandoer for betingelser og dimensjoner: *(Verified MCP 2026-04)*
|
||||
|
||||
```bash
|
||||
# Opprett betingelse som variabel
|
||||
condition=$(az monitor metrics alert condition create \
|
||||
--aggregation Average \
|
||||
--metric "AzureOpenAIAvailabilityRate" \
|
||||
--op LessThan \
|
||||
--type static \
|
||||
--threshold 99 \
|
||||
--output tsv)
|
||||
|
||||
# Opprett metric alert med betingelse-variabel
|
||||
az monitor metrics alert create \
|
||||
--name "OpenAI-LowAvailability-v2" \
|
||||
--resource-group "rg-ai-prod" \
|
||||
--scopes "/subscriptions/{sub}/resourceGroups/{rg}/providers/Microsoft.CognitiveServices/accounts/{account}" \
|
||||
--condition $condition \
|
||||
--description "Alert hvis availability < 99% over 5 min" \
|
||||
--window-size 5m \
|
||||
--evaluation-frequency 1m \
|
||||
--action "/subscriptions/{sub}/resourceGroups/{rg}/providers/microsoft.insights/actionGroups/{actionGroup}"
|
||||
```
|
||||
|
||||
### Application Insights Integration
|
||||
|
||||
For applikasjoner som bruker Azure OpenAI, integrer Application Insights for end-to-end observability:
|
||||
|
|
@ -576,7 +600,7 @@ az role assignment create \
|
|||
|
||||
8. **Monitor model quality and endpoint health (Databricks):**
|
||||
https://learn.microsoft.com/en-us/azure/databricks/machine-learning/model-serving/monitor-diagnose-endpoints
|
||||
*Confidence: Verified* — Paralleller til Azure OpenAI monitoring (service logs, build logs, infrastructure metrics)
|
||||
*Confidence: Verified* — Verktøy: ephemeral service logs, OpenTelemetry for custom endpoints (Unity Catalog Delta tables, langtidsretensjon), build logs (30-dagers retensjon), endpoint health metrics (siste 14 dager), og AI Gateway-enabled inference tables (automatisk logging av requests/responses til Delta tables). *(Verified MCP 2026-04)*
|
||||
|
||||
### Code Samples (Verified via MCP)
|
||||
|
||||
|
|
@ -605,4 +629,4 @@ az role assignment create \
|
|||
|
||||
**Samlet konfidens:** 85% Verified (core features), 15% Baseline (best practices, offentlig sektor-spesifikt)
|
||||
|
||||
**Sist verifisert:** 2026-02 (MCP-searches mot Microsoft Learn)
|
||||
**Sist verifisert:** 2026-04 (MCP-searches mot Microsoft Learn)
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Log Analytics KQL Queries for AI
|
||||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Dato:** 2026-02-05
|
||||
**Dato:** 2026-04
|
||||
**Forfatter:** Cosmo Skyberg, AI Solution Architect
|
||||
|
||||
## Oversikt
|
||||
|
|
@ -32,6 +32,7 @@ TableName
|
|||
- `ABSBotRequests` — Azure Bot Service
|
||||
- `AmlComputeJobEvent` — Azure Machine Learning job events
|
||||
- `AmlComputeClusterEvent` — Azure ML cluster events
|
||||
- `AmlOnlineEndpointTrafficLog` — Azure ML online endpoint traffic *(Verified MCP 2026-04)*
|
||||
|
||||
### Azure OpenAI: Grunnleggende Diagnostics Query
|
||||
|
||||
|
|
@ -145,6 +146,44 @@ AmlComputeClusterEvent
|
|||
|
||||
**Forklaring:** Identifiser peak node-bruk for å optimalisere cluster sizing og kostnader.
|
||||
|
||||
### Azure Machine Learning: Failed Online Endpoint Requests
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
```kusto
|
||||
// Failed online endpoint requests siste dag
|
||||
AmlOnlineEndpointTrafficLog
|
||||
| where TimeGenerated > ago(1d) and ResponseCode != 200
|
||||
| project TimeGenerated, EndpointName, DeploymentName, ResponseCode, ResponseCodeReason
|
||||
| order by TimeGenerated desc
|
||||
```
|
||||
|
||||
**Bruk:** Overvåk inference-endepunkter i produksjon. `ResponseCodeReason` gir detaljert feilinfo for debugging.
|
||||
|
||||
### Azure Machine Learning: Anbefalte Alert Rules
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
Microsoft dokumenterer tre standard alert rules for Azure ML:
|
||||
|
||||
| Alert type | Betingelse | Beskrivelse |
|
||||
|-----------|-----------|-------------|
|
||||
| Model Deploy Failed | Total > 0 | Én eller flere modelldeploy-jobber har feilet |
|
||||
| Quota Utilization Percentage | Average > 90% | Kvoteutnyttelse over 90% |
|
||||
| Unusable Nodes | Total > 0 | Én eller flere noder er i unusable-tilstand |
|
||||
|
||||
**KQL for quota-overvåkning:**
|
||||
|
||||
```kusto
|
||||
// Overvåk cluster quota-utnyttelse
|
||||
AmlComputeClusterEvent
|
||||
| where TimeGenerated > ago(1h)
|
||||
| summarize AvgQuotaUtilization = avg(todouble(QuotaUtilized) / todouble(QuotaAllocated) * 100)
|
||||
by ClusterName
|
||||
| where AvgQuotaUtilization > 90
|
||||
| project ClusterName, AvgQuotaUtilization
|
||||
```
|
||||
|
||||
## Error Investigation Patterns
|
||||
|
||||
### Pattern 1: Error Spike Detection
|
||||
|
|
@ -436,6 +475,77 @@ AzureDiagnostics
|
|||
|
||||
**Best practice:** Bruk `take 10` eller `take 100` mens du utvikler queries. Fjern før produksjon.
|
||||
|
||||
### 9. Bruk Query Details-panelet for ytelsesdiagnose
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
Log Analytics har et **Query Details**-panel (klikk "Query details" nede til høyre etter kjøring) med tre faner:
|
||||
|
||||
- **Overview** — KPI-er: CPU, tidsomfang, alder på data, antall workspaces, antall regioner, parallellisme, **Memory peak** (nytt)
|
||||
- **Raw statistics** — Detaljert eksekusjonsstatistikk
|
||||
- **Errors** — Feil under kjøring
|
||||
|
||||
**Execution time** er nå delt i tre komponenter:
|
||||
|
||||
| Komponent | Betydning |
|
||||
|-----------|-----------|
|
||||
| Engine Execution Time | Tid i underliggende data-engine (Azure Data Explorer). Høy verdi → optimaliser selve queryen |
|
||||
| Service Execution Time | Intern Azure Monitor-prosessering og orkestrering |
|
||||
| Service Queue Time | Ventetid i kø pga. concurrency-grenser. Høy verdi → reduser samtidige queries |
|
||||
|
||||
**Memory peak** er maksimal RAM observert under kjøring. Høy memory peak kan trigge `E_RUNAWAY_QUERY`- eller `E_LOW_MEMORY_CONDITION`-feil. Reduseres med tidlig filtrering og `shuffle`-hint på `join`/`summarize`.
|
||||
|
||||
### 10. Bryt opp store `parse`-kommandoer
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
**Regel:** Maks 5 kolonne-ekstraksjoner per `parse`-setning. Over 5 øker prosesseringstiden markant.
|
||||
|
||||
**❌ Tregere (mange ekstraksjoner i én setning):**
|
||||
|
||||
```kusto
|
||||
LogData
|
||||
| parse Message with
|
||||
* "field1=" Field1: string " field2=" Field2: string
|
||||
" field3=" Field3: string " field4=" Field4: string
|
||||
" field5=" Field5: string " field6=" Field6: string
|
||||
" field7=" Field7: string " field8=" Field8: string *
|
||||
```
|
||||
|
||||
**✅ Raskere (del opp i flere setninger):**
|
||||
|
||||
```kusto
|
||||
LogData
|
||||
| parse Message with
|
||||
* "field1=" Field1: string " field2=" Field2: string
|
||||
" field3=" Field3: string " field4=" Field4: string
|
||||
" field5=" Field5: string *
|
||||
| parse Message with
|
||||
* " field6=" Field6: string " field7=" Field7: string
|
||||
" field8=" Field8: string *
|
||||
```
|
||||
|
||||
**Merk:** I transformasjoner er grensen 10 ekstraksjoner per `parse`-setning.
|
||||
|
||||
### 11. Bruk `materialize()` for subqueries som gjenbrukes
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
Når samme datakilde brukes i flere subqueries, kan `materialize()` cache mellomresultater og forhindre multiple gjennomganger av kilde-data:
|
||||
|
||||
```kusto
|
||||
let CachedData = materialize(
|
||||
AzureDiagnostics
|
||||
| where TimeGenerated > ago(1h)
|
||||
| where ResourceProvider == "MICROSOFT.OPENAI"
|
||||
);
|
||||
CachedData | summarize ErrorCount = countif(ResultSignature != "200") by OperationName
|
||||
| join kind=inner (CachedData | summarize TotalCount = count() by OperationName) on OperationName
|
||||
| extend ErrorRate = todouble(ErrorCount) / TotalCount
|
||||
```
|
||||
|
||||
**Effektivt når:** Output fra subquery er mye mindre enn input, og subquery kjøres flere ganger i samme query.
|
||||
|
||||
## Advanced Patterns
|
||||
|
||||
### Multi-region Aggregation
|
||||
|
|
@ -626,12 +736,16 @@ AzureDiagnostics
|
|||
- **Test med `take`:** Begrens output under query-utvikling.
|
||||
- **Korreler på tvers av tjenester:** `join` for å finne cross-service dependencies.
|
||||
- **Visualiser med `render`:** `timechart`, `columnchart`, `anomalychart` for innsikt.
|
||||
- **Bruk Query Details-panel:** Engine/Service/Queue execution time + Memory peak for diagnose. *(Verified MCP 2026-04)*
|
||||
- **Maks 5 per `parse`:** Del opp store parse-setninger for å redusere prosesseringstid. *(Verified MCP 2026-04)*
|
||||
- **`materialize()` for gjentatte subqueries:** Cache mellomresultater, unngå multiple datascans. *(Verified MCP 2026-04)*
|
||||
- **`AmlOnlineEndpointTrafficLog`:** Ny tabell for inference-endepunktovervåkning i Azure ML. *(Verified MCP 2026-04)*
|
||||
|
||||
## Referanser
|
||||
|
||||
- Microsoft Learn: [Monitor Azure OpenAI](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/monitor-openai)
|
||||
- Microsoft Learn: [Get started with log queries in Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/get-started-queries)
|
||||
- Microsoft Learn: [Optimize log queries in Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/query-optimization)
|
||||
- Microsoft Learn: [Optimize log queries in Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/query-optimization) *(Verified MCP 2026-04)*
|
||||
- Microsoft Learn: [Configure diagnostic logging for Azure AI Search](https://learn.microsoft.com/en-us/azure/search/search-monitor-enable-logging)
|
||||
- Microsoft Learn: [Monitor Azure Machine Learning](https://learn.microsoft.com/en-us/azure/machine-learning/monitor-azure-machine-learning)
|
||||
- Microsoft Learn: [Monitor Azure Machine Learning](https://learn.microsoft.com/en-us/azure/machine-learning/monitor-azure-machine-learning) *(Verified MCP 2026-04)*
|
||||
- Microsoft Learn: [KQL quick reference](https://learn.microsoft.com/en-us/kusto/query/kql-quick-reference)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Model Performance Monitoring and Drift Detection
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -368,6 +368,8 @@ Model monitoring er inkludert i Azure Machine Learning workspace, men du betaler
|
|||
- FinOps tracking: cost per model, cost per inference, budget alerts
|
||||
- Compliance automation: GDPR audit logs, AI Act documentation
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Verified (Microsoft Learn MCP)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Real-Time Streaming and Live Monitoring Dashboards
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -29,28 +29,21 @@ Begge løsningene har ulike arkitekturer: Live Metrics bruker en dedikert push-b
|
|||
| **Exception Stack Traces** | Full stack traces for exceptions når de skjer | Real-time |
|
||||
| **Control Channel** | Secure channel for filter-signaler (krever Entra ID auth) | N/A |
|
||||
|
||||
**Støttede plattformer:**
|
||||
**Støttede plattformer (oppdatert 2026-04):** *(Verified MCP 2026-04)*
|
||||
|
||||
| Plattform | Basic metrics | Performance metrics | Custom filtering | Sample telemetry |
|
||||
|-----------|---------------|--------------------|-----------------|-----------------|
|
||||
| .NET (ASP.NET Core) | Støttet | Støttet | Støttet | Støttet |
|
||||
| ASP.NET (classic) | **Ikke støttet** med OpenTelemetry | — | — | — |
|
||||
| Java | Støttet | Støttet | **Ikke støttet** | Støttet (V3.2.0+) |
|
||||
| Node.js | Støttet (V1.3.0+) | Støttet | Støttet | Støttet |
|
||||
| Python | Støttet (Distro 1.6.0+) | Støttet (Distro 1.8.2+) | Støttet (Distro 1.0.0+) | Støttet (Distro 1.5.0+) |
|
||||
|
||||
```csharp
|
||||
// ASP.NET Core - OpenTelemetry (anbefalt, enabled by default)
|
||||
builder.Services.AddOpenTelemetry().UseAzureMonitor(options => {
|
||||
options.EnableLiveMetrics = true; // Default: true
|
||||
});
|
||||
|
||||
// ASP.NET Core - Classic API (manual config)
|
||||
using Microsoft.ApplicationInsights.Extensibility.PerfCounterCollector.QuickPulse;
|
||||
|
||||
var quickPulseProcessor = null;
|
||||
config.DefaultTelemetrySink.TelemetryProcessorChainBuilder
|
||||
.Use((next) => {
|
||||
quickPulseProcessor = new QuickPulseTelemetryProcessor(next);
|
||||
return quickPulseProcessor;
|
||||
})
|
||||
.Build();
|
||||
|
||||
var quickPulseModule = new QuickPulseTelemetryModule();
|
||||
quickPulseModule.Initialize(config);
|
||||
quickPulseModule.RegisterTelemetryProcessor(quickPulseProcessor);
|
||||
```
|
||||
|
||||
**Nøkkelegenskaper:**
|
||||
|
|
@ -68,7 +61,10 @@ quickPulseModule.RegisterTelemetryProcessor(quickPulseProcessor);
|
|||
| **Eventhouse** | Time-series optimalisert database for streaming data | Subsecond ingestion |
|
||||
| **Eventstream** | No-code streaming pipelines med transformasjoner | Near real-time |
|
||||
| **Data Activator** | Event detection med subsecond latency, trigger actions | < 1 sekund |
|
||||
| **Copilot for Dashboards** | AI-generert dashboard fra natural language prompts | N/A |
|
||||
| **Copilot for Dashboards** | AI-generert dashboard fra natural language prompts; Copilot tilgjengelig direkte i tile editor for KQL-generering *(Verified MCP 2026-04)* | N/A |
|
||||
| **Git integration** | Synkroniser dashboards med GitHub eller Azure DevOps for versjonskontroll *(Verified MCP 2026-04)* | N/A |
|
||||
| **Permission separation** | Del dashboards sikkert uten å eksponere underliggende data *(Verified MCP 2026-04)* | N/A |
|
||||
| **Explorer Data** | Analyser underliggende data uten å skrive KQL-queries *(Verified MCP 2026-04)* | N/A |
|
||||
|
||||
**Støttede datakilder:**
|
||||
|
||||
|
|
@ -128,7 +124,7 @@ Developer → Deploy til Azure → App starter → Live Metrics åpnes i portal
|
|||
**Ulemper:**
|
||||
- Krever manuell observasjon (ingen alerting)
|
||||
- Data persisteres ikke (kun for live debugging)
|
||||
- Control channel må sikres med Entra ID for production (API keys deprecated Sept 2025)
|
||||
- Control channel må sikres med Entra ID for production (API keys retired **30. september 2025** *(Verified MCP 2026-04)*)
|
||||
|
||||
**Når bruke:**
|
||||
- Debugging av nye deployments
|
||||
|
|
@ -234,7 +230,7 @@ Data i Live Metrics discarderes når du lukker panen. Bruk Logs eller Metrics Ex
|
|||
Høyere refresh rate = høyere compute cost. Bruk 30-60s for most production dashboards, 10s kun for critical metrics.
|
||||
|
||||
❌ **Bruke usecured control channel i production**
|
||||
API keys for Live Metrics retired Sept 2025. Migrer til Entra ID authentication.
|
||||
API keys for Live Metrics retired **30. september 2025**. Migrer til Entra ID authentication. *(Verified MCP 2026-04)*
|
||||
|
||||
### Røde flagg
|
||||
|
||||
|
|
@ -462,8 +458,8 @@ Live Metrics er designet for debugging, ikke production monitoring. Mangler aler
|
|||
⚠️ **Underestimere Fabric capacity krav**
|
||||
Real-Time Dashboard krever minimum F2 SKU. Start med F2, skaler opp hvis CU throttling.
|
||||
|
||||
⚠️ **Ignorere API key deprecation (Sept 2025)**
|
||||
Migrer til Entra ID authentication for Live Metrics control channel NÅ, ikke vent til deadline.
|
||||
⚠️ **Ignorere API key deprecation (30. sept 2025)**
|
||||
API keys er nå **retired**. Applikasjoner som bruker API keys kan ikke lenger sende live metrics data. Migrer til Entra ID authentication umiddelbart. *(Verified MCP 2026-04)*
|
||||
|
||||
⚠️ **Sette for aggressive refresh rates**
|
||||
10s refresh på alle dashboards gir høy CU cost. Bruk 30-60s for de fleste metrics.
|
||||
|
|
@ -532,9 +528,9 @@ Real-Time Dashboard er IKKE erstatning for data warehouse. Bruk for operational
|
|||
https://learn.microsoft.com/en-us/azure/ai-foundry/concepts/observability
|
||||
**Confidence:** Verified (Feb 2026) - AI Foundry monitoring integration
|
||||
|
||||
8. **Implement advanced monitoring for Azure OpenAI through a gateway**
|
||||
8. **Implement advanced monitoring for Azure OpenAI in Foundry Models through a gateway**
|
||||
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring#near-real-time-monitoring
|
||||
**Confidence:** Verified (Feb 2026) - Near real-time vs batch monitoring trade-offs
|
||||
**Confidence:** Verified *(Verified MCP 2026-04)* - Tittel oppdatert til å inkludere "in Foundry Models". Near real-time pattern: publiser logs til message bus + Azure Stream Analytics for windowed operations. Gateway fordeler: full klient-IP, Entra ID identitet, chargeback-løsning, input/output-logging.
|
||||
|
||||
### Confidence per seksjon
|
||||
|
||||
|
|
@ -549,4 +545,4 @@ Real-Time Dashboard er IKKE erstatning for data warehouse. Bruk for operational
|
|||
|
||||
**MCP calls:** 6 (3 × search, 2 × fetch, 1 × code search)
|
||||
**Unique sources:** 8 Microsoft Learn URLs
|
||||
**Last verified:** 2026-02-05
|
||||
**Last verified:** 2026-04
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Security and Audit Logging for AI Systems
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -23,7 +23,7 @@ For norsk offentlig sektor er audit logging et lovpålagt krav under Forvaltning
|
|||
| **Azure Monitor Resource Logs** | Detaljert logging av data plane-operasjoner | API calls, modell-inferens, plugin-interaksjoner, token-forbruk |
|
||||
| **Azure Activity Log** | Control plane-hendelser på abonnementsnivå | Ressursopprettelse, rolleutdelinger, brannmurregler, sletting |
|
||||
| **Diagnostic Settings** | Rute-konfigurasjon for loggeksport | Log Analytics, Storage Account, Event Hub, SIEM-partnere |
|
||||
| **Microsoft Defender for AI Services** | Trusseldeteksjon spesifikk for AI | Jailbreak-forsøk, prompt injection, unormale modell-outputs |
|
||||
| **Microsoft Defender for AI Services** | Trusseldeteksjon spesifikk for AI | Jailbreak-forsøk, prompt injection, unormale modell-outputs. Støtter Azure OpenAI (via Foundry Tools). Konfigureres separat for Foundry-ressurser. *(Verified MCP 2026-04)* |
|
||||
| **Microsoft Purview** | Dataklassifisering og tilgangssporing | PII-aksess, sensitiv datalogging, dataeiers-revisjon |
|
||||
| **Azure Policy** | Compliance enforcement | Automatisk pålegging av diagnostiske innstillinger, policy-etterlevelse |
|
||||
|
||||
|
|
@ -386,12 +386,12 @@ Ingen ekstra lisenser kreves for audit logging — funksjonen er inkludert i Azu
|
|||
|-------|-----|---------------|
|
||||
| **Enable diagnostic logging for Azure AI services** | https://learn.microsoft.com/en-us/azure/ai-services/diagnostic-logging | ✅ Verified |
|
||||
| **Monitor Azure OpenAI** | https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/monitor-openai | ✅ Verified |
|
||||
| **Azure security baseline for Azure OpenAI** | https://learn.microsoft.com/en-us/security/benchmark/azure/baselines/azure-openai-security-baseline | ✅ Verified |
|
||||
| **Azure security baseline for Azure AI Foundry** | https://learn.microsoft.com/en-us/security/benchmark/azure/baselines/azure-ai-foundry-security-baseline | ✅ Verified |
|
||||
| **Azure security baseline for Azure OpenAI** | https://learn.microsoft.com/en-us/security/benchmark/azure/baselines/azure-openai-security-baseline | ✅ Verified — **OBS:** Basert på MCSB v1.0 (kan inneholde utdatert veiledning). Produktet refereres nå som "Foundry Tools" i baseline-dokumentet. Siste veiledning: [Azure OpenAI docs](https://learn.microsoft.com/en-us/azure/ai-foundry/). *(Verified MCP 2026-04)* |
|
||||
| **Azure security baseline for Microsoft Foundry** | https://learn.microsoft.com/en-us/security/benchmark/azure/baselines/azure-ai-foundry-security-baseline | ✅ Verified — **OBS:** Tjenesten er omdøpt til "Microsoft Foundry" i baseline-dokumentet. Basert på MCSB v1.0. Viktige avvik: Customer Lockbox **ikke støttet** for Foundry, lokal autentisering til data plane **ikke støttet** (positivt for sikkerhet), DLP/sensitive data discovery **ikke støttet** nativt. *(Verified MCP 2026-04)* |
|
||||
| **Microsoft cloud security benchmark: Logging and threat detection** | https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-logging-threat-detection | ✅ Verified |
|
||||
| **Artificial Intelligence Security (AI-6: Establish monitoring and detection)** | https://learn.microsoft.com/en-us/security/benchmark/azure/mcsb-v2-artificial-intelligence-security | ✅ Verified |
|
||||
| **Azure Policy Regulatory Compliance controls** | https://learn.microsoft.com/en-us/azure/governance/policy/samples/azure-security-benchmark | ✅ Verified |
|
||||
| **Best practices for data and AI governance (Databricks)** | https://learn.microsoft.com/en-us/azure/databricks/lakehouse-architecture/data-governance/best-practices | ✅ Verified |
|
||||
| **Best practices for data and AI governance (Databricks)** | https://learn.microsoft.com/en-us/azure/databricks/lakehouse-architecture/data-governance/best-practices | ✅ Verified — Unity Catalog er nå sentral governance for BÅDE data og AI assets (modeller, features, lineage). Tre governance-modeller: sentralisert, distribuert (federated), hybrid. AI-genererte kommentarer støttes (krever human review). *(Verified MCP 2026-04)* |
|
||||
|
||||
### Konfidensgradering per seksjon
|
||||
|
||||
|
|
@ -405,4 +405,4 @@ Ingen ekstra lisenser kreves for audit logging — funksjonen er inkludert i Azu
|
|||
| **Offentlig sektor** | ⚠️ Baseline | Rettsgrunnlag er korrekt, implementasjonsdetaljer er tolkninger |
|
||||
| **Kostnad** | ⚠️ Baseline | Priser fra Azure Pricing Calculator (februar 2026), kan variere |
|
||||
|
||||
### Sist verifisert: 2026-02-05
|
||||
### Sist verifisert: 2026-04
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# SLA Monitoring and Availability Tracking for AI Services
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -32,7 +32,8 @@ SLA-monitorering skiller seg fra generell ytelsesmonitorering ved at den er styr
|
|||
|-----------|----------|--------------|
|
||||
| **Platform Metrics** | Automatisk innsamling av `AvailabilityRate`, `ModelAvailabilityRate` | Sanntids tilgjengelighetsprosent |
|
||||
| **Diagnostic Settings** | Rute metrics til Log Analytics for langtidslagring | Revisjonsbevis og historisk analyse |
|
||||
| **Metric Alerts** | Automatisk varsling ved SLA-brudd (f.eks. availability < 99.9%) | Proaktiv incident management |
|
||||
| **Metric Alerts** | Automatisk varsling ved SLA-brudd (f.eks. availability < 99.9%). Støtter dynamic thresholds og multi-resource. | Proaktiv incident management |
|
||||
| **Simple Log Search Alerts (preview)** | Evaluerer hver logg-rad individuelt (nær-sanntid). Raskere enn tradisjonelle log alerts. | Per-request SLA-brudd oppdaget nesten umiddelbart *(Verified MCP 2026-04)* |
|
||||
| **Workbooks/Dashboards** | Visuell fremstilling av SLA-status over tid | Executive reporting og trend-analyse |
|
||||
| **Azure Service Health** | Plattformvarsler om kjente utfall | Ekstern faktor-tracking (force majeure) |
|
||||
|
||||
|
|
@ -159,7 +160,7 @@ az monitor metrics alert create \
|
|||
|------|------------|---------------|
|
||||
| **Bruke `AvailabilityRate` for Azure OpenAI** | Feil metric (gjelder ikke OpenAI) | Bruk `ModelAvailabilityRate` i stedet |
|
||||
| **Ikke aktivere Diagnostic Settings** | Kun 93 dagers metrics-retention | Sett opp Log Analytics-export fra dag 1 |
|
||||
| **Varsle på enkelthendelser i stedet for trender** | False positives (transiente feil) | Bruk `windowSize` >= 5 min og `evaluationFrequency` for å dempe støy |
|
||||
| **Varsle på enkelthendelser i stedet for trender** | False positives (transiente feil) | Bruk `windowSize` >= 5 min og `evaluationFrequency` for å dempe støy. Bruk stateful alerts for infrastruktur-events (én alert per incident) *(Verified MCP 2026-04)* |
|
||||
| **Glemme å ekskludere planlagt vedlikehold** | Feilaktig SLA-beregning | Korreiger downtime for Azure Service Health-hendelser |
|
||||
| **Lagre SLA-data i samme workspace som debugging-logger** | Overfladisk støy i SLA-rapporter | Bruk dedikert Log Analytics workspace for SLA-metrics |
|
||||
|
||||
|
|
@ -337,7 +338,7 @@ Metric Alert
|
|||
|
||||
| Modenhetsnivå | Anbefaling | Verktøy |
|
||||
|---------------|-----------|---------|
|
||||
| **Pilot/POC** | Basic metric alerts (email on SLA breach) | Azure Monitor alerts (native) |
|
||||
| **Pilot/POC** | Basic metric alerts (email on SLA breach). Vurder Simple Log Search Alerts (preview) for per-request visibility *(Verified MCP 2026-04)* | Azure Monitor alerts (native) |
|
||||
| **Produksjon (liten skala)** | Diagnostic settings + Log Analytics + Workbooks | 1 Log Analytics workspace, 3-5 alert rules |
|
||||
| **Produksjon (stor skala)** | Multi-tier monitoring + ITSM integration | Dedicated SLA workspace, Action Groups → ServiceNow/Linear |
|
||||
| **Enterprise** | Hybrid (hot/warm/cold) + automated reporting + capacity planning | Power BI + Azure DevOps integration + predictive analytics |
|
||||
|
|
@ -371,7 +372,7 @@ Metric Alert
|
|||
|
||||
6. **Azure Monitor alerts overview**
|
||||
https://learn.microsoft.com/en-us/azure/azure-monitor/alerts/alerts-overview
|
||||
*Confidence: Verified* — Alert-typer (metric, log, activity log).
|
||||
*Confidence: Verified* — Alert-typer: metric, log search, simple log search (preview, per-row evaluering), activity log, smart detection, Prometheus. Alerts lagres i 30 dager. Stateful log search alerts har detaljerte resolusjonskriterier per evalueringsfrekvens. Query-based metric alerts for Prometheus/OpenTelemetry i public preview. *(Verified MCP 2026-04)*
|
||||
|
||||
7. **Reliability in Azure AI Search (SLA example)**
|
||||
https://learn.microsoft.com/en-us/azure/reliability/reliability-ai-search#service-level-agreement
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Token Usage Tracking and Attribution
|
||||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Dato:** 2026-02-05
|
||||
**Dato:** 2026-04-09
|
||||
**Versjon:** 1.0
|
||||
|
||||
## Introduksjon
|
||||
|
|
@ -569,7 +569,7 @@ Owner: <email>
|
|||
## Kilder (Microsoft Learn)
|
||||
|
||||
1. [Monitor Azure OpenAI](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/monitor-openai) — Official monitoring guide
|
||||
2. [Implement advanced monitoring through a gateway](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring) — Gateway patterns for usage tracking
|
||||
2. [Implement advanced monitoring for Azure OpenAI in Foundry Models through a gateway](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring) *(Verified MCP 2026-04)* — Gateway patterns for usage tracking. Ny brukscase dokumentert: audit av model inputs/outputs for threat detection og data exfiltration detection. Merk: gateway monitoring kan bli single point of failure — vurder redundans.
|
||||
3. [Plan to manage costs for Azure OpenAI](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/manage-costs) — Cost management strategies
|
||||
4. [Token usage estimation for Azure OpenAI On Your Data](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/use-your-data#token-usage-estimation-for-azure-openai-on-your-data) — RAG-specific token calculations
|
||||
5. [Understanding costs associated with PTU](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/provisioned-throughput-onboarding) — PTU billing model
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Tilgjengelighetskrav (WCAG) for AI i Norge
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -188,7 +188,13 @@ Hvis en kommune bruker en AI-chatbot for saksbehandling, må tilgjengelighetserk
|
|||
|
||||
## Microsoft-verktøy for universell utforming av AI
|
||||
|
||||
### 1. Copilot Studio
|
||||
### 1. Copilot Studio *(Verified MCP 2026-04)*
|
||||
|
||||
**Oppdatert Copilot Studio-oversikt:**
|
||||
- Copilot Studio er et grafisk, low-code verktøy for å bygge agenter og agent flows
|
||||
- Agenter kan nå håndtere komplekse samtaler og autonomt bestemme beste handling basert på instruksjoner og kontekst
|
||||
- Agent flows kan utløses manuelt, av automatiserte hendelser eller tidsplan
|
||||
- Plattformen bruker Azure OpenAI GPT-modell for AI-kapabiliteter
|
||||
|
||||
**Innebygde tilgjengelighetsfunksjoner:**
|
||||
- Authoring canvas bygget etter [Microsoft accessibility guidelines](https://www.microsoft.com/accessibility/)
|
||||
|
|
@ -363,7 +369,7 @@ Hvis en kommune bruker en AI-chatbot for saksbehandling, må tilgjengelighetserk
|
|||
|
||||
### Microsoft dokumentasjon
|
||||
- [Microsoft: WCAG Compliance (ISO/IEC 40500)](https://learn.microsoft.com/en-us/compliance/regulatory/offering-wcag-2-1)
|
||||
- [Microsoft: Copilot Studio Accessibility](https://learn.microsoft.com/en-us/microsoft-copilot-studio/fundamentals-what-is-copilot-studio#plan-your-agent)
|
||||
- [Microsoft: Copilot Studio Accessibility](https://learn.microsoft.com/en-us/microsoft-copilot-studio/fundamentals-what-is-copilot-studio#plan-your-agent) *(Verified MCP 2026-04)*
|
||||
- [Microsoft Training: Create Accessible AI Experiences](https://learn.microsoft.com/en-us/training/modules/create-accessible-solutions-using-ai-innovations/)
|
||||
- [Microsoft: Responsible AI in Copilot Studio](https://learn.microsoft.com/en-us/power-platform/architecture/reference-architectures/contextual-ai-model-driven-app#responsible-ai)
|
||||
- [Microsoft Accessibility Guidelines](https://www.microsoft.com/accessibility/)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Anskaffelser av AI-løsninger i offentlig sektor
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -412,7 +412,10 @@ Når du veileder norske offentlige virksomheter i AI-anskaffelser, bruk disse sp
|
|||
### Microsoft-kilder (compliance og procurement)
|
||||
- [UK G-Cloud | Microsoft Learn](https://learn.microsoft.com/en-us/azure/compliance/offerings/offering-uk-g-cloud)
|
||||
- [Azure for secure worldwide public sector cloud adoption](https://learn.microsoft.com/en-us/azure/azure-government/documentation-government-overview-wwps)
|
||||
- [Federal Risk and Authorization Management Program (FedRAMP)](https://learn.microsoft.com/en-us/compliance/regulatory/offering-fedramp)
|
||||
- [Federal Risk and Authorization Management Program (FedRAMP)](https://learn.microsoft.com/en-us/compliance/regulatory/offering-fedramp) *(Verified MCP 2026-04)*
|
||||
|
||||
**Om FedRAMP og relevans for norsk offentlig sektor *(Verified MCP 2026-04)*:**
|
||||
FedRAMP bruker NIST SP 800-53-standarder og etablerer tre autorisasjonsnivåer (low, medium, high) basert på konsekvens ved tap av konfidensialitet, integritet eller tilgjengelighet. Microsoft Azure, Dynamics 365 Government og Office 365 U.S. Government er FedRAMP-autoriserte. Relevansen for norsk offentlig sektor: FedRAMP-autorisasjon er analogt med norsk sikkerhetsgodkjenning (NSM) og ISO 27001-sertifisering som anskaffelseskrav — begge krever uavhengig tredjeparts vurdering. Microsoft Purview Compliance Manager kan brukes til å vurdere etterlevelse mot FedRAMP og tilsvarende norske krav.
|
||||
- [Azure Government compliance](https://learn.microsoft.com/en-us/azure/azure-government/documentation-government-plan-compliance)
|
||||
- [Azure Government CSP application process](https://learn.microsoft.com/en-us/azure/azure-government/documentation-government-csp-application)
|
||||
- [Azure compliance offerings](https://learn.microsoft.com/en-us/azure/compliance/offerings/)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Kommunikasjon med innbyggere om AI-beslutninger
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -113,7 +113,14 @@ Verktøy for å vurdere modellkvalitet før produksjonssetting:
|
|||
|
||||
### Anonymisering og personvern
|
||||
|
||||
**Azure AI Language PII Detection** kan automatisk detektere og fjerne personopplysninger (telefonnummer, e-postadresser, etc.) fra treningsdata og logg-data, noe som støtter GDPR-compliance.
|
||||
**Azure AI Language PII Detection** kan automatisk detektere og fjerne personopplysninger (telefonnummer, e-postadresser, etc.) fra treningsdata og logg-data, noe som støtter GDPR-compliance. *(Verified MCP 2026-04)*
|
||||
|
||||
**Oppdatert PII-funksjonalitet:**
|
||||
- **Native Document PII** (ny kapabilitet): Detekterer og redigerer PII i ustrukturerte dokumenter (PDF, DOCX, TXT) uten behov for forhåndskonvertering til tekst — spesielt relevant for saksbehandlingsdokumenter i norsk offentlig sektor
|
||||
- **Conversation PII**: Spesialisert modell for tale-transskripsjoner og uformelle møtereferater
|
||||
- **Text PII**: Generell tekstanalyse med forhåndsdefinerte kategorier (navn, adresser, personnummer, finansielle kontonumre)
|
||||
- Tilgang via Microsoft Foundry-portalen (ny) eller Azure AI Language Studio
|
||||
- Støtter norsk tekst gjennom flerspråklig NLP-modell
|
||||
|
||||
### Zero Data Retention (Azure OpenAI)
|
||||
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Digdirs arkitekturprinsipp 2: Samhandlingsevne
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -82,10 +82,12 @@ AI-modeller må forstå og produsere data som er semantisk konsistent med andre
|
|||
|
||||
## Microsoft-teknologier for samhandling
|
||||
|
||||
### Azure Integration Services
|
||||
### Azure Integration Services *(Verified MCP 2026-04)*
|
||||
|
||||
Microsoft tilbyr en omfattende integrasjonsplattform som støtter alle fire lag av samhandling:
|
||||
|
||||
Kjerneteknologier (oppdatert): Azure API Management, Azure Logic Apps, Azure Service Bus, Azure Event Grid, Azure Functions, Azure Data Factory. Disse dekker orchestration, messaging, events og API-er som de fire grunnleggende integrasjonsmønstrene.
|
||||
|
||||
1. **Azure API Management**
|
||||
- Publiser AI-modeller som managed API-er med developer portal
|
||||
- Implementer rate limiting, caching, authentication og transformation
|
||||
|
|
@ -237,8 +239,8 @@ Denne kunnskapsreferansen er basert på følgende autoritative kilder:
|
|||
|
||||
**Microsoft Learn:**
|
||||
- [Basic enterprise integration on Azure](https://learn.microsoft.com/en-us/azure/architecture/reference-architectures/enterprise-integration/basic-enterprise-integration)
|
||||
- [Integration architecture design](https://learn.microsoft.com/en-us/azure/architecture/integration/integration-start-here)
|
||||
- [Integration architecture design](https://learn.microsoft.com/en-us/azure/architecture/integration/integration-start-here) *(Verified MCP 2026-04)*
|
||||
- [Modernize applications using an API wrapper](https://learn.microsoft.com/en-us/azure/app-modernization-guidance/expand/modernize-applications-using-an-api-wrapper)
|
||||
- [What is Azure API Management?](https://learn.microsoft.com/en-us/azure/api-management/api-management-key-concepts)
|
||||
|
||||
**Sist verifisert:** 2026-02-05
|
||||
**Sist verifisert:** 2026-04-09
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Digdirs arkitekturprinsipp 4: Tillit og sikkerhet
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -177,7 +177,14 @@ For AI-løsninger betyr dette:
|
|||
- Implementer **network segmentation** for å hindre lateral movement
|
||||
- Bruk **immutable backups** av modeller og data for gjenoppretting
|
||||
|
||||
### Microsoft Zero Trust-modellen
|
||||
### Microsoft Zero Trust-modellen *(Verified MCP 2026-04)*
|
||||
|
||||
**Oppdaterte Zero Trust-ressurser fra Microsoft:**
|
||||
- Ny adopsjonsramme: Zero Trust adoption framework (business-outcome fokusert implementering)
|
||||
- Azure IaaS-spesifikk veiledning: Apply Zero Trust principles to Azure IaaS overview
|
||||
- Nettverksfokus: Kryptering av all nettverkstrafikk, mikrosegmentering med NSG og Azure Firewall, avvikle legacy VPN til fordel for identitetsbaserte tilnærminger
|
||||
- Confidential computing: For høysensitiv AI-workload — beskytter data under prosessering
|
||||
- Ressursbeskyttelse mot destruktive angrep: Resource locks, immutable backups, geo-replication
|
||||
|
||||
Microsoft har utviklet en omfattende Zero Trust-arkitektur som dekker seks pilarer:
|
||||
|
||||
|
|
@ -366,7 +373,7 @@ Når du designer AI-løsninger for norsk offentlig sektor, bruk disse spørsmål
|
|||
|
||||
### Microsoft dokumentasjon
|
||||
- [Microsoft Security: Zero Trust](https://www.microsoft.com/nb-no/security/business/zero-trust)
|
||||
- [Microsoft Learn: Zero Trust security in Azure](https://learn.microsoft.com/en-us/azure/security/fundamentals/zero-trust)
|
||||
- [Microsoft Learn: Zero Trust security in Azure](https://learn.microsoft.com/en-us/azure/security/fundamentals/zero-trust) *(Verified MCP 2026-04)*
|
||||
- [Microsoft Learn: Secure networks with SASE, Zero Trust, and AI](https://learn.microsoft.com/en-us/security/zero-trust/deploy/networks)
|
||||
- [Microsoft Learn: Innovate and automate using AI services (security)](https://learn.microsoft.com/en-us/azure/app-modernization-guidance/innovate/innovate-and-automate-using-ai-services#build-responsible,-secure-ai-systems)
|
||||
- [Microsoft Learn: Zero Trust partner kit resources](https://learn.microsoft.com/en-us/security/zero-trust/zero-trust-partner-kit)
|
||||
|
|
@ -377,4 +384,4 @@ Når du designer AI-løsninger for norsk offentlig sektor, bruk disse spørsmål
|
|||
- [Avoki: Implementere Zero Trust-arkitektur](https://www.avoki.com/no/kunnskap-innsikter/artikler/post/implementere-zero-trust-arkitektur/)
|
||||
- [Serit: Zero Trust: En fremtidsrettet tilnærming til IT-sikkerhet](https://serit.no/zero-trust-en-fremtidsrettet-tilnaerming-til-it-sikkerhet/)
|
||||
|
||||
**Sist verifisert:** 2026-02-05
|
||||
**Sist verifisert:** 2026-04-09
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Digital tilgjengelighet - handlingsplan for AI
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -142,6 +142,13 @@ AI-løsninger introduserer nye tilgjengelighetsutfordringer som går utover trad
|
|||
|
||||
### Microsoft AI og tilgjengelighet
|
||||
|
||||
**Microsoft Learn — Use AI tools to create an inclusive learning environment *(Verified MCP 2026-04)*:**
|
||||
Modul tilgjengelig for K-12 lærere, bedriftsbrukere og utdanningsinstitusjonell ledelse. Læringsmål:
|
||||
- Gjenkjenne AI-rollen i å støtte samarbeidslæring
|
||||
- Vurdere tekst-til-tale-teknologi og hvem som har nytte av den
|
||||
- Forstå hvordan AI i Microsoft Teams forbedrer tilgjengelighet for brukere med hørselshemming eller ADHD
|
||||
Modulen dekker adaptiv læring, AI-drevet tilbakemelding og personalisert innholdslevering.
|
||||
|
||||
**Microsoft har inkludert tilgjengelighet som en del av sin Responsible AI Standard:**
|
||||
|
||||
**Seks prinsipper:**
|
||||
|
|
@ -409,7 +416,7 @@ Tilgjengelighet er ikke "gratis" – det krever:
|
|||
12. [Microsoft Accessibility](https://www.microsoft.com/en-us/accessibility)
|
||||
13. [Microsoft Learn – Create accessible AI experiences](https://learn.microsoft.com/en-us/training/modules/create-accessible-solutions-using-ai-innovations/)
|
||||
14. [Microsoft Learn – Explore AI for all](https://learn.microsoft.com/en-us/training/modules/explore-ai-for-all/)
|
||||
15. [Microsoft Learn – Use AI tools to create an inclusive learning environment](https://learn.microsoft.com/en-us/training/modules/use-ai-tools-to-create-inclusive-learning-environment/)
|
||||
15. [Microsoft Learn – Use AI tools to create an inclusive learning environment](https://learn.microsoft.com/en-us/training/modules/use-ai-tools-to-create-inclusive-learning-environment/) *(Verified MCP 2026-04)*
|
||||
16. [Microsoft Learn – Web Content Accessibility Guidelines](https://learn.microsoft.com/en-us/compliance/regulatory/offering-wcag-2-1)
|
||||
17. [Microsoft Learn – U.S. Section 508](https://learn.microsoft.com/en-us/compliance/regulatory/offering-section-508-vpats)
|
||||
18. [Microsoft Inclusive Design](https://inclusive.microsoft.design/)
|
||||
|
|
@ -420,4 +427,4 @@ Tilgjengelighet er ikke "gratis" – det krever:
|
|||
|
||||
---
|
||||
|
||||
**Dokumentet oppdateres jevnlig. Siste kontroll av kilder: 5. februar 2026.**
|
||||
**Dokumentet oppdateres jevnlig. Siste kontroll av kilder: 9. april 2026.**
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Norges nasjonale AI-strategi
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende nasjonale retningslinjer (oppdatert 2024-2025)
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -130,7 +130,15 @@ Microsoft tilbyr spesialtilpassede løsninger:
|
|||
**Azure Cloud Adoption Framework for AI:**
|
||||
- Strategy → Plan → Ready → Govern → Secure → Manage
|
||||
- [Govern AI](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/govern) — Strukturert governance-prosess
|
||||
- [Secure AI](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/secure) — Sikkerhetsrammeverk
|
||||
- [Secure AI](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/secure) — Sikkerhetsrammeverk *(Verified MCP 2026-04)*
|
||||
|
||||
**Oppdatert innhold i Secure AI (CAF):**
|
||||
- Faseinndeling: Discover risks → Protect resources → Detect threats (kontinuerlig prosess)
|
||||
- Nye trusselkilder: MITRE ATLAS og OWASP Generative AI risk supplerer STRIDE-rammeverket
|
||||
- AI asset inventory via Azure Resource Graph + Microsoft Defender for Cloud
|
||||
- MCP server-sikkerhet: Azure API Management beskytter Model Context Protocol (MCP)-endepunkter
|
||||
- Microsoft Purview Insider Risk Management for prompt-basert dataeksfiltrering
|
||||
- AI Security Posture Management (DSPM) i Defender for Cloud for automatisk deteksjon
|
||||
|
||||
**AI Impact Assessment:**
|
||||
- [AI Impact Assessment Template](https://www.microsoft.com/ai/tools-practices) — For risikovurdering
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Statistikkloven og etikk i AI-analyser
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** Gjeldende
|
||||
**Category:** Norwegian Public Sector AI Governance
|
||||
|
||||
|
|
@ -262,8 +262,8 @@ Når du vurderer AI-løsninger i offentlig sektor, bruk disse spørsmålene som
|
|||
- [Microsoft Learn – Create your AI strategy](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/strategy#develop-a-responsible-ai-strategy)
|
||||
- [Microsoft Learn – Copilot Studio: Apply responsible AI principles](https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/responsible-ai)
|
||||
- [Microsoft Learn – Establishing responsible AI policies for AI agents](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/responsible-ai-across-organization)
|
||||
- [Microsoft Learn – Share Responsible AI insights using the Responsible AI scorecard](https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai-scorecard)
|
||||
- [Microsoft Learn – Share Responsible AI insights using the Responsible AI scorecard](https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai-scorecard) *(Verified MCP 2026-04)*
|
||||
- [Microsoft Learn – Responsible AI in Azure workloads](https://learn.microsoft.com/en-us/azure/well-architected/ai/responsible-ai)
|
||||
- [Microsoft Responsible AI Standard (PDF)](https://blogs.microsoft.com/wp-content/uploads/prod/sites/5/2022/06/Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf)
|
||||
|
||||
**Sist verifisert:** 2026-02-05
|
||||
**Sist verifisert:** 2026-04-09
|
||||
|
|
|
|||
|
|
@ -1,5 +1,5 @@
|
|||
# AI Act Compliance - EU Regulation & Norwegian Implementation
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# AI Center of Excellence - Building Organizational Capability
|
||||
|
||||
**Kategori:** Responsible AI & Governance
|
||||
**Opprettet:** 2026-02-03
|
||||
**Opprettet:** 2026-04
|
||||
**Confidence:** HIGH (basert på Microsoft Cloud Adoption Framework og offisiell dokumentasjon)
|
||||
|
||||
## Introduksjon
|
||||
|
|
@ -637,7 +637,8 @@ Executive sponsorship tilgjengelig? ──No──> Ikke etabler CoE nå
|
|||
|
||||
### Microsoft-ressurser å referere til
|
||||
|
||||
- **Cloud Adoption Framework - AI Strategy:** https://learn.microsoft.com/azure/cloud-adoption-framework/scenarios/ai/
|
||||
- **Cloud Adoption Framework - AI Strategy:** https://learn.microsoft.com/azure/cloud-adoption-framework/scenarios/ai/ *(Verified MCP 2026-04)*
|
||||
> Oppdatert struktur: Strategy → Plan → Ready → Govern → Manage → Secure. AI CoE er nå referert under "Manage AI operations" steg 1. Nye ressurser: Copilot Tuning (preview) og model retirement tracking via Foundry-portalen.
|
||||
- **AI Center of Excellence Guide:** https://learn.microsoft.com/azure/cloud-adoption-framework/scenarios/ai/center-of-excellence
|
||||
- **Microsoft Learn - AI CoE Learning Path:** https://learn.microsoft.com/training/paths/ai-center-excellence/
|
||||
- **Responsible AI Tools & Practices:** https://www.microsoft.com/ai/tools-practices
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# AI Ethics in Public Sector - Norwegian Government Context
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -462,6 +462,8 @@ Nav har utviklet en "AI for sykefraværsprediksjon"-modell. Denne kan deles som
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Microsoft Learn (Verified)
|
||||
|
|
@ -498,7 +500,7 @@ Nav har utviklet en "AI for sykefraværsprediksjon"-modell. Denne kan deles som
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-02-04
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Neste review:** 2026-08 (etter KI-lovens ikrafttredelse)
|
||||
**Eier:** AI Architect Plugin (Cosmo Skyberg)
|
||||
**Status:** Active — Requires quarterly updates as Norwegian AI regulations evolve
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# AI Impact Assessment - Evaluating Organizational and Societal Impact
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -550,6 +550,8 @@ Impact Assessment for offentlig sektor i Norge må adressere:
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Primary sources (Verified)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Continuous Improvement and Feedback Loops - Iterative Governance
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -29,7 +29,10 @@ Microsoft implementerer feedback loops gjennom hele AI-livssyklusen – fra utvi
|
|||
### 1. Production Data Collection
|
||||
|
||||
**Tracing og logging:**
|
||||
- **MLflow Traces**: Fanger detaljerte execution traces med inputs, outputs og alle mellomsteg for hver interaksjon
|
||||
- **MLflow Traces** / **MLflow 3 GenAI**: Fanger detaljerte execution traces med inputs, outputs og alle mellomsteg for hver interaksjon. *(Verified MCP 2026-04)*
|
||||
- MLflow 3 GenAI introduserer ny **Feedback/Expectation-datamodell** for strukturert lagring av human feedback
|
||||
- `mlflow.log_feedback()` API for å knytte bruker-rating og kommentarer til spesifikke traces
|
||||
- Integrert tracing for Databricks agentic applikasjoner
|
||||
- **Azure Monitor & Application Insights**: Logger operational metrics, latency, error rates
|
||||
- **Model Data Collector**: Automatisk innsamling av production data for ML-modeller
|
||||
- **Azure AI Content Safety logs**: Sporer content moderation events
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Data Quality for Responsible AI - Ensuring Training Data Integrity
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -77,7 +77,9 @@ Gjennomfør EDA **tidlig** i feature design for å identifisere:
|
|||
| **Memory issues detection** | Done/Passed | Sjekker at horizon/lag/rolling window ikke forårsaker OOM |
|
||||
| **Frequency detection** | Done/Passed | Verifiserer time-series alignment |
|
||||
|
||||
**Data quality expectations (Azure Databricks):**
|
||||
**Data quality expectations (Azure Databricks / Lakeflow Spark Declarative Pipelines):** *(Verified MCP 2026-04)*
|
||||
|
||||
> **Merk:** Delta Live Tables er nå offisielt omdøpt til **Lakeflow Spark Declarative Pipelines**. Kodeeksemplene (`@dp.table`, `@dp.expect_all_or_drop`) er fortsatt gyldige.
|
||||
|
||||
```python
|
||||
valid_pages = {
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Fairness Testing and Measurement - Quantifying Equity
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -497,6 +497,8 @@ For norske offentlige myndigheter:
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Microsoft Learn Documentation (Verified)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Human-in-the-Loop and Oversight - Maintaining Human Agency
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -780,6 +780,8 @@ For offentlig sektor i Norge:
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
**Microsoft Official Documentation (Verified):**
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Model Explainability and Interpretability - XAI Techniques
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -498,6 +498,8 @@ SLUTT: Dokumenter valg i ADR, implementer, valider med stakeholders
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Microsoft Learn (Verified via MCP)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Model Monitoring and Drift Detection - Ongoing Compliance
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -717,6 +717,8 @@ Implement Azure Machine Learning model monitoring with:
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Verified Sources (MCP Research)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Responsible AI Framework - Microsoft's Core Principles
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -297,6 +297,8 @@ A: Ja for high-risk use cases (biometrics, critical infrastructure). Nei for low
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Microsoft offisiell dokumentasjon (2025-2026)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Responsible AI Training and Awareness - Organizational Capability
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -508,6 +508,8 @@ Er det custom AI (ikke bare ferdiglagde features)?
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
**Verified sources (fra MCP microsoft-learn):**
|
||||
|
|
@ -546,5 +548,5 @@ Er det custom AI (ikke bare ferdiglagde features)?
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-02
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Neste review:** 2026-08 (etter EU AI Act trår i kraft, forventet juni 2026)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Stakeholder Communication - Explaining AI Decisions to Non-Technical Audiences
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
@ -772,6 +772,8 @@ Hvis noen av disse mangler: **IKKE deploy før de er på plass.** AI uten stakeh
|
|||
|
||||
---
|
||||
|
||||
*(Verified MCP 2026-04)*
|
||||
|
||||
## Kilder og verifisering
|
||||
|
||||
### Verified Sources (fra MCP microsoft-learn)
|
||||
|
|
|
|||
|
|
@ -1,6 +1,6 @@
|
|||
# Transparency and Documentation - Regulatory and Best Practice Standards
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** Responsible AI & Governance
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue