feat(ms-ai-architect): Spor 1 — Port-1-substrat migrert på 4 ikke-advisor-skills (243 Source + 327 Type + 325 TOC + stale-verified poison fjernet) [skip-docs]

Steg 9 (R4): unified migrate-corpus.mjs --write over engineering/governance/
infrastructure/security. 327 filer mutert, verified=null, prosa byte-identisk
(fra første ## seksjon), advisor urørt (0 endringer).

To applier-fixes oppdaget under kjøring (TDD, RED→GREEN):
- insertHeaderFields: anker faller nå tilbake når en meta-linje selv passerer
  500B (2 filer pakket et avsnitt i **Status:** → Type/Source landet utenfor
  scan-vinduet, applierens post-write-assertion fanget + restaurerte).
- normalizeStaleVerified: fjerner nå ALLE stale non-date **Verified:** i
  500B-vinduet, inkl. stray body-dup rett under --- (9 mlops-genaiops-filer var
  ellers falskt "verified"/fresh, droppet fra worklist). Operatør-godkjent
  utvidelse av carve-out; kun stray metadata-linjer, aldri prosa.

test-transform-criterion: precondition oppdatert til post-migrasjons-sannhet
(fila bærer nå Source). Suite 728/728 grønn.
This commit is contained in:
Kjell Tore Guttormsen 2026-07-04 10:19:11 +02:00
commit ddce43d8b2
330 changed files with 4643 additions and 83 deletions

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/azure-monitor/alerts/best-practices-alerts
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Effektive alerting-strategier og eskaleringsrutiner er kritiske for å sikre rask respons på AI-relaterte hendelser. I motsetning til tradisjonelle applikasjoner introduserer AI-systemer unike utfordringer: modeller kan degradere over tid (drift), prompt injection-angrep kan oppstå plutselig, og token-kostnader kan eksplodere uten varsel. En robust alerting-arkitektur må derfor kombinere reaktive varsler (noe gikk galt) med proaktive varsler (noe er i ferd med å gå galt).

View file

@ -3,6 +3,20 @@
**Dato:** 5. februar 2026
**Kategori:** Monitoring & Observability
**Målgruppe:** AI-arkitekter, DevOps-team, MLOps-ingeniører
**Type:** reference
**Source:** https://learn.microsoft.com/azure/ai-services/anomaly-detector/overview
## Innhold
- [Oversikt](#oversikt)
- [Smart Detection Capabilities](#smart-detection-capabilities)
- [Custom Anomaly Rules for AI](#custom-anomaly-rules-for-ai)
- [Behavioral Baseline Detection](#behavioral-baseline-detection)
- [Drift Detection Patterns](#drift-detection-patterns)
- [Alert Correlation](#alert-correlation)
- [Azure AI-Specific Detection](#azure-ai-specific-detection)
- [Implementeringsmønster](#implementeringsmønster)
- [For Cosmo](#for-cosmo)
## Oversikt

View file

@ -3,6 +3,22 @@
**Kategori:** Monitoring & Observability
**Dato:** 2026-02-05
**Status:** Komplett
**Type:** reference
## Innhold
- [Oversikt](#oversikt)
- [Hvorfor Application Insights for LLM-applikasjoner?](#hvorfor-application-insights-for-llm-applikasjoner)
- [LLM-spesifikk telemetri i Application Insights](#llm-spesifikk-telemetri-i-application-insights)
- [Custom Events for AI-interaksjoner](#custom-events-for-ai-interaksjoner)
- [Distributed Tracing for AI Pipelines](#distributed-tracing-for-ai-pipelines)
- [Performance Baselines for LLMs](#performance-baselines-for-llms)
- [Error Tracking og Alerting](#error-tracking-og-alerting)
- [Framework-integrasjoner](#framework-integrasjoner)
- [Lokal debugging med Aspire Dashboard](#lokal-debugging-med-aspire-dashboard)
- [Best Practices](#best-practices)
- [Visualisering i Azure Portal](#visualisering-i-azure-portal)
- [For Cosmo Skyberg: Application Insights for LLM Monitoring](#for-cosmo-skyberg-application-insights-for-llm-monitoring)
## Oversikt

View file

@ -3,9 +3,26 @@
**Kategori:** Monitoring & Observability
**Sist oppdatert:** 2026-02-05
**Gjelder for:** Azure OpenAI, Azure AI Services, Azure AI Search, Microsoft Foundry
**Type:** reference
---
## Innhold
- [Oversikt](#oversikt)
- [Diagnostic Settings — Arkitektur](#diagnostic-settings--arkitektur)
- [Konfigurasjon — Azure Portal](#konfigurasjon--azure-portal)
- [Konfigurasjon — PowerShell](#konfigurasjon--powershell)
- [Konfigurasjon — Azure CLI](#konfigurasjon--azure-cli)
- [Metrics Collection Strategies](#metrics-collection-strategies)
- [Log Ingestion Patterns](#log-ingestion-patterns)
- [Resource Tagging for AI Workloads](#resource-tagging-for-ai-workloads)
- [Log Retention and Lifecycle](#log-retention-and-lifecycle)
- [Kostnadsoptimalisering](#kostnadsoptimalisering)
- [Troubleshooting](#troubleshooting)
- [Best Practices](#best-practices)
- [For Cosmo](#for-cosmo)
## Oversikt
Azure Monitor gir omfattende overvåkning av AI-tjenester gjennom samling av metrics, logs og activity logs. Diagnostic settings er det sentrale mekanismen for å konfigurere datainnsamling og ruting til destinasjoner som Log Analytics, Storage Account eller Event Hubs.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/api-management/genai-gateway-capabilities
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Compliance monitoring og AI governance dashboards gir organisasjoner strukturert oversikt over hvordan AI-systemer overholder reguleringskrav, sikkerhetspolicyer og etiske retningslinjer. I en tid der AI Act, GDPR, Schrems II og nasjonale regelverk setter strenge krav til hvordan AI skal utvikles og driftes, er kontinuerlig compliance-overvåking ikke lenger valgfritt — det er en forutsetning for produksjonssetting.

View file

@ -3,9 +3,24 @@
**Last updated:** 2026-06
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/foundry/concepts/manage-costs
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Foundry-portal-native kostnadssporing](#foundry-portal-native-kostnadssporing)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Kostnadskontroll er kritisk for AI-prosjekter der utgifter kan eskalere raskt gjennom tokenforbruk, modelldrifting og compute-ressurser. Effektiv kostnadsmonitorering kombinerer sanntidssporing av forbruk, granulær kostnadsfordeling per forretningsenhet eller applikasjon, og automatiserte varsler som forebygger budsjettoverskridelser før de påvirker prosjektøkonomien.

View file

@ -3,9 +3,24 @@
**Kategori:** Monitoring & Observability
**Sist oppdatert:** 2026-06-19 | Verified: MCP 2026-06-19
**Brukes av:** Cosmo Skyberg, Microsoft AI Solution Architect
**Type:** reference
**Source:** https://learn.microsoft.com/azure/azure-monitor/visualize/workbooks-overview
---
## Innhold
- [Innledning](#innledning)
- [Azure Workbooks for AI](#azure-workbooks-for-ai)
- [Grafana for AI Operational Dashboards](#grafana-for-ai-operational-dashboards)
- [Power BI for Executive AI Dashboards](#power-bi-for-executive-ai-dashboards)
- [Real-Time Intelligence Dashboards (Fabric)](#real-time-intelligence-dashboards-fabric)
- [Dashboard Sharing and Governance](#dashboard-sharing-and-governance)
- [Cost and Usage Visualizations](#cost-and-usage-visualizations)
- [Dashboard Anti-Patterns](#dashboard-anti-patterns)
- [For Cosmo Skyberg](#for-cosmo-skyberg)
- [Ressurser](#ressurser)
## Innledning
Custom dashboards er essensielle for å visualisere og forstå AI-driften i sanntid. Mens standard metrics-visninger gir grunnleggende innsikt, tilbyr tilpassede dashboards mulighet til å kombinere data fra flere kilder, skreddersy visualiseringer for ulike interessenter, og bygge operasjonelle kommandosentral for AI-systemer.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/communication-services/concepts/european-union-data-boundary
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Data residency og geographic audit monitoring sikrer at organisasjoner kan verifisere hvor dataene deres lagres og prosesseres, samt spore datahåndtering på tvers av geografiske grenser. Dette er kritisk for compliance med GDPR, AI Act, Schrems II, og andre regulatoriske krav som gjelder offentlig sektor i Norge.

View file

@ -3,6 +3,24 @@
**Kategori:** Monitoring & Observability
**Dato:** 2026-06-19
**Status:** ✅ Komplett
**Type:** reference
**Source:** https://learn.microsoft.com/azure/azure-monitor/app/opentelemetry-overview
## Innhold
- [Innledning](#innledning)
- [Nøkkelkonsepter](#nøkkelkonsepter)
- [OpenTelemetry for AI Pipelines](#opentelemetry-for-ai-pipelines)
- [Implementering i Microsoft-stakken](#implementering-i-microsoft-stakken)
- [End-to-End Trace Correlation](#end-to-end-trace-correlation)
- [Trace Visualization og Analysis](#trace-visualization-og-analysis)
- [Performance Bottleneck Identification](#performance-bottleneck-identification)
- [Best Practices](#best-practices)
- [Azure Functions OpenTelemetry Pattern](#azure-functions-opentelemetry-pattern)
- [Integrasjon med AI Foundry Tracing](#integrasjon-med-ai-foundry-tracing)
- [Troubleshooting Common Issues](#troubleshooting-common-issues)
- [For Cosmo](#for-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Innledning

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/foundry/openai/quotas-limits
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Endpoint-overvåkning og kapasitetsplanlegging er kritisk for å opprettholde høy tilgjengelighet og forutsigbar ytelse i produksjons-AI-systemer. Azure OpenAI og andre Microsoft AI-tjenester tilbyr omfattende overvåkningsverktøy gjennom Azure Monitor, som samler inn både plattformmetrikkdata (automatisk) og ressurslogger (konfigureres via diagnostic settings).

View file

@ -3,6 +3,22 @@
**Kategori:** Monitoring & Observability
**Dato:** 2026-05
**Forfatter:** Cosmo Skyberg, AI Solution Architect
**Type:** reference
**Source:** https://learn.microsoft.com/azure/machine-learning/monitor-azure-machine-learning
## Innhold
- [Oversikt](#oversikt)
- [Essential KQL Queries for AI Monitoring](#essential-kql-queries-for-ai-monitoring)
- [Performance Analysis Queries](#performance-analysis-queries)
- [Error Investigation Patterns](#error-investigation-patterns)
- [Cost Analysis Queries](#cost-analysis-queries)
- [Query Optimization Techniques](#query-optimization-techniques)
- [Advanced Patterns](#advanced-patterns)
- [For Cosmo: Anvendelse i Arkitekturrådgivning](#for-cosmo-anvendelse-i-arkitekturrådgivning)
- [Viktige KQL-ressurser](#viktige-kql-ressurser)
- [Nøkkelinnsikter](#nøkkelinnsikter)
- [Referanser](#referanser)
## Oversikt

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-24 | Verified: MCP 2026-06-24
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/foundry/concepts/observability
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Model Performance Monitoring og Drift Detection er den siste, kritiske fasen i machine learning-livssyklusen. I motsetning til tradisjonelle programvaresystemer, avhenger ikke machine learning-systemers oppførsel bare av regler spesifisert i kode, men også av data. Når et AI-modell blir "gammel" (stale), kan ytelsen degraderes til det punktet at den mister forretningsverdi eller skaper alvorlige compliance-problemer i regulerte miljøer.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-05
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/microsoft-cloud/dev/copilot/isv/observability-for-ai
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Når organisasjoner utvider Microsoft Copilot med custom plugins, connectors og extensions, blir observability kritisk for å sikre pålitelighet, ytelse og compliance. I motsetning til standalone applikasjoner opererer Copilot-extensions i et distribuert økosystem hvor telemetri må samles fra flere lag: plugin-kjøretid, API-kall, LLM-interaksjoner og brukeropplevelse.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/foundry/concepts/observability
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Real-time streaming og live monitoring er kritiske kapabiliteter for operasjonell overvåking av AI-applikasjoner i produksjon. Mens tradisjonell logging og metrics aggregeres over tid (typisk 1-5 minutter), tilbyr real-time løsninger innsikt med under ett sekunds latency, noe som er essensielt for debugging, incident response og operasjonell overvåking av AI-tjenester.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-24 | Verified: MCP 2026-06-24
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/foundry/concepts/observability
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Response quality metrics er kritisk for å evaluere effektiviteten av RAG-systemer (Retrieval-Augmented Generation). Mens infrastruktur-metrics (tokens, latency, throughput) forteller deg om systemet *kjører*, forteller kvalitetsmetrikker deg om systemet produserer *nyttige og korrekte svar*.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/security/benchmark/azure/mcsb-v2-artificial-intelligence-security
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Security og audit logging for AI-systemer er et kritisk grunnlag for compliance, incident response og forensisk analyse. Azure AI-tjenester genererer diagnostiske logger som kan spore brukeraktivitet, dataaksess, modellinteraksjon og systemhendelser — men loggene samles ikke inn før du eksplisitt konfigurerer diagnostiske innstillinger (diagnostic settings). Uten strukturert logging har du ingen sporbarhet når sikkerhetsbrudd oppstår, og ingen evne til å dokumentere hvem som aksesserte sensitive data.

View file

@ -3,9 +3,23 @@
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Monitoring & Observability
**Type:** reference
**Source:** https://learn.microsoft.com/azure/azure-monitor/alerts/alerts-overview
---
## Innhold
- [Introduksjon](#introduksjon)
- [Kjernekomponenter](#kjernekomponenter)
- [Arkitekturmønstre](#arkitekturmønstre)
- [Beslutningsveiledning](#beslutningsveiledning)
- [Integrasjon med Microsoft-stakken](#integrasjon-med-microsoft-stakken)
- [Offentlig sektor (Norge)](#offentlig-sektor-norge)
- [Kostnad og lisensiering](#kostnad-og-lisensiering)
- [For arkitekten (Cosmo)](#for-arkitekten-cosmo)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
SLA-monitorering (Service Level Agreement monitoring) er en kritisk disiplin for å sikre at AI-tjenester oppfyller forventninger til tilgjengelighet, ytelse og pålitelighet. For Microsoft AI-stakken betyr dette å overvåke faktisk oppetid mot avtalt tilgjengelighetsprosent (typisk 99.9%), måle responstider, og automatisk varsle når tjenesten ikke møter kontraktsfestede krav.

View file

@ -3,6 +3,25 @@
**Kategori:** Monitoring & Observability
**Dato:** 2026-06-19
**Versjon:** 1.0
**Type:** reference
**Source:** https://learn.microsoft.com/azure/foundry/concepts/manage-costs
## Innhold
- [Introduksjon](#introduksjon)
- [Token Counting og Logging](#token-counting-og-logging)
- [Usage Attribution per Applikasjon/Bruker](#usage-attribution-per-applikasjonbruker)
- [Budget Monitoring og Alerts](#budget-monitoring-og-alerts)
- [Token Efficiency Metrics](#token-efficiency-metrics)
- [Chargeback Reporting](#chargeback-reporting)
- [RAG-spesifikke Considerations](#rag-spesifikke-considerations)
- [Fine-tuned Models: Spesialkonsiderasjoner](#fine-tuned-models-spesialkonsiderasjoner)
- [Provisioned Throughput Units (PTU): Tracking](#provisioned-throughput-units-ptu-tracking)
- [Integrasjon med FinOps Practices](#integrasjon-med-finops-practices)
- [Best Practices](#best-practices)
- [Relaterte Referanser](#relaterte-referanser)
- [Kilder (Microsoft Learn)](#kilder-microsoft-learn)
- [For Cosmo](#for-cosmo)
## Introduksjon