docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)
Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry» (/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip. Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper «Azure AI» (legger IKKE til «Microsoft») for to produktvarianter: - «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form) - «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models») - «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg) - «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry» - Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models» Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search», «Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)» i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→ /azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred. Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE. Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata), CHANGELOG.md (historisk logg), STATE.md (gitignored). 3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96 (alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
20b522ab10
commit
03d596e4ec
233 changed files with 810 additions and 810 deletions
|
|
@ -463,7 +463,7 @@ Juster sensitivitet basert på false positive rate:
|
|||
|
||||
| Plattform | Primær Metode | Sekundær Metode |
|
||||
|-----------|---------------|-----------------|
|
||||
| Azure AI Foundry | Application Insights Smart Detection | KQL-baserte custom queries |
|
||||
| Microsoft Foundry | Application Insights Smart Detection | KQL-baserte custom queries |
|
||||
| Copilot Studio | M365 audit logs + KQL | Application Insights (via plugin) |
|
||||
| Power Platform AI | Application Insights + Power Platform analytics | Custom Dataverse queries |
|
||||
| Azure OpenAI Service | Application Insights + Defender for AI | Azure Monitor metric alerts |
|
||||
|
|
|
|||
|
|
@ -8,7 +8,7 @@
|
|||
|
||||
Application Insights er Azures native observability-plattform for å overvåke LLM-applikasjoner med OpenTelemetry-kompatibel tracing. Denne guiden dekker LLM-spesifikk telemetri, custom events for AI-interaksjoner, distributed tracing for AI-pipelines, performance baselines, og error tracking.
|
||||
|
||||
Application Insights integrerer sømløst med Azure AI Foundry, Azure OpenAI Service, og alle større AI-rammeverk (LangChain, Semantic Kernel, Microsoft Agent Framework, OpenAI Agents SDK).
|
||||
Application Insights integrerer sømløst med Microsoft Foundry, Azure OpenAI Service, og alle større AI-rammeverk (LangChain, Semantic Kernel, Microsoft Agent Framework, OpenAI Agents SDK).
|
||||
|
||||
## Hvorfor Application Insights for LLM-applikasjoner?
|
||||
|
||||
|
|
@ -179,7 +179,7 @@ AppRequests
|
|||
| order by TimeGenerated asc
|
||||
```
|
||||
|
||||
### Instrumentering med Azure AI Foundry SDK
|
||||
### Instrumentering med Microsoft Foundry SDK
|
||||
|
||||
**Python setup:**
|
||||
|
||||
|
|
@ -704,7 +704,7 @@ Application Insights **End-to-end transaction details** viser:
|
|||
|
||||
Application Insights er riktig valg for LLM-observabilitet når:
|
||||
|
||||
1. **Azure-native setup** — Kunden bruker Azure AI Foundry eller Azure OpenAI
|
||||
1. **Azure-native setup** — Kunden bruker Microsoft Foundry eller Azure OpenAI
|
||||
2. **Multi-framework miljø** — LangChain, Semantic Kernel, Agent Framework i samme system
|
||||
3. **Enterprise compliance** — Trenger logging i Azure subscription med RBAC
|
||||
4. **Cost tracking** — Viktig å korrelere token usage med fakturering
|
||||
|
|
@ -734,7 +734,7 @@ Application Insights er riktig valg for LLM-observabilitet når:
|
|||
2. **Enable content recording selektivt** — Kun for debugging, ikke produksjon
|
||||
3. **Implementer custom metrics** — Token cost, latency percentiles, TTFT
|
||||
4. **Sett opp alerting** — Error rate, cost spikes, latency anomalies
|
||||
5. **Kombiner med prompt evaluation** — Azure AI Foundry Evaluation + App Insights tracing
|
||||
5. **Kombiner med prompt evaluation** — Microsoft Foundry Evaluation + App Insights tracing
|
||||
|
||||
**Eksempel-arkitektur:**
|
||||
|
||||
|
|
@ -769,7 +769,7 @@ az monitor app-insights component create \
|
|||
# 3. Install SDK + configure
|
||||
pip install azure-ai-projects azure-monitor-opentelemetry
|
||||
|
||||
# 4. Skriv 5 linjer code (se "Instrumentering med Azure AI Foundry SDK")
|
||||
# 4. Skriv 5 linjer code (se "Instrumentering med Microsoft Foundry SDK")
|
||||
# 5. Deploy → Se traces i portal
|
||||
```
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
**Kategori:** Monitoring & Observability
|
||||
**Sist oppdatert:** 2026-02-05
|
||||
**Gjelder for:** Azure OpenAI, Azure AI Services, Azure AI Search, Azure AI Foundry
|
||||
**Gjelder for:** Azure OpenAI, Azure AI Services, Azure AI Search, Microsoft Foundry
|
||||
|
||||
---
|
||||
|
||||
|
|
|
|||
|
|
@ -110,7 +110,7 @@ Unified view av AI-security posture på tvers av Microsoft Entra, Defender, Purv
|
|||
└───────┬────────────────────────────────────┘
|
||||
│
|
||||
┌───────▼─────────────────────────────────────┐
|
||||
│ AI Workloads (Azure AI Foundry, Copilot │
|
||||
│ AI Workloads (Microsoft Foundry, Copilot │
|
||||
│ Studio, Azure OpenAI, Copilot Experiences) │
|
||||
└─────────────────────────────────────────────┘
|
||||
```
|
||||
|
|
@ -228,7 +228,7 @@ Kombinerer sentralisert policy enforcement (Azure Policy, mandatory logging) med
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Compliance-features:**
|
||||
- **AI Reports**: Generer PDF/SPDX-rapporter med model cards, evaluation metrics, content safety config → brukes som evidence i Compliance Manager
|
||||
|
|
@ -322,7 +322,7 @@ AppMetrics
|
|||
1. **Risikovurdering**: Dokumenter i Compliance Manager assessment (bruk "EU AI Act High-Risk" template)
|
||||
2. **Data governance**: Purview DSPM for AI → klassifiser treningsdata og prompt/response-data
|
||||
3. **Human oversight**: Azure Monitor alerts med manual review-steg før kritiske AI-beslutninger
|
||||
4. **Transparency**: AI Reports fra Azure AI Foundry → model cards, evaluation metrics
|
||||
4. **Transparency**: AI Reports fra Microsoft Foundry → model cards, evaluation metrics
|
||||
5. **Technical documentation**: Generer SPDX-rapport fra AI Foundry → leverandøruavhengig format
|
||||
6. **Logging**: 6 måneders retention minimum (for high-risk AI) → Purview retention policy
|
||||
7. **Conformity assessment**: Tredjepartsaudit av AI-system før produksjonssetting
|
||||
|
|
@ -338,7 +338,7 @@ AppMetrics
|
|||
|
||||
**Data residency:**
|
||||
- Azure Policy: `Deny` deployments utenfor Norway East/West (eller EU-regioner)
|
||||
- Azure AI Foundry: Velg region ved project creation → kan ikke flyttes senere
|
||||
- Microsoft Foundry: Velg region ved project creation → kan ikke flyttes senere
|
||||
- Azure OpenAI: EU Data Boundary garanterer at prompts/responses ikke forlater EU
|
||||
|
||||
**Right to erasure (Article 17):**
|
||||
|
|
|
|||
|
|
@ -12,7 +12,7 @@ Kostnadskontroll er kritisk for AI-prosjekter der utgifter kan eskalere raskt gj
|
|||
|
||||
Azure Cost Management gir innebygd synlighet på abonnements- og ressursgruppe-nivå, men AI-arbeidslaster krever ofte mer sofistikerte løsninger — spesielt for chargeback-modeller, multi-tenant-scenarier eller når man trenger å korrelere kostnader med ytelsesmetrikker. Gateway-basert overvåking (f.eks. via Azure API Management) kan fange opp detaljert bruksdata per klient-IP, modell og token-type, noe som åpner for presise kostnadsallokeringer og prediktiv budsjettering.
|
||||
|
||||
Denne guiden dekker både native Azure-verktøy og arkitekturmønstre for avansert kostnadssporing, med fokus på Azure OpenAI, Azure AI Foundry og andre AI-tjenester.
|
||||
Denne guiden dekker både native Azure-verktøy og arkitekturmønstre for avansert kostnadssporing, med fokus på Azure OpenAI, Microsoft Foundry og andre AI-tjenester.
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -454,7 +454,7 @@ if ($metrics.Data.Total -eq 0) {
|
|||
https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/manage#manage-ai-costs
|
||||
*Konfidensgrad: Verified* – Best practices for TPM/RPM monitoring, commitment billing
|
||||
|
||||
5. **Plan and manage costs for Azure AI Foundry**
|
||||
5. **Plan and manage costs for Microsoft Foundry**
|
||||
https://learn.microsoft.com/en-us/azure/foundry/concepts/manage-costs
|
||||
*Konfidensgrad: Verified* – Marketplace models, fine-tuning costs, HTTP error billing
|
||||
|
||||
|
|
|
|||
|
|
@ -24,11 +24,11 @@ Azure Workbooks er Microsofts native dashboarding-løsning i Azure Monitor. De k
|
|||
- **KQL-powered:** Direkte tilgang til Kusto Query Language for avanserte aggregeringer
|
||||
- **Template-drevet:** Distribuer standardiserte dashboards programmatisk via ARM templates
|
||||
- **Resource-centric:** Visualiser data på tvers av flere AI-ressurser samtidig
|
||||
- **Built-in for AI Foundry:** Azure AI Foundry leverer ferdig "Application Analytics" workbook
|
||||
- **Built-in for AI Foundry:** Microsoft Foundry leverer ferdig "Application Analytics" workbook
|
||||
|
||||
### Azure AI Foundry Application Analytics Workbook
|
||||
### Microsoft Foundry Application Analytics Workbook
|
||||
|
||||
Azure AI Foundry tilbyr en out-of-box workbook som sporer:
|
||||
Microsoft Foundry tilbyr en out-of-box workbook som sporer:
|
||||
|
||||
- **Generative AI metrics:** Total conversations, latency, exceptions
|
||||
- **Tool usage:** Hvilke extensions og tools brukes mest
|
||||
|
|
@ -113,7 +113,7 @@ Azure Managed Grafana er ideell for sanntids-operasjonssentre. Grafana excels i
|
|||
|
||||
### Microsoft Foundry Grafana Dashboard *(Verified MCP 2026-04)*
|
||||
|
||||
Microsoft tilbyr en ferdig Grafana dashboard (ID: **24039**) for Azure AI Foundry/Foundry ressurser. Dashboard-tittelen er nå "Microsoft Foundry dashboard" i offisiell dokumentasjon.
|
||||
Microsoft tilbyr en ferdig Grafana dashboard (ID: **24039**) for Microsoft Foundry/Foundry ressurser. Dashboard-tittelen er nå "Microsoft Foundry dashboard" i offisiell dokumentasjon.
|
||||
|
||||
**Key metrics:**
|
||||
- **Model performance:** Inference latency (time to last byte), throughput, success rates
|
||||
|
|
@ -230,7 +230,7 @@ Microsoft Fabric Real-Time Intelligence tilbyr sanntids-dashboards drevet av KQL
|
|||
**Use case:** Streaming AI telemetry for øyeblikkelig innsikt.
|
||||
|
||||
**Architecture:**
|
||||
1. Azure AI Foundry → Event Hub → Fabric Eventhouse
|
||||
1. Microsoft Foundry → Event Hub → Fabric Eventhouse
|
||||
2. KQL Database → Continuous queries
|
||||
3. Real-Time Dashboard → Live visualizations
|
||||
|
||||
|
|
@ -482,14 +482,14 @@ Når kunden spør om dashboards for AI operations:
|
|||
|
||||
### Microsoft Learn
|
||||
- [Azure Workbooks overview](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-overview)
|
||||
- [Create an Azure AI Foundry dashboard](https://learn.microsoft.com/en-us/azure/managed-grafana/azure-ai-foundry-dashboard)
|
||||
- [Create an Microsoft Foundry dashboard](https://learn.microsoft.com/en-us/azure/managed-grafana/azure-ai-foundry-dashboard)
|
||||
- [Monitor Azure OpenAI](https://learn.microsoft.com/en-us/azure/foundry-classic/openai/how-to/monitor-openai)
|
||||
- [Workbooks programmatic management](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-automate) *(Verified MCP 2026-04)* — ARM/Bicep deployment, RBAC (Monitoring Contributor for redigering, Monitoring Reader for visning), `microsoft.insights/workbooks/write` for custom roles
|
||||
- [Power BI + Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/logs/log-powerbi) *(Verified MCP 2026-06-19)* — eksport fra Log Analytics som M-query (.txt → Power BI Desktop) eller new Dataset (Power BI-tjenesten); dataflows + incremental refresh; scheduled refresh/deling krever Pro/Premium
|
||||
|
||||
### Code Samples
|
||||
- [Workbook ARM/Bicep template samples](https://learn.microsoft.com/en-us/azure/azure-monitor/visualize/workbooks-samples) — workbook templates bruker apiVersion `2019-10-17-preview` (type: microsoft.insights/workbooktemplates); workbook instances bruker `2018-06-17-preview` (type: Microsoft.Insights/workbooks) *(Verified MCP 2026-04)*
|
||||
- [Azure AI Foundry Grafana dashboard ID: 24039](https://grafana.com/grafana/dashboards/24039)
|
||||
- [Microsoft Foundry Grafana dashboard ID: 24039](https://grafana.com/grafana/dashboards/24039)
|
||||
- [KQL query examples for AI monitoring](https://learn.microsoft.com/en-us/azure/data-explorer/kusto/query/samples)
|
||||
|
||||
### GitHub
|
||||
|
|
|
|||
|
|
@ -231,7 +231,7 @@ SigninLogs
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Data residency tracking:**
|
||||
- Azure OpenAI Service: Deploy i Norway East eller West Europe
|
||||
|
|
|
|||
|
|
@ -61,7 +61,7 @@ Microsoft har utviklet nye semantic conventions for multi-agent-systemer (i sama
|
|||
|
||||
## Implementering i Microsoft-stakken
|
||||
|
||||
### 1. Azure AI Foundry + Azure Monitor
|
||||
### 1. Microsoft Foundry + Azure Monitor
|
||||
|
||||
**Setup (Python):**
|
||||
|
||||
|
|
@ -602,7 +602,7 @@ Ved arkitekturveiledning:
|
|||
|
||||
Adapted from Microsoft Learn documentation ([CC BY 4.0](https://creativecommons.org/licenses/by/4.0/)):
|
||||
|
||||
- [Tracing in Azure AI Foundry](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/develop/trace-local-sdk)
|
||||
- [Tracing in Microsoft Foundry](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/develop/trace-local-sdk)
|
||||
- [Azure Monitor OpenTelemetry overview](https://learn.microsoft.com/en-us/azure/azure-monitor/app/opentelemetry-overview)
|
||||
- [Azure Functions OpenTelemetry](https://learn.microsoft.com/en-us/azure/azure-functions/opentelemetry-howto) *(Verified MCP 2026-06-19 — parent-based sampling default; OTLP + App Insights dual-export; portal log-streaming/recent-invocation-traces krever Azure Monitor)*
|
||||
- [Distributed tracing in Application Insights](https://learn.microsoft.com/en-us/azure/azure-monitor/app/distributed-trace-data)
|
||||
|
|
|
|||
|
|
@ -211,7 +211,7 @@ Execute ML pipeline for retraining
|
|||
Deploy new model version
|
||||
```
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
- **Foundry Observability**: Continuous evaluation for generative AI applications
|
||||
- **AI Red Teaming**: Scheduled adversarial testing for safety/security
|
||||
|
|
@ -308,7 +308,7 @@ Model monitoring er inkludert i Azure Machine Learning workspace, men du betaler
|
|||
|
||||
- **Azure Machine Learning**: Enterprise Agreement eller Pay-As-You-Go
|
||||
- **MCP-servere (hvis brukt)**: Vurder kostnader for microsoft-learn MCP (gratis), context7 MCP (avhenger av plan)
|
||||
- **Azure AI Foundry**: Separate SKU for generative AI monitoring (safety evaluations hosted i East US 2, France Central, UK South, Sweden Central)
|
||||
- **Microsoft Foundry**: Separate SKU for generative AI monitoring (safety evaluations hosted i East US 2, France Central, UK South, Sweden Central)
|
||||
|
||||
## For arkitekten (Cosmo)
|
||||
|
||||
|
|
@ -363,7 +363,7 @@ Model monitoring er inkludert i Azure Machine Learning workspace, men du betaler
|
|||
**Level 4: Enterprise Monitoring** (AI Platform)
|
||||
- Sentralisert monitoring for alle modeller (multi-workspace, multi-region)
|
||||
- Automated retraining + automated deployment (CI/CD for ML)
|
||||
- Red teaming for safety/security (Azure AI Foundry)
|
||||
- Red teaming for safety/security (Microsoft Foundry)
|
||||
- Continuous evaluation for generative AI (Foundry observability)
|
||||
- FinOps tracking: cost per model, cost per inference, budget alerts
|
||||
- Compliance automation: GDPR audit logs, AI Act documentation
|
||||
|
|
@ -377,8 +377,8 @@ Model monitoring er inkludert i Azure Machine Learning workspace, men du betaler
|
|||
- [Azure Machine Learning model monitoring (concept)](https://learn.microsoft.com/en-us/azure/machine-learning/concept-model-monitoring?view=azureml-api-2) — **Verified** (fetched 2026-02)
|
||||
- [Monitor performance of models deployed to production](https://learn.microsoft.com/en-us/azure/machine-learning/how-to-monitor-model-performance?view=azureml-api-2) — **Verified** (fetched 2026-02)
|
||||
- [Data drift monitoring (legacy, retiring)](https://learn.microsoft.com/en-us/azure/machine-learning/how-to-monitor-datasets?view=azureml-api-1) — **Verified** (fetched 2026-02, kontext: migrering til Model Monitor)
|
||||
- [Evaluate generative AI models (Azure AI Foundry)](https://learn.microsoft.com/en-us/azure/foundry/how-to/evaluate-generative-ai-app?view=foundry-classic) — **Verified** (fetched 2026-02)
|
||||
- [Observability in generative AI (Azure AI Foundry)](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability?view=foundry-classic) — **Verified** (fetched 2026-02)
|
||||
- [Evaluate generative AI models (Microsoft Foundry)](https://learn.microsoft.com/en-us/azure/foundry/how-to/evaluate-generative-ai-app?view=foundry-classic) — **Verified** (fetched 2026-02)
|
||||
- [Observability in generative AI (Microsoft Foundry)](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability?view=foundry-classic) — **Verified** (fetched 2026-02)
|
||||
- [Test and evaluate AI workloads on Azure](https://learn.microsoft.com/en-us/azure/well-architected/ai/test) — **Verified** (fetched 2026-02)
|
||||
|
||||
### Baseline (Model knowledge)
|
||||
|
|
|
|||
|
|
@ -300,9 +300,9 @@ customEvents
|
|||
|
||||
4. **Setup Data Activator** til å trigger alert hvis SuccessRate < 95% i 1 minutt.
|
||||
|
||||
### Azure AI Foundry + Eventhouse
|
||||
### Microsoft Foundry + Eventhouse
|
||||
|
||||
Azure AI Foundry Observability dashboard støtter **native integration med Application Insights**, som kan streams til Eventhouse for real-time dashboards:
|
||||
Microsoft Foundry Observability dashboard støtter **native integration med Application Insights**, som kan streams til Eventhouse for real-time dashboards:
|
||||
|
||||
1. **Enable Application Insights** for AI Foundry project
|
||||
2. **Use Eventstream** til å route App Insights logs til Eventhouse
|
||||
|
|
|
|||
|
|
@ -12,7 +12,7 @@ Response quality metrics er kritisk for å evaluere effektiviteten av RAG-system
|
|||
|
||||
I motsetning til tradisjonelle applikasjoner, hvor output er deterministisk, genererer LLM-er ikke-deterministische responser. Samme prompt kan gi forskjellige resultater hver gang. Dette krever et systematisk rammeverk for å måle kvalitet på tvers av dimensjoner som groundedness (er svaret basert på context?), relevance (adresserer svaret spørsmålet?), completeness (dekker svaret alle aspekter?), og coherence (flyter svaret logisk?).
|
||||
|
||||
Azure AI Foundry og Azure AI Evaluation SDK tilbyr AI-assisterte evaluatorer som bruker GPT-modeller som "dommere" til å score responser, samt NLP-baserte metrics (BLEU, ROUGE, METEOR) for tekstlikhet. Sammen gir disse et helhetlig bilde av RAG-systemets evne til å levere korrekt, relevant og komplett informasjon fra grunnlagsdata.
|
||||
Microsoft Foundry og Azure AI Evaluation SDK tilbyr AI-assisterte evaluatorer som bruker GPT-modeller som "dommere" til å score responser, samt NLP-baserte metrics (BLEU, ROUGE, METEOR) for tekstlikhet. Sammen gir disse et helhetlig bilde av RAG-systemets evne til å levere korrekt, relevant og komplett informasjon fra grunnlagsdata.
|
||||
|
||||
## Kjernekomponenter
|
||||
|
||||
|
|
@ -291,7 +291,7 @@ groundedness = GroundednessEvaluator(
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry Evaluation
|
||||
### Microsoft Foundry Evaluation
|
||||
|
||||
**Pre-production evaluation workflow:**
|
||||
```
|
||||
|
|
@ -452,7 +452,7 @@ eval_results = mlflow.genai.evaluate(
|
|||
**Mitigering:**
|
||||
- Bruk **Groundedness (LLM-judge)** i stedet for Groundedness Pro — mer kontroll over model deployment region
|
||||
- Deploy GPT-judge i Norge-region (Norway East)
|
||||
- Bekreft at Azure AI Foundry project og OpenAI resource er i samme region
|
||||
- Bekreft at Microsoft Foundry project og OpenAI resource er i samme region
|
||||
|
||||
### DPIA for response quality metrics
|
||||
|
||||
|
|
@ -505,7 +505,7 @@ PTU equivalent: ~300 PTUs @ $6/PTU = $1800/måned
|
|||
|
||||
**Nødvendig:**
|
||||
- **Azure OpenAI** (for GPT-judge): Standard/Enterprise Agreement
|
||||
- **Azure AI Foundry**: Gratis tier for evaluation UI, betaler kun for underliggende compute (GPT calls)
|
||||
- **Microsoft Foundry**: Gratis tier for evaluation UI, betaler kun for underliggende compute (GPT calls)
|
||||
- **Azure AI Content Safety** (for Groundedness Pro): Inkludert i Azure subscription, pay-per-transaction
|
||||
|
||||
**Ikke nødvendig:**
|
||||
|
|
@ -540,7 +540,7 @@ PTU equivalent: ~300 PTUs @ $6/PTU = $1800/måned
|
|||
- Nei → bruk Retrieval evaluator (LLM-judge, ingen ground truth)
|
||||
|
||||
7. **Hvilke Microsoft-tjenester bruker dere i dag?**
|
||||
- Azure AI Foundry → bruk innebygd Evaluations UI
|
||||
- Microsoft Foundry → bruk innebygd Evaluations UI
|
||||
- Copilot Studio → integrer QAEvaluator i Prompt Flow
|
||||
- Databricks → bruk MLflow GenAI evaluation
|
||||
|
||||
|
|
|
|||
|
|
@ -10,9 +10,9 @@
|
|||
|
||||
Security og audit logging for AI-systemer er et kritisk grunnlag for compliance, incident response og forensisk analyse. Azure AI-tjenester genererer diagnostiske logger som kan spore brukeraktivitet, dataaksess, modellinteraksjon og systemhendelser — men loggene samles ikke inn før du eksplisitt konfigurerer diagnostiske innstillinger (diagnostic settings). Uten strukturert logging har du ingen sporbarhet når sikkerhetsbrudd oppstår, og ingen evne til å dokumentere hvem som aksesserte sensitive data.
|
||||
|
||||
Azure Monitor tilbyr et helhetlig rammeverk for å samle, lagre og analysere audit logs fra Azure OpenAI, Azure AI Foundry, Copilot Studio og andre AI-tjenester. Loggene kan rutes til Log Analytics for KQL-basert analyse, Azure Storage for langtidslagring, eller SIEM-løsninger som Microsoft Sentinel for korrelasjon med threat intelligence.
|
||||
Azure Monitor tilbyr et helhetlig rammeverk for å samle, lagre og analysere audit logs fra Azure OpenAI, Microsoft Foundry, Copilot Studio og andre AI-tjenester. Loggene kan rutes til Log Analytics for KQL-basert analyse, Azure Storage for langtidslagring, eller SIEM-løsninger som Microsoft Sentinel for korrelasjon med threat intelligence.
|
||||
|
||||
For norsk offentlig sektor er audit logging et lovpålagt krav under Forvaltningsloven § 11, GDPR Artikkel 30 (loggføring av behandlingsaktiviteter), og AI Act (loggføring av høyrisiko AI-systemer). Microsoft-stakken leverer innebygde funksjoner for logging, men konfigurasjonen er kundens ansvar — resource logs er deaktivert som standard, med unntak av Azure AI Foundry som har automatisk logging.
|
||||
For norsk offentlig sektor er audit logging et lovpålagt krav under Forvaltningsloven § 11, GDPR Artikkel 30 (loggføring av behandlingsaktiviteter), og AI Act (loggføring av høyrisiko AI-systemer). Microsoft-stakken leverer innebygde funksjoner for logging, men konfigurasjonen er kundens ansvar — resource logs er deaktivert som standard, med unntak av Microsoft Foundry som har automatisk logging.
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -33,7 +33,7 @@ For norsk offentlig sektor er audit logging et lovpålagt krav under Forvaltning
|
|||
|-------------|----------------|-------------------|
|
||||
| **Azure OpenAI** | `Audit`, `RequestResponse`, `Trace` | Nei (krever diagnostic setting) |
|
||||
| **Azure AI Services** | `Audit`, `RequestResponse`, `AllMetrics` | Nei (krever diagnostic setting) |
|
||||
| **Azure AI Foundry** | Azure Monitor, Log Analytics | Ja (auto-enabled) |
|
||||
| **Microsoft Foundry** | Azure Monitor, Log Analytics | Ja (auto-enabled) |
|
||||
| **Azure AI Search** | Resource logs, API requests | Nei (krever diagnostic setting) |
|
||||
|
||||
### Logginnhold: `AzureDiagnostics`-schema
|
||||
|
|
@ -129,7 +129,7 @@ Azure AI Services → Diagnostic Settings → Storage Account (Cool/Archive tier
|
|||
|
||||
```
|
||||
Azure OpenAI → Diagnostic Settings → Log Analytics Workspace
|
||||
Azure AI Foundry → (auto-enabled) → Log Analytics Workspace
|
||||
Microsoft Foundry → (auto-enabled) → Log Analytics Workspace
|
||||
```
|
||||
|
||||
**Fordeler:**
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue