open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 1 Activity

docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)

Browse source 
Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det
gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry»
(/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip.

Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper
«Azure AI» (legger IKKE til «Microsoft») for to produktvarianter:
- «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form)
- «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models»)
- «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg)
- «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry»
- Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models»

Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search»,
«Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)»
i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→
/azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred.

Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE.
Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata),
CHANGELOG.md (historisk logg), STATE.md (gitignored).

3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk
invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96
(alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Kjell Tore Guttormsen 2026-06-23 21:00:27 +02:00
commit 03d596e4ec
233 changed files with 810 additions and 810 deletions
Download patch file Download diff file Expand all files Collapse all files

8
skills/ms-ai-engineering/references/agent-orchestration/agent-autonomy-and-control-governance.md
View file

@ -178,7 +178,7 @@ workflow = (
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
**Guardrails:**
- Default: `Microsoft.DefaultV2` guardrail
@ -299,7 +299,7 @@ workflow = (
| Komponent | Prismodell | Estimat (NOK/måned) |
|-----------|------------|---------------------|
| **Azure AI Foundry Agents** | Per interaction (input/output tokens) | Varierer: GPT-4o ~0.02 NOK/1K tokens |
| **Foundry Agents** | Per interaction (input/output tokens) | Varierer: GPT-4o ~0.02 NOK/1K tokens |
| **Azure Application Insights** | Per GB ingested + retention | ~200-2000 NOK for small-medium agent fleet |
| **Azure API Management (AI Gateway)** | Per gateway instance + calls | Developer: ~400 NOK, Standard: ~6000 NOK |
| **Azure Monitor Alerts** | Per alert rule + notifications | ~10 NOK per rule, email free |
@ -315,7 +315,7 @@ workflow = (
### Lisensiering
**Microsoft Agent Framework:** Open source (MIT-lisens), ingen lisensiering
**Azure AI Foundry:** Pay-as-you-go (consumption-based), ingen upfront lisens
**Microsoft Foundry:** Pay-as-you-go (consumption-based), ingen upfront lisens
**Copilot Studio:** Inkludert i Microsoft 365 Copilot lisens (18 000 NOK/user/år), eller standalone (~2000 NOK/user/år)
## For arkitekten (Cosmo)
@ -420,7 +420,7 @@ workflow = (
|---------|------------|-------------|
| Kontrollnivåer | Verified | Direkte fra Microsoft Learn (Copilot Studio generative orchestration) |
| HITL mekanismer | Verified | Agent Framework docs + code samples |
| Guardrails | Verified | Azure AI Foundry docs |
| Guardrails | Verified | Microsoft Foundry docs |
| Graduated Autonomy Pattern | Baseline | Syntetisert fra best practices, ikke eksplisitt Microsoft pattern |
| Layered Orchestration | Verified | Agent Framework workflow docs |
| Independent Governance Agent | Verified | Responsible AI docs (coordinator agents) |

2
skills/ms-ai-engineering/references/agent-orchestration/agent-compliance-and-audit-trails.md
View file

@ -10,7 +10,7 @@
Compliance og revisjonsspor for AI-agenter er ikke lenger en "nice-to-have" -- det er et regulatorisk krav under EU AI Act, GDPR, og nasjonale regelverk som den norske Forvaltningsloven. Organisasjoner må dokumentere hva agenter gjør, hvilke data de aksesserer, hvilke beslutninger de tar, og hvordan disse beslutningene kan etterprøves. Uten strukturerte revisjonsspor risikerer virksomheter regulatoriske sanksjoner og tap av tillit.
Microsoft tilbyr en governance-stack for agentcompliance gjennom Azure AI Foundry Control Plane for unified agentsynlighet, Microsoft Purview Compliance Manager for regulatorisk mapping, Microsoft Entra Agent ID for identitets- og tilgangsstyring, Azure Monitor og Log Analytics for sentralisert logging, og Microsoft Agent 365 for enterprise-grade agentovervåking. Disse verktøyene til sammen sikrer at enhver agenthandling kan spores tilbake til en spesifikk brukerforespørsel, gjennom agentens resonnering, til det endelige resultatet.
Microsoft tilbyr en governance-stack for agentcompliance gjennom Microsoft Foundry Control Plane for unified agentsynlighet, Microsoft Purview Compliance Manager for regulatorisk mapping, Microsoft Entra Agent ID for identitets- og tilgangsstyring, Azure Monitor og Log Analytics for sentralisert logging, og Microsoft Agent 365 for enterprise-grade agentovervåking. Disse verktøyene til sammen sikrer at enhver agenthandling kan spores tilbake til en spesifikk brukerforespørsel, gjennom agentens resonnering, til det endelige resultatet.
For norsk offentlig sektor er kravene spesielt strenge: Forvaltningsloven krever dokumentasjon av saksbehandling, Arkivloven krever journalføring, Offentlighetsloven gir innsynsrett, og EU AI Act stiller krav til risikostyring og logging av høyrisiko AI-systemer.

8
skills/ms-ai-engineering/references/agent-orchestration/agent-cost-optimization-strategies.md
View file

@ -10,7 +10,7 @@
Kostnadsoptimalisering for agentsystemer er en strategisk nødvendighet ettersom organisasjoner skalerer fra pilot til produksjon. Agenter som involverer flere LLM-kall, RAG-retrievals og verktøyinvokasjoner kan generere betydelige kostnader -- en enkelt kompleks agentforespørsel kan involvere 3-5 modellkall med totalt 5000-20000 tokens. Uten bevisst kostnadsstyring eskalerer utgiftene raskt når brukervolum øker.
Microsoft tilbyr et komplett verktøysett for agentkostnadsoptimalisering: Azure AI Foundry Control Plane med Ask AI-agenten for kostnadsanalyse, Model Router for automatisk modellvalg basert på kvalitet/kostnad, APIM som AI Gateway for token rate limiting og kostnadsallokering, og tiered deployment-modeller (Standard, Provisioned, Global). Foundry-portalen gir direkte sammenligning av modeller med hensyn til både ytelse og kostnad.
Microsoft tilbyr et komplett verktøysett for agentkostnadsoptimalisering: Microsoft Foundry Control Plane med Ask AI-agenten for kostnadsanalyse, Model Router for automatisk modellvalg basert på kvalitet/kostnad, APIM som AI Gateway for token rate limiting og kostnadsallokering, og tiered deployment-modeller (Standard, Provisioned, Global). Foundry-portalen gir direkte sammenligning av modeller med hensyn til både ytelse og kostnad.
For norsk offentlig sektor er kostnadsbevissthet spesielt viktig gitt budsjettrammene i offentlige virksomheter. FinOps-prinsipper tilpasset AI -- med tagging, kostnadsallokering per enhet og budsjettvarslinger -- sikrer at AI-investeringer er sporbare og forsvarlge.
@ -41,7 +41,7 @@ For norsk offentlig sektor er kostnadsbevissthet spesielt viktig gitt budsjettra
### Model Router
```python
# Azure AI Foundry Model Router for automatisk modellvalg
# Microsoft Foundry Model Router for automatisk modellvalg
# Model Router velger dynamisk mellom modeller basert på oppgavekompleksitet
from openai import AzureOpenAI
@ -314,7 +314,7 @@ customEvents
## Foundry Control Plane Kostnadsoptimalisering
Azure AI Foundry Control Plane tilbyr innebygd kostnadsanalyse:
Microsoft Foundry Control Plane tilbyr innebygd kostnadsanalyse:
```
Ask AI agent dialog-eksempler:
@ -379,7 +379,7 @@ budget_alert_config = {
## For Cosmo
- **Model tiering er den viktigste optimaliseringen** -- bruk gpt-4.1-nano/mini for routing og klassifisering, og reserver gpt-4o for kompleks resonnering. Typisk 30-50% kostnadsreduksjon.
- **Model Router** i Azure AI Foundry er det enkleste tiltaket -- det ruter automatisk enkle forespørsler til billigere modeller uten kodeendringer.
- **Model Router** i Microsoft Foundry er det enkleste tiltaket -- det ruter automatisk enkle forespørsler til billigere modeller uten kodeendringer.
- **Token-optimalisering** gjennom komprimerte system prompts og riktige max_tokens-verdier har kumulativ effekt -- 20% tokenreduksjon over millioner av kall er betydelig.
- **Cost attribution med Azure tags** er obligatorisk for offentlig sektor -- spor kostnad per agent, per avdeling, per bruksområde for budsjettering og gevinstrealisering.
- **PTU-deployment** lønner seg typisk ved > 50K forespørsler/dag med stabil trafikk -- under dette er Standard med pay-per-token mer kostnadseffektivt.

12
skills/ms-ai-engineering/references/agent-orchestration/agent-evaluation-testing-frameworks.md
View file

@ -8,11 +8,11 @@
## Introduksjon
Agent-baserte AI-systemer representerer en ny kompleksitet i testing og validering sammenlignet med tradisjonelle deterministic workflows. Der en enkel LLM-applikasjon kun har én inngangspunkt og ett svar, har agenter multippel tool-calling, dynamisk reasoning, multi-turn samtaler, og ikke-deterministisk oppførsel. Microsoft tilbyr et komprehensivt evalueringsrammeverk gjennom Azure AI Evaluation SDK og Azure AI Foundry som håndterer både pre-deployment testing (batch evaluation) og post-deployment monitoring (continuous evaluation).
Agent-baserte AI-systemer representerer en ny kompleksitet i testing og validering sammenlignet med tradisjonelle deterministic workflows. Der en enkel LLM-applikasjon kun har én inngangspunkt og ett svar, har agenter multippel tool-calling, dynamisk reasoning, multi-turn samtaler, og ikke-deterministisk oppførsel. Microsoft tilbyr et komprehensivt evalueringsrammeverk gjennom Azure AI Evaluation SDK og Microsoft Foundry som håndterer både pre-deployment testing (batch evaluation) og post-deployment monitoring (continuous evaluation).
Evalueringsrammeverket støtter tre hovedtyper testing: **System Evaluation** (helhetsoppførsel til agenten), **Process Evaluation** (kvalitet på tool calls og reasoning steps), og **Safety Evaluation** (content safety, jailbreak-resistance, bias). Alle evaluators opererer som LLM judges (typisk GPT-4.1 eller o-series reasoning models) som gir både scores, pass/fail labels, og reasoning explanations.
Azure AI Foundry støtter både Foundry Agent Service (built-in agents), Semantic Kernel agents, og custom agents via OpenAI-style message schema. Evaluering kan kjøres lokalt på utviklermaskinen, i cloud for CI/CD-integrasjon, eller kontinuerlig i produksjon med sampling rates og Azure Monitor Application Insights-integrasjon.
Microsoft Foundry støtter både Foundry Agent Service (built-in agents), Semantic Kernel agents, og custom agents via OpenAI-style message schema. Evaluering kan kjøres lokalt på utviklermaskinen, i cloud for CI/CD-integrasjon, eller kontinuerlig i produksjon med sampling rates og Azure Monitor Application Insights-integrasjon.
## Kjernekomponenter
@ -84,7 +84,7 @@ Alle evaluators returnerer standardisert JSON:
**Ulemper:**
- Koster Azure OpenAI tokens (evaluator LLM calls)
- Krever Azure AI Foundry project setup
- Krever Microsoft Foundry project setup
**Eksempel (Python):**
@ -258,7 +258,7 @@ evaluator = TaskAdherenceEvaluator(
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
- **Evaluation wizard (UI):** No-code batch evaluation med built-in evaluators
- **Trace debugger:** Step-by-step agent execution trace koblet til evaluation scores
@ -360,7 +360,7 @@ results = mlflow.genai.evaluate(
| **Azure OpenAI judge model (gpt-4o)** | Pay-per-token (input + output) | ~200-500 NOK (avhengig av conversation length) |
| **Azure OpenAI judge model (o3-mini)** | Pay-per-token + reasoning tokens | ~500-1200 NOK (høyere pga. extended thinking) |
| **Application Insights** | Data ingestion + retention | ~50-100 NOK/måned (1M traces) |
| **Foundry storage** | Evaluation results + traces | Inkludert i Azure AI Foundry project (ingen ekstra cost) |
| **Foundry storage** | Evaluation results + traces | Inkludert i Microsoft Foundry project (ingen ekstra cost) |
### Cost optimization tips
@ -387,7 +387,7 @@ results = mlflow.genai.evaluate(
| Komponent | Lisens | Krav |
|-----------|--------|------|
| **Azure AI Evaluation SDK** | MIT License (open-source) | Ingen |
| **Azure AI Foundry** | Inkludert i Azure subscription | Azure subscription |
| **Microsoft Foundry** | Inkludert i Azure subscription | Azure subscription |
| **Azure OpenAI** | Pay-as-you-go (per token) | Azure OpenAI access (申请 required) |
| **Application Insights** | Pay-as-you-go (per GB ingested) | Azure subscription |

16
skills/ms-ai-engineering/references/agent-orchestration/agent-feedback-and-learning-loops.md
View file

@ -10,7 +10,7 @@
AI-agenter i produksjon er ikke statiske systemer -- de krever kontinuerlig forbedring basert på reell brukerinteraksjon og ytelsesdata. Feedback-loops er mekanismene som fanger opp signaler fra brukere, evaluatorer og systemmetrikker, og kanaliserer disse tilbake til agentens konfigurasjon, prompts og underliggende modeller. Uten strukturerte feedback-loops degraderer agentytelse over tid ettersom brukerforventninger, datakilder og forretningsregler endres.
Microsoft tilbyr en integrert plattform for kontinuerlig evaluering og forbedring av agenter gjennom Azure AI Foundry, Application Insights og Semantic Kernel. Foundry-plattformen støtter automatisert kvalitetsevaluering i produksjon med innebygde evaluatorer for relevans, koherens og sikkerhet. Kombinert med eksplisitt brukerfeedback (thumbs up/down) og implisitte signaler (avbrutte samtaler, oppfølgingsspørsmål) skaper dette en lukket forbedringssyklus.
Microsoft tilbyr en integrert plattform for kontinuerlig evaluering og forbedring av agenter gjennom Microsoft Foundry, Application Insights og Semantic Kernel. Foundry-plattformen støtter automatisert kvalitetsevaluering i produksjon med innebygde evaluatorer for relevans, koherens og sikkerhet. Kombinert med eksplisitt brukerfeedback (thumbs up/down) og implisitte signaler (avbrutte samtaler, oppfølgingsspørsmål) skaper dette en lukket forbedringssyklus.
For norsk offentlig sektor er feedback-loops kritisk for å sikre at AI-agenter forblir i tråd med Forvaltningslovens krav til forsvarlig saksbehandling og Digitaliseringsdirektoratets prinsipper for ansvarlig AI. Systematisk innsamling av tilbakemeldinger dokumenterer også at organisasjonen aktivt overvåker og forbedrer sine AI-systemer -- et krav under EU AI Act.
@ -18,10 +18,10 @@ For norsk offentlig sektor er feedback-loops kritisk for å sikre at AI-agenter
| Komponent | Formål | Teknologi |
|-----------|--------|-----------|
| Continuous Evaluation | Automatisk kvalitetsmåling i produksjon | Azure AI Foundry Evaluators |
| Continuous Evaluation | Automatisk kvalitetsmåling i produksjon | Microsoft Foundry Evaluators |
| User Feedback Collection | Eksplisitt og implisitt tilbakemelding | Application Insights, custom telemetry |
| Agent Monitoring | Ytelsesovervåking og drift-deteksjon | Azure Monitor, Foundry Control Plane |
| Evaluation Catalog | Sentralisert evaluatorbibliotek | Azure AI Foundry evaluator catalog |
| Evaluation Catalog | Sentralisert evaluatorbibliotek | Microsoft Foundry evaluator catalog |
| Reward Modeling | Scoring av agentresponser for forbedring | Custom evaluators, RLHF-pipelines |
| Retraining Pipeline | Automatisert modelloppgradering | Azure ML Pipelines, MLflow |
@ -29,7 +29,7 @@ For norsk offentlig sektor er feedback-loops kritisk for å sikre at AI-agenter
### Eksplisitt feedback
Eksplisitt feedback er direkte brukerhandlinger som thumbs up/down, rating-skalaer eller fritekstkommentarer. Azure AI Foundry og Copilot Studio har innebygd støtte for å samle denne typen data.
Eksplisitt feedback er direkte brukerhandlinger som thumbs up/down, rating-skalaer eller fritekstkommentarer. Microsoft Foundry og Copilot Studio har innebygd støtte for å samle denne typen data.
```python
# Logge brukerfeedback til MLflow med trace_id
@ -68,9 +68,9 @@ Implisitte signaler fanges opp uten eksplisitt brukerhandling:
# 3. Definer egendefinerte metrikker i analytics-dashboardet
```
## Continuous Evaluation med Azure AI Foundry
## Continuous Evaluation med Microsoft Foundry
Azure AI Foundry tilbyr automatisert kvalitetsevaluering av agenter i produksjon. Evaluatorer kjører kontinuerlig mot produksjonstrafikk og rapporterer resultater til Application Insights.
Microsoft Foundry tilbyr automatisert kvalitetsevaluering av agenter i produksjon. Evaluatorer kjører kontinuerlig mot produksjonstrafikk og rapporterer resultater til Application Insights.
```python
from azure.ai.projects import AIProjectClient
@ -125,7 +125,7 @@ project_client.evaluation.create_agent_evaluation(
### Foundry Control Plane
Azure AI Foundry Control Plane gir unified oversikt over agentflåten:
Microsoft Foundry Control Plane gir unified oversikt over agentflåten:
```python
# Overvåk agentytelse via Azure Monitor
@ -304,7 +304,7 @@ class RAGFeedbackCollector:
## For Cosmo
- **Continuous evaluation er ikke valgfritt** -- det er en forutsetning for produksjonsdeployment. Implementer Azure AI Foundry evaluatorer fra dag 1 med sampling tilpasset risikoprofilen.
- **Continuous evaluation er ikke valgfritt** -- det er en forutsetning for produksjonsdeployment. Implementer Microsoft Foundry evaluatorer fra dag 1 med sampling tilpasset risikoprofilen.
- **Closed-loop feedback** er gullstandarden: identifiser problemer via monitoring, diagnostiser med MLflow traces, forbedre prompts/RAG, valider med evalueringssett, og deploy gradvis.
- **Drift-deteksjon** er spesielt viktig for agenter som bruker RAG -- kunnskapsbaser blir utdaterte, og groundedness-score er den beste indikatoren på dette.
- **Norsk offentlig sektor** krever at feedback-systemer respekterer GDPR og arkivloven -- anonymiser brukerdata og sett klare retensjonspolicies.

4
skills/ms-ai-engineering/references/agent-orchestration/agent-memory-and-context-management.md
View file

@ -480,7 +480,7 @@ Gir data lineage tracking og governance-enforcement.
https://learn.microsoft.com/en-us/agent-framework/tutorials/agents/multi-turn-conversation
Confidence: ✅ Verified (AgentSession for state management)
7. **Azure AI Foundry Agent Service Context Layer**
7. **Foundry Agent Service Context Layer**
https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/build-secure-process
Confidence: ✅ Verified (Hierarchical memory: knowledge, long-term, short-term)
@ -494,7 +494,7 @@ Gir data lineage tracking og governance-enforcement.
|---------|-----------|-------|
| Memory-typer | ✅ Verified | Microsoft Learn docs (Foundry, SK, Agent Framework) |
| Arkitekturmønstre | ✅ Verified | Code samples fra microsoft-learn MCP |
| Foundry Managed Memory | ✅ Verified | Azure AI Foundry Memory docs (preview disclaimer inkludert) |
| Foundry Managed Memory | ✅ Verified | Microsoft Foundry Memory docs (preview disclaimer inkludert) |
| Cosmos DB Chat History | ✅ Verified | Agent Framework integrations, Azure Copilot BYOS |
| Vector Store deprecation | ✅ Verified | Semantic Kernel Memory Stores migration guide |
| Offentlig sektor compliance | 🟡 Baseline | GDPR/AI Act krav (established), Foundry Memory region-support TBD |

10
skills/ms-ai-engineering/references/agent-orchestration/agent-monitoring-observability.md
View file

@ -10,15 +10,15 @@
Observability for agentsystemer går utover tradisjonell applikasjonsovervåking. Agenter opererer probabilistisk, tar dynamiske beslutninger, og produserer ulike outputs for identiske inputs. Denne ikke-deterministiske naturen krever spesialiserte overvåkingsverktøy som fanger ikke bare ytelsesmetrikker, men også beslutningsprosesser, verktøybruk, prompt-respons-par og evalueringskvalitet.
Microsoft tilbyr en komplett observability-stack for agenter gjennom Azure AI Foundry Tracing, Application Insights, Azure Monitor og Microsoft Agent 365. Foundry-plattformen integrerer OpenTelemetry-basert tracing med AI-spesifikke semantiske konvensjoner, slik at hvert LLM-kall, tool-invokasjon og orkestreringsbeslutning fanges som spans i en distribuert trace.
Microsoft tilbyr en komplett observability-stack for agenter gjennom Microsoft Foundry Tracing, Application Insights, Azure Monitor og Microsoft Agent 365. Foundry-plattformen integrerer OpenTelemetry-basert tracing med AI-spesifikke semantiske konvensjoner, slik at hvert LLM-kall, tool-invokasjon og orkestreringsbeslutning fanges som spans i en distribuert trace.
Agent 365 er Microsofts unified plattform for agentobservability på tvers av Copilot Studio, Azure AI Foundry og tredjepartsruntimes. Den gir enterprise-grade governance med sikkerhet, compliance og business impact-metrikker for hele agentflåten.
Agent 365 er Microsofts unified plattform for agentobservability på tvers av Copilot Studio, Microsoft Foundry og tredjepartsruntimes. Den gir enterprise-grade governance med sikkerhet, compliance og business impact-metrikker for hele agentflåten.
## Kjernekomponenter
| Komponent | Formål | Teknologi |
|-----------|--------|-----------|
| Distributed Tracing | Capture full request lifecycle | OpenTelemetry, Azure AI Foundry Tracing |
| Distributed Tracing | Capture full request lifecycle | OpenTelemetry, Microsoft Foundry Tracing |
| Agent Event Logging | Logg agentbeslutninger og handlinger | Application Insights, Log Analytics |
| Performance Profiling | Identifiser flaskehalser | Azure Monitor Metrics, custom spans |
| Error Categorization | Klassifiser og prioriter feil | Azure Monitor Alerts, Sentinel |
@ -27,7 +27,7 @@ Agent 365 er Microsofts unified plattform for agentobservability på tvers av Co
## Distributed Tracing for Agents
### OpenTelemetry-basert tracing med Azure AI Foundry
### OpenTelemetry-basert tracing med Microsoft Foundry
```python
from azure.ai.projects import AIProjectClient
@ -248,7 +248,7 @@ class AgentErrorClassifier:
## Debugging Tools
### Azure AI Foundry Portal
### Microsoft Foundry Portal
Foundry-portalen gir visuell trace-inspeksjon:

4
skills/ms-ai-engineering/references/agent-orchestration/agent-to-agent-a2a-protocol.md
View file

@ -12,7 +12,7 @@ Agent2Agent (A2A) er en åpen standardprotokoll for kommunikasjon og samarbeid m
Kjerneproblemet A2A løser: Agenter er typisk siloer — en agent bygget med Semantic Kernel, en annen med LangChain, en tredje hos en ekstern partner. Uten en felles protokoll kan de ikke kommunisere. A2A gir dem et felles språk: standardisert discovery, meldingsformat, oppgavelivssyklus og sikkerhet — uavhengig av plattform.
Microsoft har implementert A2A-støtte i **Azure AI Foundry Agent Service**, **Copilot Studio**, **Semantic Kernel** og **Teams AI Library**. Azure API Management kan frontes som A2A-gateway med governance og observability.
Microsoft har implementert A2A-støtte i **Foundry Agent Service**, **Copilot Studio**, **Semantic Kernel** og **Teams AI Library**. Azure API Management kan frontes som A2A-gateway med governance og observability.
### Historikk og governance
@ -245,7 +245,7 @@ Valg av protokoll:
## Microsoft-implementasjoner
### Azure AI Foundry Agent Service
### Foundry Agent Service
Foundry støtter A2A som et "tool" agenten kan bruke for å kalle eksterne A2A-endepunkter.

2
skills/ms-ai-engineering/references/agent-orchestration/agent-to-agent-communication.md
View file

@ -295,7 +295,7 @@ GroupChatOrchestration orchestration = new([agent1, agent2, a2aAgent]);
await orchestration.InvokeAsync("Collaborate on this task");
```
### Azure AI Foundry
### Microsoft Foundry
```csharp
// A2A Tool i Foundry agent

4
skills/ms-ai-engineering/references/agent-orchestration/autonomous-workflow-automation-patterns.md
View file

@ -382,9 +382,9 @@ def research_workflow(context: df.DurableOrchestrationContext):
- Fault-tolerant (agenter kan feile og retryes)
- Observerbar (full history i Durable Functions)
### Azure AI Foundry-integrasjon
### Microsoft Foundry-integrasjon
Durable Functions kan orkestrere Azure AI Foundry-tjenester:
Durable Functions kan orkestrere Microsoft Foundry-tjenester:
- **Prompt Flow deployments** (via REST API fra activity functions)
- **Model endpoints** (Azure OpenAI, custom models)
- **Vector stores** (Azure AI Search for RAG-workflows)

10
skills/ms-ai-engineering/references/agent-orchestration/computer-using-agents-cua.md
View file

@ -11,7 +11,7 @@
Computer-Using Agents (CUA) er en ny klasse AI-agenter som automatiserer oppgaver ved å **se på skjermbilder og betjene mus og tastatur** — akkurat som et menneske. I motsetning til tradisjonell automatisering, der agenten kaller API-er eller bruker forhåndsskrevne skript, kan CUA operere på *ethvert* system med et grafisk grensesnitt (GUI), inkludert legacysystemer uten API-støtte.
Microsoft tilbyr CUA gjennom to primære plattformer:
- **Azure AI Foundry Agent Service** — `computer-use-preview`-modellen via Azure OpenAI (preview sep 2025)
- **Foundry Agent Service** — `computer-use-preview`-modellen via Azure OpenAI (preview sep 2025)
- **Copilot Studio** — Computer Use som verktøy i agenter (public preview 2025-05-27, GA 2026-05-07)
Den kritiske verdien: **Dersom et menneske kan bruke et program, kan CUA gjøre det samme** — uten kodeendringer i målsystemet.
@ -147,7 +147,7 @@ Copilot Studio har innebygd **Human Supervision**: CUA-agenten kan eskalere til
---
## Azure AI Foundry Agent Service
## Foundry Agent Service
Foundry Agent Service gir CUA via `computer-use-preview`-modellen:
@ -327,7 +327,7 @@ Copilot Studio — preferert rekkefølge:
| Plattform | Status | Tilgjengelig |
|-----------|--------|--------------|
| **Azure AI Foundry Agent Service** | Public Preview | Sep 2025 |
| **Foundry Agent Service** | Public Preview | Sep 2025 |
| **Azure OpenAI (direkte)** | Public Preview | Sep 2025 |
| **Copilot Studio** | Public Preview | 2025-05-27 |
| **Copilot Studio** | GA | 2026-05-07 |
@ -466,7 +466,7 @@ Power Automate Cloud Flow (orkestrator)
*Estimat basert på Copilot Credits à 0,075 NOK (veiledende). Premiummodell (Claude Opus 4.6) bruker 15 credits/steg — 3× kreditt-kostnaden over.
### Azure AI Foundry Agent Service
### Foundry Agent Service
Kostnader basert på:
- **`computer-use-preview`-modell**: Token-forbruk (input = skjermbilder er store)
@ -507,7 +507,7 @@ Kostnader basert på:
- https://learn.microsoft.com/power-platform/release-plan/2025wave1/microsoft-copilot-studio/automate-web-desktop-apps-computer-use
- Confidence: **Verified** (public preview 2025-05-27, GA 2026-05-07 bekreftet; verifisert MCP 2026-06-19)
8. **Announcing Computer Use tool (Preview) in Azure AI Foundry Agent Service**
8. **Announcing Computer Use tool (Preview) in Foundry Agent Service**
- https://devblogs.microsoft.com/foundry/announcing-computer-use-tool-preview-in-azure-ai-foundry-agent-service/
- Confidence: **Verified** (Microsoft Dev Blog, sep 2025)

4
skills/ms-ai-engineering/references/agent-orchestration/foundry-agent-service-ga.md
View file

@ -1,4 +1,4 @@
# Azure AI Foundry Agent Service (GA)
# Foundry Agent Service (GA)
**Last updated:** 2026-06-18 (currency-verifisert mot Learn)
**Status:** GA — **ny agent-modell** (Prompt agents GA + Hosted agents preview)
@ -17,7 +17,7 @@
## Introduksjon
Azure AI Foundry Agent Service er Microsofts fullt administrerte runtime for å bygge, deploye og skalere AI-agenter i produksjon. Tjenesten nådde General Availability (GA) 19. mai 2025 og er nå kjernen i Microsoft Foundry-plattformen.
Foundry Agent Service er Microsofts fullt administrerte runtime for å bygge, deploye og skalere AI-agenter i produksjon. Tjenesten nådde General Availability (GA) 19. mai 2025 og er nå kjernen i Microsoft Foundry-plattformen.
I stedet for å bygge én monolittisk agent som kan alt, lar Foundry Agent Service deg komponere spesialiserte agenter som samarbeider i strukturerte, langvarige workflows. Tjenesten håndterer infrastruktur, state management, sikkerhet og observability — slik at utviklere kan fokusere på forretningslogikk.

2
skills/ms-ai-engineering/references/agent-orchestration/foundry-workflows-visual-orchestration.md
View file

@ -8,7 +8,7 @@
## Introduksjon
Foundry Workflows er den visuelle orkestreringsdesigneren i Microsoft Foundry (Azure AI Foundry) for å bygge, teste og deploye multi-agent-prosesser uten å skrive orkestreringslogikk for hånd. Annonsert i Public Preview på Microsoft Ignite november 2025, er Workflows bygget på toppen av **Microsoft Agent Framework** og tilbyr en drag-and-drop-kanvas kombinert med YAML-definisjon for team som vil ha en visuell designopplevelse med pro-code-flukt.
Foundry Workflows er den visuelle orkestreringsdesigneren i Microsoft Foundry (Microsoft Foundry) for å bygge, teste og deploye multi-agent-prosesser uten å skrive orkestreringslogikk for hånd. Annonsert i Public Preview på Microsoft Ignite november 2025, er Workflows bygget på toppen av **Microsoft Agent Framework** og tilbyr en drag-and-drop-kanvas kombinert med YAML-definisjon for team som vil ha en visuell designopplevelse med pro-code-flukt.
Den kritiske innsikten er at Foundry Workflows løser et annet problem enn enkelt-agenter: der én agent håndterer ett fokusert problem, koordinerer en Workflow flere spesialiserte agenter, branching-logikk, datatransformasjoner og menneskelige godkjenningstrinn i en **repeterbar, versjonert og observerbar prosess**. Dette er produksjonsnivå-automatisering — ikke prototyping.

2
skills/ms-ai-engineering/references/agent-orchestration/multi-agent-orchestration-patterns.md
View file

@ -553,7 +553,7 @@ scope.RecordOutputMessages(new[] { output });
- Copilot Studio Agents: Included in Power Apps per-user plan, Microsoft 365 Copilot (messages/day limits)
**Foundry Agent Service:**
- Azure AI Foundry: Pay-per-use pricing (model API calls + hosting)
- Microsoft Foundry: Pay-per-use pricing (model API calls + hosting)
- Connected Agents (classic, deprecated 2027-03-31 → Workflows + A2A): Workflow orchestration, pay-per-invocation
**Estimat (eksempel):**

8
skills/ms-ai-engineering/references/agent-orchestration/semantic-kernel-agents-implementation.md
View file

@ -105,7 +105,7 @@ async for message in agent.invoke(user_message, thread):
Microsoft Agent Framework bygger på Semantic Kernel og tilbyr:
- **Multi-agent orchestration**: Sequential, Concurrent, Group Chat, Handoff, Magentic
- **Cloud/provider flexibility**: Cloud-agnostisk (containers, on-prem, multi-cloud) og provider-agnostisk (OpenAI, Azure AI Foundry)
- **Cloud/provider flexibility**: Cloud-agnostisk (containers, on-prem, multi-cloud) og provider-agnostisk (OpenAI, Microsoft Foundry)
- **Enterprise features**: OpenTelemetry, Microsoft Entra, Responsible AI (prompt injection protection, task adherence monitoring)
- **Standards-based interoperability**: A2A protocol, Model Context Protocol (MCP)
@ -270,9 +270,9 @@ Trenger du OpenAI Assistants API features (code interpreter, retrieval)?
## Integrasjon med Microsoft-stacken
### Azure AI Foundry
### Microsoft Foundry
Semantic Kernel-agenter kan bruke Azure AI Foundry-deployments via Azure OpenAI connector:
Semantic Kernel-agenter kan bruke Microsoft Foundry-deployments via Azure OpenAI connector:
```csharp
builder.AddAzureOpenAIChatCompletion(
@ -448,7 +448,7 @@ Kernel agentKernel = sharedKernel.Clone(); // Rebruk AI service connections
- Bruk **Magentic orchestration** med human-in-the-loop for komplekse workflows
- Implementer **Microsoft Agent Framework** for enterprise features (Entra, observability)
- Bygg custom managers for spesialiserte orchestration patterns
- Integrer med Azure AI Foundry evaluations for kvalitetstesting av agenter
- Integrer med Microsoft Foundry evaluations for kvalitetstesting av agenter
**Enterprise** (large-scale deployment):
- Vurder **Microsoft Agent Framework** over Semantic Kernel for standardized observability

2
skills/ms-ai-engineering/references/agent-orchestration/tool-use-and-function-calling-patterns.md
View file

@ -399,7 +399,7 @@ def update_citizen_record(ssn: str, field: str, value: str) -> str:
| **Azure OpenAI** | Function calling | Azure-abonnement + OpenAI deployment |
| **Semantic Kernel** | Plugins, auto-invocation | Open source (MIT), krever AI-modell |
| **Agent Framework** | ChatAgent, tools | Open source, krever AI-modell |
| **Foundry Agent Service** | Managed agents, built-in tools | Azure AI Foundry-lisens |
| **Foundry Agent Service** | Managed agents, built-in tools | Microsoft Foundry-lisens |
| **Copilot Studio** | Actions, Plugins | Power Apps/Power Automate Premium eller Copilot Studio-lisens |
**Kostnadsestimat (NOK, Azure OpenAI gpt-4o):**

4
skills/ms-ai-engineering/references/api-management/apim-ai-gateway-overview.md
View file

@ -12,7 +12,7 @@ Azure API Management (APIM) har utviklet seg fra en tradisjonell API-gateway til
APIM som AI-gateway kombinerer tradisjonelle API Management-funksjoner (autentisering, rate limiting, logging) med spesialiserte AI-kapabiliteter som token-basert kvoteregulering, semantisk caching, multi-modell backend routing og innholdssikkerhet. Microsoft anbefaler APIM som den foretrukne PaaS-løsningen for å bygge og drifte en AI-gateway, fremfor egenutviklede løsninger.
I en typisk enterprise-arkitektur sitter APIM mellom klientapplikasjoner (chatbots, agentrammeverk, RAG-pipelines) og backend AI-tjenester (Azure OpenAI, Azure AI Foundry, tredjepartsmodeller). Dette gir ett enkelt endepunkt for alle konsumenter, uavhengig av hvor mange backend-instanser som finnes bak gatewayen.
I en typisk enterprise-arkitektur sitter APIM mellom klientapplikasjoner (chatbots, agentrammeverk, RAG-pipelines) og backend AI-tjenester (Azure OpenAI, Microsoft Foundry, tredjepartsmodeller). Dette gir ett enkelt endepunkt for alle konsumenter, uavhengig av hvor mange backend-instanser som finnes bak gatewayen.
---
@ -140,7 +140,7 @@ Gjenbruk av LLM-svar basert på semantisk likhet:
│ (AI Gateway) │
Chatbot ─────────────►│ │──► Azure OpenAI (Norway East)
RAG Pipeline ────────►│ - Token limiting │──► Azure OpenAI (Sweden Central)
Copilot Studio ─────►│ - Load balancing │──► Azure AI Foundry
Copilot Studio ─────►│ - Load balancing │──► Microsoft Foundry
Power Automate ─────►│ - Circuit breaker │──► Third-party LLMs
│ - Caching │
│ - Content safety │

2
skills/ms-ai-engineering/references/api-management/developer-portal-ai-apis.md
View file

@ -147,7 +147,7 @@ paths:
model: gpt-4o
messages:
- role: user
content: "Hva er Azure AI Foundry?"
content: "Hva er Microsoft Foundry?"
max_tokens: 500
withSystem:
summary: Med systemprompt

4
skills/ms-ai-engineering/references/azure-ai-services/ai-services-api-best-practices.md
View file

@ -461,9 +461,9 @@ response = client.with_options(max_retries=5).chat.completions.create(...)
## Integrasjon med Microsoft-stakken
### Azure AI Foundry Integration
### Microsoft Foundry Integration
**SDK-er som støtter Azure AI Foundry:**
**SDK-er som støtter Microsoft Foundry:**
- **Python:** `azure-ai-inference`, `openai` (Azure variant)
- **.NET:** `Azure.AI.Inference`, `Azure.AI.OpenAI`

2
skills/ms-ai-engineering/references/azure-ai-services/ai-services-cost-optimization.md
View file

@ -65,7 +65,7 @@ PTU er en kapasitetsbasert prismodell for Azure OpenAI, primært for produksjons
- **Reservasjonsrabatt:** 1-års eller 3-års Azure Reservations gir betydelige rabatter (opptil 50 % besparelse)
**Kapasitetsplanlegging:**
- Bruk **Foundry PTU Calculator** (tilgjengelig i Azure AI Foundry portal)
- Bruk **Foundry PTU Calculator** (tilgjengelig i Microsoft Foundry portal)
- Input: Tokens per minute (TPM), requests per minute (RPM), prompt tokens, completion tokens
- Output: Anbefalt PTU-størrelse
- **Benchmark anbefales** for mest nøyaktig estimat

2
skills/ms-ai-engineering/references/azure-ai-services/ai-services-enterprise-architecture.md
View file

@ -304,7 +304,7 @@ Primary Region (Hot) Secondary Region (Warm)
## Integrasjon med Microsoft-stakken
### Azure AI Foundry Integration
### Microsoft Foundry Integration
**Foundry Agent Service Dependencies (Standard Setup):**
- **Cosmos DB for NoSQL:** Agent state og conversation history (krever zone redundancy)

6
skills/ms-ai-engineering/references/azure-ai-services/ai-services-governance-compliance.md
View file

@ -45,7 +45,7 @@ Microsoft Purview er den sentrale governance-plattformen for AI-applikasjoner i
For å aktivere Purview for Azure AI Services (Foundry):
1. **Via Azure AI Foundry Portal** — Aktiver "Microsoft Purview Data Security" i Control Plane
1. **Via Microsoft Foundry Portal** — Aktiver "Microsoft Purview Data Security" i Control Plane
2. **Via Microsoft Defender for Cloud** — Aktiver "Data Security for Azure AI with Microsoft Purview"
**Viktig:** Krever pay-as-you-go billing i Purview (audit logging er inkludert i Purview-lisensen).
@ -393,9 +393,9 @@ New-DlpComplianceRule -Name "BlockPIIInAIPrompts" `
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
Azure AI Foundry (tidligere Azure AI Studio) er den moderne plattformen for AI-utvikling, med førsteklasses governance-integrasjon.
Microsoft Foundry (tidligere Azure AI Studio) er den moderne plattformen for AI-utvikling, med førsteklasses governance-integrasjon.
**Purview-aktivering:**

6
skills/ms-ai-engineering/references/azure-ai-services/ai-services-monitoring-logging.md
View file

@ -91,7 +91,7 @@ Log Analytics har eget prisingmodell basert på:
- OpenTelemetry-kompatibel APM (Application Performance Monitoring)
- End-to-end transaction tracing
- Client-side telemetri (JavaScript SDK)
- AI agent monitoring (Azure AI Foundry, Copilot Studio)
- AI agent monitoring (Microsoft Foundry, Copilot Studio)
**Sentrale views:**
| View | Formål |
@ -236,7 +236,7 @@ Start med Log Analytics for operational monitoring (30-90 dager). Legg til Stora
- Du bygger en custom applikasjon på toppen av Azure AI Services
- Du trenger end-to-end transaction tracing (fra frontend → API → AI Service → database)
- Du ønsker client-side telemetri (JavaScript i browser)
- Du bygger AI agents (Azure AI Foundry, Copilot Studio)
- Du bygger AI agents (Microsoft Foundry, Copilot Studio)
**Ikke nødvendig hvis:**
- Du kun kjører pre-built AI Services uten custom app-logikk
@ -268,7 +268,7 @@ Portal → Log Analytics workspace → Usage and estimated costs → Data retent
### Azure OpenAI-spesifikt
**Out-of-box dashboards i Azure AI Foundry:**
**Out-of-box dashboards i Microsoft Foundry:**
- **HTTP Requests** – request count, error rates
- **Tokens-Based Usage** – prompt tokens, completion tokens, total tokens
- **PTU Utilization** – Provisioned Throughput Unit-bruk (for provisioned deployments)

4
skills/ms-ai-engineering/references/azure-ai-services/ai-services-networking-security.md
View file

@ -3,7 +3,7 @@
**Last updated:** 2026-06-19 | Verified: MCP 2026-06-19
**Status:** GA
> **Navngivning 2026-04:** Microsoft har omdøpt "Azure Cognitive Services" til **"Azure AI Foundry Tools"** (eller kortform "Foundry Tools") i dokumentasjonen. API-endepunkter, RBAC-roller og ARM-ressurstyper beholder "CognitiveServices" i identifikatoren. Alle nye dokumentasjonsreferanser bruker "Foundry Tools".
> **Navngivning 2026-04:** Microsoft har omdøpt "Azure Cognitive Services" til **"Microsoft Foundry Tools"** (eller kortform "Foundry Tools") i dokumentasjonen. API-endepunkter, RBAC-roller og ARM-ressurstyper beholder "CognitiveServices" i identifikatoren. Alle nye dokumentasjonsreferanser bruker "Foundry Tools".
**Category:** Azure AI Services (Foundry Tools)
@ -283,7 +283,7 @@ Managed identity eliminerer behovet for API-nøkler ved nettverksikrede tilkobli
## Integrasjon med Microsoft-stakken
### 1. Azure AI Foundry (tidligere AI Studio)
### 1. Microsoft Foundry (tidligere AI Studio)
**Portal-tilgang med private endpoints:**
- Custom subdomain må brukes i alle API-kall

30
skills/ms-ai-engineering/references/azure-ai-services/ai-services-vs-foundry-tools-selection.md
View file

@ -8,13 +8,13 @@
## Introduksjon
Microsoft tilbyr flere nivåer av AI-tjenester under paraplynavnet "Azure AI Services" (tidligere Cognitive Services). Denne guiden klargjør forskjellen mellom de tre hovedplattformene: **Foundry Tools** (individuelle AI-tjenester), **Azure AI Foundry** (plattform), og **Azure OpenAI** (generativ AI-tjeneste).
Microsoft tilbyr flere nivåer av AI-tjenester under paraplynavnet "Azure AI Services" (tidligere Cognitive Services). Denne guiden klargjør forskjellen mellom de tre hovedplattformene: **Foundry Tools** (individuelle AI-tjenester), **Microsoft Foundry** (plattform), og **Azure OpenAI** (generativ AI-tjeneste).
**Forvirring i bransjen:** Begrepet "Azure AI Services" brukes både som samlebetegnelse for alle AI-tjenester OG som teknisk ressurstype (kind: AIServices). Microsoft har nylig endret terminologi fra "Cognitive Services" til "Foundry Tools" for enkelttjenester.
### Nøkkelforskjeller i kortform
| Aspekt | Foundry Tools | Azure AI Foundry | Azure OpenAI |
| Aspekt | Foundry Tools | Microsoft Foundry | Azure OpenAI |
|--------|---------------|------------------|--------------|
| **Type** | Enkeltstående AI-tjenester (API/SDK) | Unified development platform (PaaS) | Generativ AI-tjeneste |
| **Målgruppe** | Utviklere (begrenset AI-kompetanse ok) | Utviklere + data scientists | Utviklere + data scientists |
@ -60,7 +60,7 @@ Microsoft tilbyr flere nivåer av AI-tjenester under paraplynavnet "Azure AI Ser
---
### 2. Azure AI Foundry
### 2. Microsoft Foundry
**Definisjon:** Unified platform for å bygge, deploye og forvalte generativ AI og nongenerativ AI-applikasjoner. Kombinerer agents, models, tools, observability, og governance i én PaaS-løsning.
@ -68,7 +68,7 @@ Microsoft tilbyr flere nivåer av AI-tjenester under paraplynavnet "Azure AI Ser
```
┌─────────────────────────────────────────────────┐
│ Azure AI Foundry Platform │
│ Microsoft Foundry Platform │
├─────────────────────────────────────────────────┤
│ Authoring Layer │
│ - Foundry Portal (ai.azure.com) │
@ -318,13 +318,13 @@ START: Hvilken AI-kapabilitet trenger du?
│ │ └─ Velg: Azure OpenAI (standalone resource)
│ │
│ └─ Behov for agents/workflows/multi-step reasoning?
│ └─ Velg: Azure AI Foundry (inkluderer Azure OpenAI)
│ └─ Velg: Microsoft Foundry (inkluderer Azure OpenAI)
│
├─ RAG-applikasjon over bedriftseget data
│ └─ Velg: Azure AI Foundry + Azure AI Search
│ └─ Velg: Microsoft Foundry + Azure AI Search
│
├─ Multi-agent system / agentic workflows
│ └─ Velg: Azure AI Foundry (Agent Service + workflows)
│ └─ Velg: Microsoft Foundry (Agent Service + workflows)
│
└─ Custom ML-modeller (trening, deploy)
└─ Velg: Azure Machine Learning (ikke dekket i denne guiden)
@ -334,7 +334,7 @@ START: Hvilken AI-kapabilitet trenger du?
### Sammenligningstabell: Detaljerte beslutningskriterier
| Kriterium | Foundry Tools | Azure AI Foundry | Azure OpenAI |
| Kriterium | Foundry Tools | Microsoft Foundry | Azure OpenAI |
|-----------|---------------|------------------|--------------|
| **Teknisk kompetanse** | Utvikler (basic) | Utvikler + Data Science | Utvikler + Data Science |
| **Setup-tid** | Timer | Dager | Timer |
@ -361,7 +361,7 @@ START: Hvilken AI-kapabilitet trenger du?
|-------|-------------------|-------------|
| **Standard formularer** (faktura, kvittering) | Document Intelligence (Foundry Tools) | Prebuilt models, høy nøyaktighet, confidence scores |
| **Komplekse dokumenter** (ustrukturert tekst, infererte felt) | Content Understanding (Foundry Tools) | Multimodal, generative fields, reasoning (GA: v1.0 / 2025-11-01) |
| **Custom workflow** (dokument → analyse → generering) | Azure AI Foundry (Document Intelligence + GPT-4o) | Full kontroll over pipeline |
| **Custom workflow** (dokument → analyse → generering) | Microsoft Foundry (Document Intelligence + GPT-4o) | Full kontroll over pipeline |
**Confidence:** Høy (basert på "Choose the right tool for document processing" guide)
@ -373,7 +373,7 @@ START: Hvilken AI-kapabilitet trenger du?
|-------|-------------------|-------------|
| **Enkel FAQ-bot** | QnA Maker (utgått) → Language Understanding | Prebuilt intent detection |
| **Kontekstuell chat** (multi-turn) | Azure OpenAI (GPT-4o) + custom API | LLM-basert dialog |
| **Agent med handlinger** (ticket creation, CRM-integrasjon) | Azure AI Foundry Agent Service | Tool calling, Logic Apps-integrasjon |
| **Agent med handlinger** (ticket creation, CRM-integrasjon) | Foundry Agent Service | Tool calling, Logic Apps-integrasjon |
**Confidence:** Middels-Høy (basert på best practices, ikke eksplisitt dokumentert i én kilde)
@ -407,7 +407,7 @@ START: Hvilken AI-kapabilitet trenger du?
---
### 2. Azure AI Foundry integrasjon
### 2. Microsoft Foundry integrasjon
| Produkt | Integrert gjennom | Bruksområde |
|---------|-------------------|-------------|
@ -443,7 +443,7 @@ START: Hvilken AI-kapabilitet trenger du?
### Compliance og datahåndtering
| Aspekt | Foundry Tools | Azure AI Foundry | Azure OpenAI |
| Aspekt | Foundry Tools | Microsoft Foundry | Azure OpenAI |
|--------|---------------|------------------|--------------|
| **Data residency** | ✅ Regional (Norge-soner) | ✅ Regional (unntatt global models) | ✅ Regional (unntatt Global Standard) |
| **GDPR-compliance** | ✅ Ja | ✅ Ja | ✅ Ja |
@ -523,7 +523,7 @@ START: Hvilken AI-kapabilitet trenger du?
| Plattform | Prismodell | Typisk kostnad (produksjon/måned) | Inkludert |
|-----------|------------|-----------------------------------|-----------|
| **Foundry Tools** | Pay-per-use eller Commitment | 5 000 - 50 000 NOK | API-kall, data processing |
| **Azure AI Foundry** | Token-basert (via Azure OpenAI/modeller) | 50 000 - 500 000 NOK | Models, agent runtime, observability |
| **Microsoft Foundry** | Token-basert (via Azure OpenAI/modeller) | 50 000 - 500 000 NOK | Models, agent runtime, observability |
| **Azure OpenAI** | Token-basert eller PTU | 20 000 - 200 000 NOK | LLM inference, embeddings |
**Faktorer som påvirker kostnad:**
@ -552,7 +552,7 @@ START: Hvilken AI-kapabilitet trenger du?
**Eksempel: RAG-applikasjon for 1000 ansatte (intern kunnskapsbase)**
| Komponent | Foundry Tools (hybrid) | Azure AI Foundry | Differanse |
| Komponent | Foundry Tools (hybrid) | Microsoft Foundry | Differanse |
|-----------|------------------------|------------------|-----------|
| **Azure-ressurser** | 360 000 NOK | 1 200 000 NOK | +840k |
| **Lisenser** | M365 E3 (eksisterende) | M365 E3 (eksisterende) | 0 |
@ -585,7 +585,7 @@ START: Hvilken AI-kapabilitet trenger du?
---
### Når anbefaler du Azure AI Foundry?
### Når anbefaler du Microsoft Foundry?
✅ **Bruk Foundry når:**
- Kunden trenger **multi-agent systemer** eller **agentic workflows**

4
skills/ms-ai-engineering/references/azure-ai-services/content-understanding-multimodal-analysis.md
View file

@ -272,10 +272,10 @@ Trenger du real-time analyse?
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
Content Understanding er en core Foundry service, tilgjengelig via:
- **Azure AI Foundry portal**: GUI for testing analyzers, viewing results
- **Microsoft Foundry portal**: GUI for testing analyzers, viewing results
- **Foundry SDK** (Python, .NET): `ContentUnderstandingClient` klasse
- **REST API**: `POST /contentunderstanding/analyzers/{analyzerId}:analyze`

2
skills/ms-ai-engineering/references/azure-ai-services/document-intelligence-custom-models.md
View file

@ -205,7 +205,7 @@ POST https://{endpoint}/documentintelligence/documentModels:build?api-version=20
## Integrasjon med Microsoft-stakken
### Azure AI Foundry (tidligere Azure ML)
### Microsoft Foundry (tidligere Azure ML)
```python
# Deploy custom model i AI Foundry project

2
skills/ms-ai-engineering/references/azure-ai-services/document-intelligence-prebuilt-models.md
View file

@ -15,7 +15,7 @@ Azure AI Document Intelligence tilbyr forhåndsbyggede (prebuilt) modeller som b
Prebuilt-modellene er "out-of-the-box" løsninger som kan brukes umiddelbart, i motsetning til custom models som må trenes på egne data. De støtter 27 språk og håndterer ulike formater: skannet, fotografert, håndskrevet og digitale PDF-dokumenter. Version v4.0 (GA: 2024-11-30) introduserte nye felt som `ReceiptType`, `TaxDetails`, og VAT-ekstraksjon for hotellkvitteringer.
Document Intelligence er del av Azure AI Foundry Tools og fungerer som en IDP (Intelligent Document Processing) plattform som kombinerer OCR, struktur-ekstraksjon og domene-spesifikke modeller for skalerbare dokumentløsninger.
Document Intelligence er del av Microsoft Foundry Tools og fungerer som en IDP (Intelligent Document Processing) plattform som kombinerer OCR, struktur-ekstraksjon og domene-spesifikke modeller for skalerbare dokumentløsninger.
---

6
skills/ms-ai-engineering/references/azure-ai-services/language-services-custom-text-classification.md
View file

@ -3,7 +3,7 @@
**Last updated:** 2026-04 | Verified: MCP 2026-04
**Status:** GA — avvikles 31. mars 2029
> **ADVARSEL — TJENESTE AVVIKLES:** Custom Text Classification og Custom Named Entity Recognition (NER) avvikles **31. mars 2029**. Migrer til Azure AI Foundry-modeller (prompt-basert klassifisering og NER med GPT-4o eller GPT-4.1). Se [migrasjonsveiledning](https://learn.microsoft.com/azure/ai-services/language-service/custom-text-classification/how-to/migrate-azure-openai) for detaljer.
> **ADVARSEL — TJENESTE AVVIKLES:** Custom Text Classification og Custom Named Entity Recognition (NER) avvikles **31. mars 2029**. Migrer til Microsoft Foundry-modeller (prompt-basert klassifisering og NER med GPT-4o eller GPT-4.1). Se [migrasjonsveiledning](https://learn.microsoft.com/azure/ai-services/language-service/custom-text-classification/how-to/migrate-azure-openai) for detaljer.
**Category:** Azure AI Services (Foundry Tools)
---
@ -229,9 +229,9 @@ for doc_result in result:
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
Custom Text Classification og Custom NER er **Foundry Tools** — de er tilgjengelige både i stand-alone Language Studio og i Azure AI Foundry portal. I Foundry kan du:
Custom Text Classification og Custom NER er **Foundry Tools** — de er tilgjengelige både i stand-alone Language Studio og i Microsoft Foundry portal. I Foundry kan du:
- Opprette prosjekt fra unified interface (ai.azure.com)
- Kombinere med andre Azure AI-tjenester i samme workflow

4
skills/ms-ai-engineering/references/azure-ai-services/language-services-question-answering.md
View file

@ -3,7 +3,7 @@
**Last updated:** 2026-04 | Verified: MCP 2026-04
**Status:** GA — avvikles 31. mars 2029
> **ADVARSEL — TJENESTE AVVIKLES:** Custom Question Answering (CQA) avvikles **31. mars 2029**. Migrer til Azure AI Foundry-baserte løsninger: Agentic Retrieval, Azure AI Search + GPT-4o RAG-pipeline, eller AI Foundry Knowledge Retrieval. Se [migrasjonsveiledning](https://learn.microsoft.com/azure/ai-services/language-service/question-answering/how-to/migrate-qnamaker-to-question-answering) for detaljer.
> **ADVARSEL — TJENESTE AVVIKLES:** Custom Question Answering (CQA) avvikles **31. mars 2029**. Migrer til Microsoft Foundry-baserte løsninger: Agentic Retrieval, Azure AI Search + GPT-4o RAG-pipeline, eller AI Foundry Knowledge Retrieval. Se [migrasjonsveiledning](https://learn.microsoft.com/azure/ai-services/language-service/question-answering/how-to/migrate-qnamaker-to-question-answering) for detaljer.
**Category:** Azure AI Services (Foundry Tools)
---
@ -331,7 +331,7 @@ var response = await qnaMaker.GetAnswersAsync(turnContext, options);
**Begrensning:** QnA Maker native integration er deprecated, må bruke REST API-tilkobling.
### Azure AI Foundry (AI Studio)
### Microsoft Foundry (AI Studio)
**Deployment-sti:**
1. Language Studio → Deploy knowledge base → REST endpoint

8
skills/ms-ai-engineering/references/azure-ai-services/language-services-text-analytics.md
View file

@ -3,7 +3,7 @@
**Last updated:** 2026-06-19 | Verified: MCP 2026-06-19
**Status:** GA (deler avvikles 2029-03-31)
> **ADVARSEL — TJENESTER AVVIKLES (2029-03-31):** Sentiment Analysis, Opinion Mining og Custom Text Classification avvikles 31. mars 2029. Migrer til Azure AI Foundry-modeller. PII Detection, Key Phrase Extraction og Language Detection er ikke berørt.
> **ADVARSEL — TJENESTER AVVIKLES (2029-03-31):** Sentiment Analysis, Opinion Mining og Custom Text Classification avvikles 31. mars 2029. Migrer til Microsoft Foundry-modeller. PII Detection, Key Phrase Extraction og Language Detection er ikke berørt.
**Category:** Azure AI Services (Foundry Tools)
---
@ -12,7 +12,7 @@
Azure AI Language er en samling av forhåndsopplærte språkmodeller som gjør det mulig å utføre avansert tekstanalyse uten å bygge egne maskinlæringsmodeller. Tjenesten tilbyr flere kjernekapabiliteter for text analytics: **Sentiment Analysis** (med opinion mining), **Key Phrase Extraction**, **Named Entity Recognition (NER)**, og **Language Detection**.
Disse kapabilitetene er tilgjengelige både som cloud-baserte REST API-er, SDK-er (C#, Java, Python, JavaScript), og Docker-containere for on-premises deployment. Tjenesten integreres sømløst med Azure AI Foundry, Azure Synapse Analytics, Power BI, og Microsoft Fabric, noe som gjør den egnet for både interactive playgrounds og produksjonsworkflows.
Disse kapabilitetene er tilgjengelige både som cloud-baserte REST API-er, SDK-er (C#, Java, Python, JavaScript), og Docker-containere for on-premises deployment. Tjenesten integreres sømløst med Microsoft Foundry, Azure Synapse Analytics, Power BI, og Microsoft Fabric, noe som gjør den egnet for både interactive playgrounds og produksjonsworkflows.
Text analytics-funksjonene er stateless — ingen data lagres i kontoen din, og resultater returneres umiddelbart etter analyse. For batch-operasjoner er resultatene tilgjengelige i 24 timer før de slettes automatisk. Tjenesten støtter 94+ språk for key phrase extraction, med bred språkstøtte også for sentiment analysis og NER.
@ -188,7 +188,7 @@ Console.WriteLine($"Sentiment: {response.Value.Sentiment}");
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
Language Services er integrert i Foundry Playground med visuell testing av sentiment, key phrases, og NER uten kode.
@ -356,7 +356,7 @@ Language Services bruker **pay-per-call** modell (per text record).
### Anbefalinger per modenhetsnivå
#### Nivå 1: Exploring (POC, <1000 records/måned)
- **Anbefaling:** Free F0 tier + Azure AI Foundry Playground
- **Anbefaling:** Free F0 tier + Microsoft Foundry Playground
- **Verktøy:** REST API via Postman eller Foundry web UI
- **Fokus:** Teste om sentiment/key phrases gir verdi for use case
- **Advarsler:** Ikke bygg produksjonsapp på Free tier (5000 records/mnd cap)

4
skills/ms-ai-engineering/references/azure-ai-services/speech-services-speaker-recognition.md
View file

@ -189,10 +189,10 @@ Reject → Fallback til PIN-kode
## Integrasjon med Microsoft-stakken
### Azure AI Foundry Integration
### Microsoft Foundry Integration
```plaintext
Azure AI Foundry → Speech resource → Speaker Recognition
Microsoft Foundry → Speech resource → Speaker Recognition
├── Custom Neural Voice: Bruker Speaker Verification for voice talent consent
├── Personal Voice: Validerer at consent audio matcher training prompt
└── Teams Intelligent Speaker: Attribution via Identification API

4
skills/ms-ai-engineering/references/azure-ai-services/speech-services-speech-to-text.md
View file

@ -232,9 +232,9 @@ Tilgjengelig i fast transcription (API version 2025-10-15).
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
Speech Services er en **Foundry Tool** i Azure AI Foundry. Du kan:
Speech Services er en **Foundry Tool** i Microsoft Foundry. Du kan:
- Koble eksisterende Speech resource til Foundry project
- Teste real-time og fast transcription i Foundry portal
- Bringe custom speech models fra Speech Studio til Foundry

4
skills/ms-ai-engineering/references/azure-ai-services/speech-services-text-to-speech.md
View file

@ -11,7 +11,7 @@
## Introduksjon
Azure Speech Services sitt Text-to-Speech (TTS) API konverterer tekst til naturlig syntetisk tale ved hjelp av deep neural networks. Tjenesten er en del av Azure AI Foundry Tools og tilbyr over 400 stemmer på 140+ språk og dialekter. TTS gjør det mulig å lage applikasjoner som leser opp tekst, generere lydbøker, bygge chatbots med naturlig tale, og forbedre tilgjengelighet.
Azure Speech Services sitt Text-to-Speech (TTS) API konverterer tekst til naturlig syntetisk tale ved hjelp av deep neural networks. Tjenesten er en del av Microsoft Foundry Tools og tilbyr over 400 stemmer på 140+ språk og dialekter. TTS gjør det mulig å lage applikasjoner som leser opp tekst, generere lydbøker, bygge chatbots med naturlig tale, og forbedre tilgjengelighet.
Kjernen i moderne TTS er neural voices som bruker dype nevrale nettverk for å overkomme begrensningene til tradisjonell talesyntese når det gjelder stress og intonasjon. Prosody-prediksjon og stemmesyntese skjer samtidig, noe som gir mer flytende og naturlige resultater. Hvert standard neural voice-modell er tilgjengelig i 24 kHz og høy-fidelitet 48 kHz, og output kan opp- eller ned-samples til andre formater.
@ -221,7 +221,7 @@ await fileSynthesizer.SpeakTextAsync("This goes to a file");
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
- TTS er innebygd i AI Foundry Playground
- Testverktøy: Speech Studio Voice Gallery, Audio Content Creation

6
skills/ms-ai-engineering/references/azure-ai-services/translator-custom-neural-models.md
View file

@ -175,9 +175,9 @@ Body:
**CategoryID-format:** `{WorkspaceID}-{ProjectLabel}-{CategoryCode}`
- Eksempel: `a2eb72f9-43a8-46bd-82fa-4693c8b64c3c-TECH`
### Azure AI Foundry Integration
### Microsoft Foundry Integration
Custom Translator er tilgjengelig i Azure AI Foundry (klassisk portal) for no-code workflows:
Custom Translator er tilgjengelig i Microsoft Foundry (klassisk portal) for no-code workflows:
- Drag-and-drop document upload
- Visual BLEU-score comparison
- Test-grensesnitt med side-by-side comparison (custom vs. baseline)
@ -304,7 +304,7 @@ Eksempel (10,000 setninger training + 2,500 tuning + 2,500 testing = 15,000 setn
**Modenhet 1 - Startup/Pilot (0-6 måneder):**
- Start med **dictionary-only** hvis &lt;10k setninger tilgjengelig
- Velg **ett enkelt domene** for proof-of-concept
- Bruk Azure AI Foundry no-code portal for rask iterasjon
- Bruk Microsoft Foundry no-code portal for rask iterasjon
- Mål: Etablere at custom translation gir målbar forbedring
**Modenhet 2 - Operasjonalisering (6-18 måneder):**

4
skills/ms-ai-engineering/references/azure-ai-services/translator-document-translation.md
View file

@ -174,7 +174,7 @@ General translation Domain-specific terms
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
- Document Translation tilgjengelig via **Foundry (classic)** portal — no-code playground
- **Foundry (new)** støtter kun forhåndsdefinerte språk med sample-dokumenter (ikke egne filer)
@ -309,7 +309,7 @@ General translation Domain-specific terms
8. **Post-editing workflow:**
"Skal oversettelsene gjennomgås av mennesker før publisering?"
→ Planlegg for human-in-the-loop (HITL) — Azure AI Foundry + Custom Translator har review-funksjoner.
→ Planlegg for human-in-the-loop (HITL) — Microsoft Foundry + Custom Translator har review-funksjoner.
### Fallgruver å unngå

2
skills/ms-ai-engineering/references/data-engineering/data-anonymization-privacy.md
View file

@ -549,7 +549,7 @@ def privacy_check_before_deployment(model_artifacts_path: str) -> dict:
## Referanser
- [What is Azure Language PII detection?](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/overview) -- PII-deteksjon og maskering
- [PII filter in Azure AI Foundry](https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/content-filter-personal-information) -- PII-filtrering for LLM-er
- [PII filter in Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/content-filter-personal-information) -- PII-filtrering for LLM-er
- [Responsible AI - Privacy and security](https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai) -- SmartNoise og Counterfit
- [Data privacy for cloud-scale analytics](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/cloud-scale-analytics/secure-data-privacy) -- Dataklassifisering og konfidensialitetsskjema
- [PII entity categories](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/concepts/entity-categories) -- Alle stottede PII-kategorier

4
skills/ms-ai-engineering/references/data-engineering/data-factory-ai-pipelines.md
View file

@ -250,9 +250,9 @@ Event Hubs ───▶ Stream Analytics ───▶ Azure ML Online Endpoint
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
**Pattern:** Data Factory → Azure AI Foundry evaluation run
**Pattern:** Data Factory → Microsoft Foundry evaluation run
```json
{

2
skills/ms-ai-engineering/references/data-engineering/fabric-lakehouse-architecture.md
View file

@ -160,7 +160,7 @@ For store organisasjoner kan lakehouse-arkitektur kombineres med data mesh patte
| Tjeneste | Integrasjonspunkt | Use Case |
|----------|-------------------|----------|
| **Azure Machine Learning** | Read Lakehouse tables via `azureml-fsspec` | Model training på curated Gold layer data |
| **Azure AI Foundry** | OneLake shortcuts til Foundry projects | Unified data access for prompt flow og vector indexes |
| **Microsoft Foundry** | OneLake shortcuts til Foundry projects | Unified data access for prompt flow og vector indexes |
| **Copilot Studio** | Power Automate triggers fra Lakehouse | Automated workflows basert på data events |
| **Power BI** | Direct Lake mode (native på Lakehouse) | In-memory performance uten separate import |
| **Azure Databricks** | OneLake shortcuts (read Fabric data fra Databricks) | Interop med eksisterende Databricks workloads |

4
skills/ms-ai-engineering/references/data-engineering/onelake-data-strategy.md
View file

@ -348,8 +348,8 @@ Lakehouse: RAG_Data
## Integrasjon med Microsoft-stakken
### Azure AI Foundry + OneLake
**Scenario:** Azure AI Foundry project trenger tilgang til Lakehouse data.
### Microsoft Foundry + OneLake
**Scenario:** Microsoft Foundry project trenger tilgang til Lakehouse data.
**Integration points:**
1. **OneLake Datastore (Azure ML SDK):**

4
skills/ms-ai-engineering/references/data-engineering/zero-etl-fabric-patterns.md
View file

@ -289,7 +289,7 @@ Har du en støttet kilde (SQL, Cosmos, Snowflake)?
## Integrasjon med Microsoft-stakken
### 1. Azure AI Foundry
### 1. Microsoft Foundry
**Scenario:** RAG-basert chatbot som trenger sanntidstilgang til produktkatalog i Azure SQL.
@ -300,7 +300,7 @@ Azure SQL Database (product catalog)
│
└─► Azure AI Search (indexing)
│
└─► Azure AI Foundry (RAG)
└─► Microsoft Foundry (RAG)
│
└─► Chatbot (GPT-4o)
```

16
skills/ms-ai-engineering/references/mlops-genaiops/ab-testing-llm-applications.md
View file

@ -74,12 +74,12 @@ For GenAI-applikasjoner er automatisert evaluering utfordrende. Microsoft tilbyr
| Metode | Teknologi | Styrke | Svakhet |
|--------|-----------|--------|---------|
| **LLM-as-judge** | Azure AI Foundry evaluators, Databricks judges | Fanger subjektive kvaliteter (relevans, coherence) | Kan være bias, kostbar |
| **LLM-as-judge** | Microsoft Foundry evaluators, Databricks judges | Fanger subjektive kvaliteter (relevans, coherence) | Kan være bias, kostbar |
| **Rule-based scorers** | BLEU, ROUGE, exact match | Rask, reproducerbar | Fanger ikke semantikk eller tonalitet |
| **Human evaluation** | Azure AI Foundry thumbs up/down, red teaming | Gullstandard for kvalitet | Skalerer ikke, dyr |
| **Human evaluation** | Microsoft Foundry thumbs up/down, red teaming | Gullstandard for kvalitet | Skalerer ikke, dyr |
| **Business metrics** | Conversion rate, task completion, bounce rate | Måler faktisk verdi | Påvirkes av faktorer utenfor modellen |
**Azure AI Foundry safety evaluations** støtter automatisert vurdering av:
**Microsoft Foundry safety evaluations** støtter automatisert vurdering av:
- Groundedness (hallucination detection)
- Relevance (til brukerspørsmål)
- Safety (harmful content, jailbreaks)
@ -246,7 +246,7 @@ deployment = ManagedOnlineDeployment(
)
```
### Azure AI Foundry (tidligere Azure OpenAI Studio)
### Microsoft Foundry (tidligere Azure OpenAI Studio)
For LLM-baserte applikasjoner tilbyr **Foundry Evaluations**:
- **Pre-built evaluators** for groundedness, relevance, safety
@ -310,7 +310,7 @@ Hvis AI-systemet er høyrisiko (f.eks. offentlig forvaltning, kritisk infrastruk
- **Dokumentasjon:** Logg hvilke modeller som ble testet, når, med hvilke resultater (traceability)
- **Bias monitoring:** Vurder om A/B-test favoriserer visse brukergrupper (f.eks. språk, dialekt)
**Anbefaling:** Bruk Azure AI Foundry **fairness evaluators** til å sjekke bias før og etter A/B-test.
**Anbefaling:** Bruk Microsoft Foundry **fairness evaluators** til å sjekke bias før og etter A/B-test.
### Utredningsinstruksen
@ -345,7 +345,7 @@ Hvis A/B-testen involverer endring av tjenestekvalitet (f.eks. chatbot i NAV), k
Krever:
- **Azure subscription** (Pay-as-you-go eller Enterprise Agreement)
- **Azure Machine Learning workspace** (gratis, betaler kun for underliggende compute)
- **Azure AI Foundry** (gratis portal, betaler for model inference og evaluations)
- **Microsoft Foundry** (gratis portal, betaler for model inference og evaluations)
**Ingen ekstra lisens** for A/B-testing-funksjonen selv.
@ -395,7 +395,7 @@ Krever:
|----------|---------------------|---------|
| **Nivå 1: Ad-hoc** | Manuell canary deployment, offline-evaluering | Azure ML SDK, manual traffic adjustment |
| **Nivå 2: Repetitiv** | Automatisert canary via CI/CD, pre-defined metrics | Azure DevOps pipelines, Azure ML CLI, Prompt Flow |
| **Nivå 3: Definert** | Shadow deployment + canary, LLM-as-judge, human eval | Azure AI Foundry evaluations, custom scoring scripts |
| **Nivå 3: Definert** | Shadow deployment + canary, LLM-as-judge, human eval | Microsoft Foundry evaluations, custom scoring scripts |
| **Nivå 4: Styrt** | Multi-armed bandit, adaptive rollout, automatic rollback | Custom logic (Azure Functions), Azure Monitor alerts |
| **Nivå 5: Optimalisert** | Continuous experimentation, automated model selection | MLOps platform (Kubeflow, MLflow), integrated with Azure ML |
@ -427,7 +427,7 @@ Krever:
**Konfidensnivå:** Verified
**Relevans:** A/B testing som del av "Validate & Deploy" fase
6. [Azure AI Foundry safety and security evaluations](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/develop/flow-evaluate-sdk#built-in-evaluators)
6. [Microsoft Foundry safety and security evaluations](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/develop/flow-evaluate-sdk#built-in-evaluators)
**Konfidensnivå:** Verified
**Relevans:** Built-in evaluators for LLM quality

6
skills/ms-ai-engineering/references/mlops-genaiops/data-drift-monitoring-detection.md
View file

@ -203,8 +203,8 @@ Eksempel Event Grid filter (advanced filter):
- Operator: `String contains`
- Value: `has failed due to one or more features violating metric thresholds`
**Azure AI Foundry (tidligere Azure AI Studio)** (Baseline + Verified)
For generative AI workloads: Azure AI Foundry har egen monitoring med observability features og generation quality metrics (groundedness, relevance, fluency). Støtter også drift detection for grounding data i RAG scenarios.
**Microsoft Foundry (tidligere Azure AI Studio)** (Baseline + Verified)
For generative AI workloads: Microsoft Foundry har egen monitoring med observability features og generation quality metrics (groundedness, relevance, fluency). Støtter også drift detection for grounding data i RAG scenarios.
**Power BI Dashboards** (Baseline)
Export drift metrics fra Azure ML til Power BI for executive dashboards. Koble til workspace blob storage (JSON metrics output) eller Application Insights.
@ -306,7 +306,7 @@ Data drift monitoring er inkludert i Azure Machine Learning (ingen separat lisen
| Høy trafikk (>1M/dag) | Daglig monitoring med serverless Spark e8s_v3 |
| Lav trafikk (<10K/dag) | Ukentlig monitoring med serverless Spark e4s_v3 |
| Ground truth tilgjengelig | Legg til model performance signal (objektiv måling) |
| Generative AI (RAG) | Bruk Azure AI Foundry monitoring (groundedness, relevance) |
| Generative AI (RAG) | Bruk Microsoft Foundry monitoring (groundedness, relevance) |
**Fallgruver å unngå:**
- ❌ **Ikke** start monitoring uten å definere baseline-data (training data vs. recent production)

8
skills/ms-ai-engineering/references/mlops-genaiops/feedback-loops-continuous-improvement.md
View file

@ -76,7 +76,7 @@ mlflow.log_feedback(
**Azure-tjenester:**
- **MLflow Datasets:** Versjonert lagring av eval-datasett i Unity Catalog
- **Azure AI Foundry Agent Evaluation:** Evaluering med LLM judges (correctness, relevance, groundedness, safety)
- **Foundry Agent Evaluation:** Evaluering med LLM judges (correctness, relevance, groundedness, safety)
- **Databricks Review App:** Samle feedback fra domeneeksperter på produksjonstracer
**Best practices:**
@ -450,7 +450,7 @@ monitor_definition = MonitorDefinition(
)
```
### Azure AI Foundry (GenAI)
### Microsoft Foundry (GenAI)
**Feedback loop-komponenter:**
@ -459,7 +459,7 @@ monitor_definition = MonitorDefinition(
| **Production tracing** | MLflow Tracing (Databricks) | Span-level telemetry |
| **User feedback** | Review App | Thumbs up/down, textual feedback |
| **LLM judges** | Agent Evaluation | Automated quality scoring |
| **Monitoring dashboard** | Azure AI Foundry Observability | Quality trends, latency, errors |
| **Monitoring dashboard** | Microsoft Foundry Observability | Quality trends, latency, errors |
| **Eval datasets** | MLflow Datasets (Unity Catalog) | Versioned test sets |
| **Red teaming** | AI Red Teaming Agent | Adversarial testing for safety |
@ -715,7 +715,7 @@ mlflow.log_param("user_id_hash", user_id_hash) # Logged
1. [MLflow for GenAI Apps and Agents - Continuous Improvement Cycle](https://learn.microsoft.com/en-us/azure/databricks/mlflow3/genai/overview/) (Verified MCP 2026-04 — updated 10-step cycle; new: Trace UI for pattern identification, evaluation harness, version/prompt management tracking)
2. [Machine Learning Operations v2 - Monitoring & Feedback](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/machine-learning-operations-v2)
3. [Generative AI App Developer Workflow - Production Monitoring](https://learn.microsoft.com/en-us/azure/databricks/generative-ai/tutorials/ai-cookbook/genai-developer-workflow)
4. [Azure AI Foundry - Observability in Generative AI](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability)
4. [Microsoft Foundry - Observability in Generative AI](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability)
5. [MLOps and GenAIOps for AI Workloads - Model Maintenance](https://learn.microsoft.com/en-us/azure/well-architected/ai/mlops-genaiops#model-maintenance)
6. [AI Builder - Continuously Improve Your Model (Feedback Loop)](https://learn.microsoft.com/en-us/ai-builder/feedback-loop)

10
skills/ms-ai-engineering/references/mlops-genaiops/genaiops-llm-specific-practices.md
View file

@ -138,7 +138,7 @@ MLflow Tracing provides end-to-end observability for GenAI applications:
## Integrasjon med Microsoft-stakken
### Azure AI Foundry (tidligere Azure AI Studio)
### Microsoft Foundry (tidligere Azure AI Studio)
**Hva:** Unified platform for GenAI lifecycle management.
@ -151,7 +151,7 @@ MLflow Tracing provides end-to-end observability for GenAI applications:
- **Deployment**: Managed Online Endpoints (serverless, PTU, PAYG)
- **Monitoring**: Generation Quality Signal + Token Statistics Signal
**Konfidensgrad:** 95% — Azure AI Foundry er Microsoft sitt flagship GenAI-verktøy (2025).
**Konfidensgrad:** 95% — Microsoft Foundry er Microsoft sitt flagship GenAI-verktøy (2025).
### Azure Machine Learning
@ -311,7 +311,7 @@ MLflow Tracing provides end-to-end observability for GenAI applications:
### Anbefalte Steg for Pilot (MVP)
**Uke 1-2: Setup**
1. Provisioner Azure AI Foundry project
1. Provisioner Microsoft Foundry project
2. Deploy Azure OpenAI (GPT-4o + text-embedding-3-small)
3. Setup Azure AI Search (vector index)
4. Enable Azure AI Content Safety
@ -352,7 +352,7 @@ MLflow Tracing provides end-to-end observability for GenAI applications:
8. [Azure AI Evaluation SDK](https://learn.microsoft.com/en-us/python/api/overview/azure/ai-evaluation-readme)
9. [Mosaic AI capabilities for GenAI](https://learn.microsoft.com/en-us/azure/databricks/generative-ai/guide/mosaic-ai-gen-ai-capabilities)
10. [MLflow Prompt Registry](https://learn.microsoft.com/en-us/azure/databricks/mlflow3/genai/prompt-version-mgmt/prompt-registry/)
11. [Azure AI Foundry monitoring](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/monitor-quality-safety)
11. [Microsoft Foundry monitoring](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/monitor-quality-safety)
12. [MLflow Tracing for GenAI](https://learn.microsoft.com/en-us/azure/databricks/mlflow3/genai/tracing/)
13. [GenAI app developer workflow](https://learn.microsoft.com/en-us/azure/databricks/generative-ai/tutorials/ai-cookbook/genai-developer-workflow)
14. [Plan and prepare a GenAIOps solution (Microsoft Learn Training)](https://learn.microsoft.com/en-us/training/modules/plan-prepare-genaiops/)
@ -375,7 +375,7 @@ MLflow Tracing provides end-to-end observability for GenAI applications:
**For Cosmo Skyberg:**
Denne kunnskapsfilen dekker det **operasjonelle rammeverket** for GenAI-løsninger — hvordan du går fra prototype til production med repeatable processes. Fokus er på **Microsoft-spesifikke verktøy** (Azure AI Foundry, Prompt Flow, MLflow, Databricks Mosaic AI), men prinsippene er portable til andre platforms.
Denne kunnskapsfilen dekker det **operasjonelle rammeverket** for GenAI-løsninger — hvordan du går fra prototype til production med repeatable processes. Fokus er på **Microsoft-spesifikke verktøy** (Microsoft Foundry, Prompt Flow, MLflow, Databricks Mosaic AI), men prinsippene er portable til andre platforms.
Viktigste takeaway: **GenAIOps er MLOps + Prompt Ops + Orchestration Ops + Vector Store Ops**. Det er MER enn bare model deployment — det er hele økosystemet rundt LLM-baserte applikasjoner.

6
skills/ms-ai-engineering/references/mlops-genaiops/governance-audit-ml-operations.md
View file

@ -8,7 +8,7 @@
Governance og audit trails er kritiske mekanismer for å sikre etterrettelighet, compliance og ansvarlig bruk av ML-modeller i produksjon. I regulerte miljøer — som norsk offentlig sektor — er fullstendig sporbarhet av modelllivssyklus, datautvalg, beslutningsprosesser og tilgangsmønstre ofte et juridisk krav.
Microsoft-stakken tilbyr en rekke innebygde mekanismer for audit logging, lineage tracking, policy enforcement og model governance på tvers av Azure Machine Learning, Azure AI Foundry (AI Studio), Azure Databricks Unity Catalog og Copilot Studio.
Microsoft-stakken tilbyr en rekke innebygde mekanismer for audit logging, lineage tracking, policy enforcement og model governance på tvers av Azure Machine Learning, Microsoft Foundry (AI Studio), Azure Databricks Unity Catalog og Copilot Studio.
Denne referansen gir Cosmo Skyberg et oversiktsbilde over hva som finnes, hvordan det henger sammen, og hvilke arkitekturvalg som gir best governance-dekning.
@ -105,7 +105,7 @@ Azure Policy lar deg definere *guardrails* for hvilke modeller som kan deployes,
**Kilder:**
- [Audit and manage Azure Machine Learning with Azure Policy](https://learn.microsoft.com/en-us/azure/machine-learning/how-to-integrate-azure-policy?view=azureml-api-2)
- [Azure AI Foundry built-in policies](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/azure-policy)
- [Microsoft Foundry built-in policies](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/azure-policy)
- [Govern Azure platform services (PaaS) for AI](https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/scenarios/ai/platform/governance)
---
@ -332,7 +332,7 @@ User Request → API Management (APIM) → Azure OpenAI / AI Foundry → Model
## Integrasjon med Microsoft-stakken
### Azure AI Foundry (AI Studio)
### Microsoft Foundry (AI Studio)
- **AI Reports:** automatisk dokumentasjon av modeller (model cards, eval metrics, content safety config)
- **Export til PDF/SPDX:** for GRC-workflows

8
skills/ms-ai-engineering/references/mlops-genaiops/inferencing-optimization-caching.md
View file

@ -12,7 +12,7 @@ Inferencing optimization og caching representerer kritiske teknikker for å maks
**Hva er inferencing?** Inferencing (eller model scoring) er prosessen med å bruke en trent modell til å generere prediksjoner på produksjonsdata. Dette skjer kontinuerlig etter at modellen er deployet, og kan involvere alt fra enkeltforespørsler (online inference) til batch-prosessering av store datasett.
**Hvorfor er optimalisering kritisk?** Selv veltrente modeller kan feile i produksjon hvis de ikke er optimalisert for inferencing. Dårlig inferencing-ytelse manifesterer seg som høy latency, lav throughput, høye infrastrukturkostnader og dårlig brukeropplevelse. I Microsoft-økosystemet er dette spesielt relevant for Azure Machine Learning, Azure AI Foundry, og embedded scenarios som Azure SQL Edge og Windows ML.
**Hvorfor er optimalisering kritisk?** Selv veltrente modeller kan feile i produksjon hvis de ikke er optimalisert for inferencing. Dårlig inferencing-ytelse manifesterer seg som høy latency, lav throughput, høye infrastrukturkostnader og dårlig brukeropplevelse. I Microsoft-økosystemet er dette spesielt relevant for Azure Machine Learning, Microsoft Foundry, og embedded scenarios som Azure SQL Edge og Windows ML.
**Tre pilarer for inferencing optimization:**
@ -349,7 +349,7 @@ file_batch_inference = parallel_run_function(
- Low-latency requirements (<100ms)
- Single or small-batch predictions
**Azure AI Foundry Serverless API:**
**Microsoft Foundry Serverless API:**
- PaaS, minimal operational burden
- Best for foundation models (Azure OpenAI)
@ -622,7 +622,7 @@ Start: Har du real-time latency krav (<1s)?
---
### Azure AI Foundry
### Microsoft Foundry
**Serverless API:**
- Deploy foundation models uten å administrere infrastructure
@ -937,7 +937,7 @@ Diagnostikk:
- **Monitoring:** IoT Hub telemetry
**Scenario: RAG system for kunnskapsdatabase**
- **Platform:** Azure AI Foundry + Azure AI Search
- **Platform:** Microsoft Foundry + Azure AI Search
- **Caching:** Grounding snippet cache (Cosmos DB, 6h TTL) + Prompt cache
- **Compute:** Serverless (Azure OpenAI)
- **Monitoring:** Cache hit rate, latency, token usage

40
skills/ms-ai-engineering/references/mlops-genaiops/llm-evaluation-production.md
View file

@ -2,7 +2,7 @@
**Kategori:** MLOps & GenAIOps
**Sist oppdatert:** 2026-06-19
**Confidence:** High (basert på offisiell Microsoft dokumentasjon, Azure AI Foundry SDK, og MLflow 3)
**Confidence:** High (basert på offisiell Microsoft dokumentasjon, Microsoft Foundry SDK, og MLflow 3)
---
@ -36,7 +36,7 @@ Production evaluation i Microsoft AI-stakken består av fem hovedkomponenter som
### 1. Tracing Infrastructure
**Azure AI Foundry Tracing** og **MLflow Tracing** gir den datainfrastrukturen som all evaluering bygger på. Tracing logger automatisk:
**Microsoft Foundry Tracing** og **MLflow Tracing** gir den datainfrastrukturen som all evaluering bygger på. Tracing logger automatisk:
- Input prompts og kontekst
- Mellomsteg (retrieval-resultater, tool calls, reasoning)
@ -121,7 +121,7 @@ Matematisk-baserte metrikker for tekstlikhet (krever ground truth):
Kontinuerlig evaluering kjører evaluatorer automatisk på production traffic med konfigurerbar sampling rate.
**Azure AI Foundry Continuous Evaluation (for Agents):**
**Microsoft Foundry Continuous Evaluation (for Agents):**
```python
from azure.ai.projects.models import (
@ -228,7 +228,7 @@ Visualisering og alerting er kritisk for actionable insights.
Production evaluation er ikke komplett uten human-in-the-loop validering.
**Azure AI Foundry Review App:**
**Microsoft Foundry Review App:**
- Domain experts kan review AI-genererte svar direkte fra dashboard
- Thumbs up/down feedback lagres som evaluation data for future training
@ -266,7 +266,7 @@ Dashboard + Alerts
**Implementering:**
```python
# Azure AI Foundry: sampling via max_hourly_runs
# Microsoft Foundry: sampling via max_hourly_runs
action=ContinuousEvaluationRuleAction(
eval_id=eval_object.id,
max_hourly_runs=100 # Hvis traffic er 1000/hour → 10% sampling
@ -475,7 +475,7 @@ vulnerability_report = scan_results.get_vulnerability_summary()
**A. Async evaluation** (anbefalt):
```python
# Azure AI Foundry: Evaluation kjører async etter response er returnert
# Microsoft Foundry: Evaluation kjører async etter response er returnert
# Ingen user-facing latency impact
event_type=EvaluationRuleEventType.RESPONSE_COMPLETED # Trigger AFTER response
```
@ -513,7 +513,7 @@ with mlflow.start_run():
## Integrasjon med Microsoft-stakken
### Azure AI Foundry + Application Insights
### Microsoft Foundry + Application Insights
**Full stack monitoring:**
@ -648,7 +648,7 @@ traces = spark.read.table("catalog.schema.agent_traces")
Power Platform har begrenset native support for LLM evaluation i production. Anbefalt mønster:
1. **Lag custom connector til Azure AI Foundry Evaluation API**
1. **Lag custom connector til Microsoft Foundry Evaluation API**
2. **Lagre evaluation results i Dataverse**
3. **Bygg Power BI dashboard for visualisering**
@ -674,7 +674,7 @@ Results → Dataverse custom table
Power BI report
```
**Gap:** Ingen out-of-the-box production evaluation. Microsoft roadmap (Q2 2026) inkluderer native integration med Azure AI Foundry evaluation. *(Medium confidence – based on public roadmap)*
**Gap:** Ingen out-of-the-box production evaluation. Microsoft roadmap (Q2 2026) inkluderer native integration med Microsoft Foundry evaluation. *(Medium confidence – based on public roadmap)*
---
@ -720,7 +720,7 @@ For AI-systemer klassifisert som high-risk (helse, lov, kritisk infrastruktur):
- **Article 15:** Logging av input/output data – **tracing er lovpålagt**
- **Article 61:** Post-market monitoring plan – **production evaluation er compliance requirement**
**Anbefaling:** Bruk Azure AI Foundry continuous evaluation med 100% sampling for high-risk AI. Lagre evaluation logs i minimum 5 år for audit purposes. *(High confidence – based on AI Act legal text)*
**Anbefaling:** Bruk Microsoft Foundry continuous evaluation med 100% sampling for high-risk AI. Lagre evaluation logs i minimum 5 år for audit purposes. *(High confidence – based on AI Act legal text)*
### GDPR & Privacy i Production Evaluation
@ -799,7 +799,7 @@ if eval_results["metrics"]["violence_violations"] > 0:
## Kostnad og lisensiering
### Prismodell for Azure AI Foundry Evaluation
### Prismodell for Microsoft Foundry Evaluation
**Komponenter:**
@ -845,7 +845,7 @@ if eval_results["metrics"]["violence_violations"] > 0:
- 10k traces/day × 5 KB × 30 days = 1.5 GB = **$0.03/month**
- **LLM Judge API calls:**
- Same as Azure AI Foundry (charged by OpenAI/Azure OpenAI)
- Same as Microsoft Foundry (charged by OpenAI/Azure OpenAI)
**Total monthly cost (10k req/day, daily batch eval):**
@ -854,11 +854,11 @@ if eval_results["metrics"]["violence_violations"] > 0:
- LLM calls: $1000 (assume 3 evaluators, 100% sampling)
- **Total:** ~$1007.50/month
**vs. Azure AI Foundry (continuous):** MLflow batch er billigere for compute ($7.50 vs. $0 for serverless continuous), men krever samme LLM judge cost. **Break-even:** Hvis du kan leve med daily batch i stedet for real-time, spar ~$400/month på Application Insights og serverless overhead. *(Medium confidence – varies by implementation)*
**vs. Microsoft Foundry (continuous):** MLflow batch er billigere for compute ($7.50 vs. $0 for serverless continuous), men krever samme LLM judge cost. **Break-even:** Hvis du kan leve med daily batch i stedet for real-time, spar ~$400/month på Application Insights og serverless overhead. *(Medium confidence – varies by implementation)*
### Lisenskrav
**Azure AI Foundry SDK:**
**Microsoft Foundry SDK:**
- Open source (MIT license)
- Krever Azure subscription med:
@ -873,7 +873,7 @@ if eval_results["metrics"]["violence_violations"] > 0:
- Databricks: Requires **Premium** or **Enterprise** workspace tier for Unity Catalog governance
- Self-hosted MLflow: Gratis, men krever infrastruktur og vedlikehold
**Recommendation for offentlig sektor:** Azure AI Foundry for compliance-ready, managed service. MLflow for kostnadskontroll og data sovereignty (kan kjøres on-prem/Azure Gov Cloud). *(High confidence)*
**Recommendation for offentlig sektor:** Microsoft Foundry for compliance-ready, managed service. MLflow for kostnadskontroll og data sovereignty (kan kjøres on-prem/Azure Gov Cloud). *(High confidence)*
---
@ -936,7 +936,7 @@ Production evaluation er ikke komplett uten human review loop. Anbefal:
- **Monthly calibration** av LLM judges mot human-labeled golden dataset
- **Quarterly retrospective** – oppdater evaluators basert på learnings
**Tooling:** Azure AI Foundry Review App eller custom Power Apps interface til Dataverse.
**Tooling:** Microsoft Foundry Review App eller custom Power Apps interface til Dataverse.
### Red flags å se etter
@ -1022,7 +1022,7 @@ Production evaluation er ikke komplett uten human review loop. Anbefal:
**Rekommandasjon (standard scenario):**
> "Jeg anbefaler å starte med Azure AI Foundry continuous evaluation for safety metrics (Violence, Self-harm) ved 100% sampling, kombinert med scheduled daily batch evaluation for quality metrics (Groundedness, Relevance) ved 30% sampling. Dette gir dere incident detection innen 1 time for safety issues, mens dere holder evalueringskostnaden under $500/måned for en app med 5000 requests/dag. Vi integrerer med Application Insights dere allerede bruker, og setter opp Azure Monitor alerts for automatisk varsling når metrics faller under acceptable thresholds."
> "Jeg anbefaler å starte med Microsoft Foundry continuous evaluation for safety metrics (Violence, Self-harm) ved 100% sampling, kombinert med scheduled daily batch evaluation for quality metrics (Groundedness, Relevance) ved 30% sampling. Dette gir dere incident detection innen 1 time for safety issues, mens dere holder evalueringskostnaden under $500/måned for en app med 5000 requests/dag. Vi integrerer med Application Insights dere allerede bruker, og setter opp Azure Monitor alerts for automatisk varsling når metrics faller under acceptable thresholds."
**Trade-off diskusjon:**
@ -1052,7 +1052,7 @@ Production evaluation er ikke komplett uten human review loop. Anbefal:
### Primærkilder (Official Microsoft Documentation)
1. **Azure AI Foundry Evaluation SDK:**
1. **Microsoft Foundry Evaluation SDK:**
[Evaluate your generative AI application locally with the Azure AI Evaluation SDK](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/develop/evaluate-sdk) – Comprehensive guide til local og cloud evaluation
2. **Continuous Evaluation for Agents:**
@ -1062,7 +1062,7 @@ Production evaluation er ikke komplett uten human review loop. Anbefal:
[Evaluate and monitor AI agents - Azure Databricks](https://learn.microsoft.com/en-us/azure/databricks/mlflow3/genai/eval-monitor/) – MLflow 3 evaluation harness og production scorers
4. **Observability Overview:**
[Observability in generative AI - Azure AI Foundry](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability) – High-level GenAIOps lifecycle og evaluator taxonomy
[Observability in generative AI - Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability) – High-level GenAIOps lifecycle og evaluator taxonomy
5. **Model Monitoring for Generative AI:**
[Model monitoring for generative AI applications (preview)](https://learn.microsoft.com/en-us/azure/machine-learning/prompt-flow/how-to-monitor-generative-ai-applications) – Azure ML Prompt Flow monitoring approach. **NB (MCP 2026-06-19):** Prompt Flow pensjoneres 2027-04-20 (migrer til Microsoft Agent Framework); monitoring-tilnærmingen er fortsatt gyldig for eksisterende flows frem til fristen.
@ -1085,7 +1085,7 @@ Production evaluation er ikke komplett uten human review loop. Anbefal:
**High confidence areas (basert på offisiell dokumentasjon og code samples):**
- Azure AI Foundry SDK API usage og evaluator configuration
- Microsoft Foundry SDK API usage og evaluator configuration
- MLflow 3 production monitoring patterns
- Cost estimation for LLM judges (basert på Azure OpenAI pricing)
- Compliance requirements (AI Act, GDPR) – basert på legal text

4
skills/ms-ai-engineering/references/mlops-genaiops/mlops-fundamentals-overview.md
View file

@ -221,7 +221,7 @@ jobs:
az ml job create --file pipeline.yml
```
### Azure AI Foundry
### Microsoft Foundry
**For generative AI workloads.** MLOps-prinsipper gjelder, men med tillegg:
- **Prompt versioning** – Prompt engineering som kode
@ -422,7 +422,7 @@ Automate the ML lifecycle via Azure DevOps pipelines:
| **5-10 modeller, moderat refresh** | Level 2-3 | Automated training + CI/CD | Azure ML + Azure DevOps |
| **10+ modeller, høy refresh** | Level 4 | Full automation + drift detection | Azure ML + Event Grid + Monitoring |
| **Regulert sektor (finans, helse)** | Level 3+ (compliance) | Lineage + explainability | Azure ML + Model Cards + Audit Logs |
| **Generative AI (RAG, LLM)** | Level 2+ GenAIOps | Prompt versioning + safety | Azure AI Foundry + Prompt Flow |
| **Generative AI (RAG, LLM)** | Level 2+ GenAIOps | Prompt versioning + safety | Microsoft Foundry + Prompt Flow |
### Quick Decision Tree

4
skills/ms-ai-engineering/references/mlops-genaiops/mlops-teams-collaboration-tools.md
View file

@ -475,7 +475,7 @@ Databricks MLOps Stacks demonstrerer best practice for multi-team collaboration:
**Konfidensmarkør:** ⭐⭐⭐⭐⭐ Native integrations er core Azure ML platform capabilities.
### Azure AI Foundry Collaboration
### Microsoft Foundry Collaboration
**Prompt flow team collaboration:**
- Shared prompt flows i Azure AI Studio
@ -483,7 +483,7 @@ Databricks MLOps Stacks demonstrerer best practice for multi-team collaboration:
- Evaluation metrics sharing
- GenAIOps CI/CD via Azure DevOps
**Konfidensmarkør:** ⭐⭐⭐⭐ Azure AI Foundry støtter GenAIOps workflows med Azure DevOps integration.
**Konfidensmarkør:** ⭐⭐⭐⭐ Microsoft Foundry støtter GenAIOps workflows med Azure DevOps integration.
### Power Platform Integration

14
skills/ms-ai-engineering/references/mlops-genaiops/model-evaluation-frameworks.md
View file

@ -11,7 +11,7 @@
## Introduksjon
Evaluering av AI-modeller, spesielt generative AI-applikasjoner, krever en helt annen tilnærming enn tradisjonell maskinlæring. Mens tradisjonell ML fokuserer på deterministiske metrikker som accuracy og precision, må GenAI-evaluering håndtere multi-turn-samtaler, kontekstuell relevans, sikkerhet og subjektiv kvalitet. Microsoft tilbyr et omfattende rammeverk for modellevaluering gjennom Azure AI Foundry, Azure Machine Learning Prompt Flow og MLflow 3, som dekker hele utviklingsløpet fra modellvalg til produksjonsovervåking.
Evaluering av AI-modeller, spesielt generative AI-applikasjoner, krever en helt annen tilnærming enn tradisjonell maskinlæring. Mens tradisjonell ML fokuserer på deterministiske metrikker som accuracy og precision, må GenAI-evaluering håndtere multi-turn-samtaler, kontekstuell relevans, sikkerhet og subjektiv kvalitet. Microsoft tilbyr et omfattende rammeverk for modellevaluering gjennom Microsoft Foundry, Azure Machine Learning Prompt Flow og MLflow 3, som dekker hele utviklingsløpet fra modellvalg til produksjonsovervåking.
Evalueringsrammeverket støtter tre hovedfaser: **base model selection** (sammenligning av foundation models), **pre-production evaluation** (testing mot ground truth-datasett), og **production monitoring** (kontinuerlig kvalitetsvurdering med live data). Hver fase bruker en kombinasjon av matematiske metrikker (NLP-baserte), AI-assisterte metrikker (LLM-as-a-judge), og sikkerhetsvurderinger. Dette gir en helhetlig vurdering av modellens kapabiliteter, begrensninger og ansvarlighetsprofil.
@ -29,7 +29,7 @@ Evalueringsprosessen er iterativ og datadrevet. Den starter med å etablere en b
### Evaluation Targets
Azure AI Foundry støtter tre evalueringsmål:
Microsoft Foundry støtter tre evalueringsmål:
1. **Model** — Evaluer en modell-deployment med bruker-definert prompt mot et datasett (genererer svar on-the-fly).
2. **Agent** — Evaluer en agent (Copilot Studio, Microsoft Agent Framework) med strukturert reasoning og tool calls.
@ -287,7 +287,7 @@ Microsoft validerer judge quality gjennom:
## Integrasjon med Microsoft-stakken
### Azure AI Foundry Portal
### Microsoft Foundry Portal
- **Evaluation page** → UI for å opprette, kjøre og visualisere evalueringer.
- **Model Catalog → Benchmarks** → Sammenlign modeller mot public benchmarks eller egne data.
@ -369,7 +369,7 @@ continuous_eval_rule = project_client.evaluation_rules.create_or_update(
### GDPR og datasuverenitet
- **Test data med personopplysninger** → Må anonymiseres eller syntetiseres. Azure AI Foundry's synthetic data generation kan brukes.
- **Test data med personopplysninger** → Må anonymiseres eller syntetiseres. Microsoft Foundry's synthetic data generation kan brukes.
- **Evaluering i EU-regioner** → AI-assisted safety metrics hosted kun i East US 2, France Central, UK South, Sweden Central. **Velg France Central eller Sweden Central for norske virksomheter.**
- **Ground truth datasets** → Hvis de inneholder sensitive data, må de lagres i GDPR-compliant storage (Azure Blob Storage med encryption at rest, managed identity, private endpoint).
@ -389,7 +389,7 @@ continuous_eval_rule = project_client.evaluation_rules.create_or_update(
| Klassifisering | Evaluation data handling |
|----------------|--------------------------|
| **Åpent** | Kan bruke Azure OpenAI (Europe), Databricks-hosted judges. |
| **Begrenset** | Anonymiser før evaluering, bruk Azure AI Foundry med private endpoint. |
| **Begrenset** | Anonymiser før evaluering, bruk Microsoft Foundry med private endpoint. |
| **Fortrolig** | Kun self-hosted judges (deploy GPT-4o i eget subscription), ingen Databricks-hosted models. |
| **Strengt fortrolig** | Evaluering på-premises eller Azure confidential computing (ikke GA for LLM judges). |
@ -414,7 +414,7 @@ continuous_eval_rule = project_client.evaluation_rules.create_or_update(
### Lisensiering
- **Azure AI Foundry** → Pay-as-you-go (ingen lisenskostnad for platform, betaler kun for compute/LLM tokens).
- **Microsoft Foundry** → Pay-as-you-go (ingen lisenskostnad for platform, betaler kun for compute/LLM tokens).
- **Azure Machine Learning** → Samme som over.
- **MLflow 3 (Databricks)** → Inkludert i Databricks-abonnement (Premium/Enterprise tier).
- **Azure AI Evaluation SDK** → Open source (MIT license), gratis å bruke.
@ -452,7 +452,7 @@ Hvis du kjører massive evalueringer (100K+ samples), vurder PTU for judge model
### Anbefalinger per modenhetsnivå
**Nivå 1: PoC/MVP (1-2 måneder)**
- Bruk Azure AI Foundry UI (no-code).
- Bruk Microsoft Foundry UI (no-code).
- Kjør 3-4 metrikker (Relevance, Coherence, Groundedness, Safety).
- Dataset: 20-50 manually curated samples.
- Threshold: Soft targets (ikke blokkering).

8
skills/ms-ai-engineering/references/mlops-genaiops/model-versioning-registry-management.md
View file

@ -295,9 +295,9 @@ steps:
--resource-group dev-rg
```
### Azure AI Foundry
### Microsoft Foundry
Azure AI Foundry Model Catalog bruker samme underliggende registry-infrastruktur:
Microsoft Foundry Model Catalog bruker samme underliggende registry-infrastruktur:
- **Serverless API deployments:** Registrer modeller i Foundry Models for API-tilgang
- **Managed compute deployments:** Bruk Azure ML Registry for deployment til VMs
- **Model benchmarking:** Sammenlign modellversjoner med benchmark metrics
@ -540,10 +540,10 @@ az ml model list --registry-name my-registry --query "[?created<'$cutoff_date'].
- Confidence: **Verified** (MCP search results, Feb 2026)
- Coverage: CI/CD integration, Azure Pipelines, MLOps automation
6. **Explore Microsoft Foundry Models**
6. **Explore Foundry Models**
- URL: https://learn.microsoft.com/en-us/azure/foundry-classic/concepts/foundry-models-overview?view=foundry-classic
- Confidence: **Verified** (MCP search results, Feb 2026)
- Coverage: Model catalog, deployment options, Azure AI Foundry integration
- Coverage: Model catalog, deployment options, Microsoft Foundry integration
7. **MLflow Python SDK code samples**
- URL: Multiple code samples from Microsoft Learn

4
skills/ms-ai-engineering/references/mlops-genaiops/monitoring-observability-ml-systems.md
View file

@ -369,7 +369,7 @@ response = client.query_workspace(
- Advanced filter: `data.RunTags.azureml_modelmonitor_threshold_breached` contains `has failed`
3. Configure endpoint (Event Hubs, Functions, Logic Apps)
### Azure AI Foundry (GenAI-specific)
### Microsoft Foundry (GenAI-specific)
**Generation Quality Monitoring** (🤖 For LLM-apps):
```python
@ -583,7 +583,7 @@ Vi bruker Azure Machine Learning Model Monitoring for modell-spesifikke signals
### Integrasjonspunkter
**Med andre Microsoft AI-tjenester:**
- **Azure AI Foundry:** Generation quality monitoring for LLM-apps (groundedness, relevance, coherence)
- **Microsoft Foundry:** Generation quality monitoring for LLM-apps (groundedness, relevance, coherence)
- **Power Platform:** Monitor AI Builder models (custom vision, form processing) via Azure Monitor
- **Copilot Studio:** Track conversation quality metrics via Application Insights custom events
- **Semantic Kernel:** Instrument med OpenTelemetry → Azure Monitor

16
skills/ms-ai-engineering/references/mlops-genaiops/prompt-flow-production-deployment.md
View file

@ -3,7 +3,7 @@
**Kategori:** MLOps & GenAIOps
**Dato:** 2026-02-04
**Last updated:** 2026-06-19
**Confidence:** 🟢 Høy (basert på offisiell Microsoft-dokumentasjon fra Azure AI Foundry og Azure Machine Learning)
**Confidence:** 🟢 Høy (basert på offisiell Microsoft-dokumentasjon fra Microsoft Foundry og Azure Machine Learning)
---
@ -37,7 +37,7 @@ Prompt Flow følger en fire-fase livssyklus:
- Utvikle flow med nodes (LLM, Python, prompts) og connections
**Eksperimentering**
- Kjør flow mot sample data i Azure AI Foundry eller VS Code extension
- Kjør flow mot sample data i Microsoft Foundry eller VS Code extension
- Test single inputs og batch runs
- Iterer på prompt variants og node-konfigurasjoner
@ -215,7 +215,7 @@ properties:
**Arkitektur:**
```
Developer → Azure AI Foundry Portal → Manual Deploy → Single Endpoint
Developer → Microsoft Foundry Portal → Manual Deploy → Single Endpoint
```
**Fordeler:**
@ -367,7 +367,7 @@ environment_variables:
## Integrasjon med Microsoft-stakken
### Azure AI Foundry Integration
### Microsoft Foundry Integration
**Flow Development**:
- Drag-and-drop DAG editor for LLM, Python, Prompt nodes
@ -533,7 +533,7 @@ Kostnad = (VM cost per hour × instance count × uptime hours)
### Lisensiering
**Azure AI Foundry**:
**Microsoft Foundry**:
- Included i Azure subscription, ingen separat lisens
- Betaler kun for underliggende resources (compute, storage, AI services)
@ -554,7 +554,7 @@ Kostnad = (VM cost per hour × instance count × uptime hours)
### Når anbefale Prompt Flow Deployment?
**Sterk anbefaling når:**
- Kunden allerede bruker Azure AI Foundry for LLM-utvikling
- Kunden allerede bruker Microsoft Foundry for LLM-utvikling
- Behov for visuell DAG-editor (forenkler kommunikasjon med ikke-tekniske stakeholders)
- Team mangler dyp MLOps-kompetanse (Prompt Flow abstraherer bort mye kompleksitet)
- Krav om rapid iteration på prompts (variant experimentation built-in)
@ -616,7 +616,7 @@ Er dette første gang kunden deployer LLM-basert app?
**Scenario:** NAV skal deploye chatbot for sykepenger-spørsmål.
**Anbefalt arkitektur:**
1. **Development**: Azure AI Foundry → Prompt Flow editor (DAG-basert)
1. **Development**: Microsoft Foundry → Prompt Flow editor (DAG-basert)
2. **CI/CD**: GitHub (NAV sin standard) + GenAIOps template
- Feature branch: PR trigger → build validation
- Main branch: CI trigger → evaluation → model registry → dev endpoint
@ -650,7 +650,7 @@ Er dette første gang kunden deployer LLM-basert app?
## Kilder og verifisering
**Microsoft Learn Dokumentasjon:**
1. [Deploy a flow for real-time inference (Azure AI Foundry)](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/flow-deploy?view=foundry-classic) – Offisiell guide for deployment via portal
1. [Deploy a flow for real-time inference (Microsoft Foundry)](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/flow-deploy?view=foundry-classic) – Offisiell guide for deployment via portal
2. [GenAIOps with Prompt Flow and GitHub](https://learn.microsoft.com/en-us/azure/machine-learning/prompt-flow/how-to-end-to-end-llmops-with-prompt-flow?view=azureml-api-2) – CI/CD pipeline patterns og lifecycle management
3. [Enable tracing and collect feedback for a flow deployment](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/develop/trace-production-sdk?view=foundry-classic) – Application Insights integration og metrics
4. [Deploy a flow to online endpoint with CLI/SDK](https://learn.microsoft.com/en-us/azure/machine-learning/prompt-flow/how-to-deploy-to-code?view=azureml-api-2) – Advanced deployment configuration (concurrency, FastAPI, etc.)

4
skills/ms-ai-engineering/references/mlops-genaiops/responsible-ai-mlops-integration.md
View file

@ -508,7 +508,7 @@ jobs:
---
### Azure AI Foundry / Copilot Studio
### Microsoft Foundry / Copilot Studio
**Scenario:** RAI for generative AI-modeller (GenAIOps).
@ -518,7 +518,7 @@ jobs:
**Løsninger:**
1. **Content Safety**: Bruk Azure AI Content Safety for toxicity/bias detection
2. **Foundry/Agent Framework-evaluering**: Evaluere generative modeller med Azure AI Foundry-evaluatorer og custom metrics. Merk: **Prompt Flow avvikles 2027-04-20** — migrer evaluerings-/orkestreringslogikk til **Microsoft Agent Framework (MAF)**
2. **Foundry/Agent Framework-evaluering**: Evaluere generative modeller med Microsoft Foundry-evaluatorer og custom metrics. Merk: **Prompt Flow avvikles 2027-04-20** — migrer evaluerings-/orkestreringslogikk til **Microsoft Agent Framework (MAF)**
3. **Manual Review**: Human-in-the-loop review av generated outputs
**Confidence note:** 🟡 Moderat (RAI for GenAI er et fremvoksende felt, mindre standardisert enn for discriminative models)

4
skills/ms-ai-engineering/references/multi-modal/cv-llm-integration.md
View file

@ -10,7 +10,7 @@
Integrasjonen av spesialiserte computer vision (CV) modellar med large language models (LLMs) representerer ein av dei viktigaste trendane i AI-arkitektur. I staden for å bruke GPT-4o sin innebygde vision direkte for alle oppgåver, kombinerer avanserte arkitekturar spesialiserte vision encoders med generative LLMs for å oppnå betre nøyaktigheit, lågare kostnad og meir kontrollerte resultat.
Azure-plattforma gir eit rikt økosystem for dette: Azure AI Vision for spesialisert bildeanalyse (OCR, objektdeteksjon, multimodal embeddings), Azure OpenAI for GPT-4o og GPT-4.1 sine vision-kapabilitetar, Azure AI Foundry for modellfinetuning og deployment, og Phi-4-multimodal-instruct som ein kostnadseffektiv open-source-modell for edge-scenario. Florence-2-modellen frå Microsoft er eit anna sterkt alternativ for spesialiserte vision-oppgåver.
Azure-plattforma gir eit rikt økosystem for dette: Azure AI Vision for spesialisert bildeanalyse (OCR, objektdeteksjon, multimodal embeddings), Azure OpenAI for GPT-4o og GPT-4.1 sine vision-kapabilitetar, Microsoft Foundry for modellfinetuning og deployment, og Phi-4-multimodal-instruct som ein kostnadseffektiv open-source-modell for edge-scenario. Florence-2-modellen frå Microsoft er eit anna sterkt alternativ for spesialiserte vision-oppgåver.
For norsk offentleg sektor er denne integrasjonen relevant for byggesaksbehandling (analyse av arkitektteikningar), veginfrastruktur (skadevurdering frå bilete), helsevesen (medisinsk bildeanalyse), og kulturarv (digitalisering og klassifisering av museumsgjenstandar). Nøkkelen er å kombinere rette verktøy for rette oppgåver — bruk spesialiserte CV-modellar for presis ekstraksjon og LLMs for tolking og resonnering.
@ -22,7 +22,7 @@ For norsk offentleg sektor er denne integrasjonen relevant for byggesaksbehandli
|-----------|--------|-----------|
| **Azure AI Vision** | Spesialisert bildeanalyse og OCR | Image Analysis 4.0 |
| **GPT-4o / GPT-4.1 Vision** | Multimodal LLM med bildeforståing | Azure OpenAI |
| **Phi-4-multimodal** | Open-source multimodal modell | Azure AI Foundry / Edge |
| **Phi-4-multimodal** | Open-source multimodal modell | Microsoft Foundry / Edge |
| **Florence-2** | Universell vision foundation model | Hugging Face / Azure ML |
| **Multimodal Embeddings** | Vektor-representasjon av bilete og tekst | Azure AI Vision v4.0 |
| **Custom Vision** | Eigendefinert objektdeteksjon/klassifisering | Azure AI Custom Vision |

2
skills/ms-ai-engineering/references/multi-modal/document-vision-processing.md
View file

@ -12,7 +12,7 @@ Azure AI Document Intelligence (tidlegare Form Recognizer) er ein spesialisert t
For norsk offentleg sektor er Document Intelligence særleg relevant for digitalisering av arkiv, automatisert saksbehandling, fakturahåndtering og analyse av regulatoriske dokument. Tenesta støttar 309 trykte og 12 handskrivne språk, inkludert norsk, og gir confidence scores for kvar ekstraksjon slik at ein kan bygge robuste kvalitetskontrollrutinar.
Azure AI Foundry tilbyr no også Content Understanding som eit komplementært alternativ for meir semantisk dokumentanalyse. Valet mellom Document Intelligence og Content Understanding avheng av bruksscenarioet: Document Intelligence for presis, strukturert ekstraksjon med låg latency, og Content Understanding for meir generaliserande, LLM-driven analyse.
Microsoft Foundry tilbyr no også Content Understanding som eit komplementært alternativ for meir semantisk dokumentanalyse. Valet mellom Document Intelligence og Content Understanding avheng av bruksscenarioet: Document Intelligence for presis, strukturert ekstraksjon med låg latency, og Content Understanding for meir generaliserande, LLM-driven analyse.
---

2
skills/ms-ai-engineering/references/multi-modal/gpt4o-vision-architecture.md
View file

@ -12,7 +12,7 @@ GPT-4o (Omni) representerer en fundamental endring i korleis multimodale AI-mode
For norsk offentleg sektor opnar GPT-4o vision nye moglegheiter innanfor dokumentanalyse, tilgjengelegheitsvurdering, kartanalyse, byggesaksbehandling og kvalitetssikring av offentlege tenester. Modellen er tilgjengeleg via Azure OpenAI Service, noko som sikrar at data blir behandla innanfor Microsofts enterprise-grade tryggleiksrammeverk med full GDPR-etterleving.
Azure AI Foundry gir ein samla plattform for å deploye, administrere og overvake GPT-4o vision-deployments med innebygd innhaldsfiltrering, kostnadshandtering og tilgangskontroll via Microsoft Entra ID.
Microsoft Foundry gir ein samla plattform for å deploye, administrere og overvake GPT-4o vision-deployments med innebygd innhaldsfiltrering, kostnadshandtering og tilgangskontroll via Microsoft Entra ID.
---

2
skills/ms-ai-engineering/references/multi-modal/image-classification-understanding.md
View file

@ -24,7 +24,7 @@ For produksjonssystem anbefalar Microsoft ein hybrid tilnærming: bruk Azure AI
| Image Analysis API | REST/SDK for caption, tags, objects, people, OCR | Azure AI Vision |
| Custom Vision | Tilpassa klassifisering/objektdeteksjon | Custom Vision Service (legacy) |
| Azure ML AutoML | Custom image classification med AutoML | Azure Machine Learning |
| Content Understanding | Generativ AI-basert bildeklassifisering | Azure AI Foundry (preview) |
| Content Understanding | Generativ AI-basert bildeklassifisering | Microsoft Foundry (preview) |
| GPT-4o Vision | Fleksibel bildeklassifisering via chat | Azure OpenAI Service |
| Multimodal Embeddings | Bilde-tekst-likskap for retrieval | Azure AI Vision 4.0 |

4
skills/ms-ai-engineering/references/multi-modal/multimodal-content-safety.md
View file

@ -12,7 +12,7 @@ Azure AI Content Safety tilbyr eit samla rammeverk for å detektere og filtrere
For offentleg sektor er multimodal content safety kritisk av fleire grunnar: AI-system som genererer svar til innbyggjarar må ha pålitelege sikkerheitsbarrièrar, brukaropplasta innhald i digitale tenester må modererast, og generative AI-løysingar som nyttar LLM-ar treng beskyttelse mot prompt injection og jailbreak-forsøk.
Azure AI Content Safety er integrert i Azure AI Foundry som "Guardrails + controls" og kan brukast som standalone API, som del av Azure OpenAI content filtering, eller via Prompt Shields for å beskytte LLM-applikasjonar mot angrep. Tenesta støttar multilingual moderation og er prisbasert på volum.
Azure AI Content Safety er integrert i Microsoft Foundry som "Guardrails + controls" og kan brukast som standalone API, som del av Azure OpenAI content filtering, eller via Prompt Shields for å beskytte LLM-applikasjonar mot angrep. Tenesta støttar multilingual moderation og er prisbasert på volum.
---
@ -277,7 +277,7 @@ For LLM-applikasjonar er content filtering innebygd:
```python
# Content filtering skjer automatisk i Azure OpenAI
# Konfigurer via Azure AI Foundry portal:
# Konfigurer via Microsoft Foundry portal:
# - Input filters: Prompt Shields + Category filters
# - Output filters: Category filters + Protected material

8
skills/ms-ai-engineering/references/multi-modal/multimodal-evaluation-metrics.md
View file

@ -8,7 +8,7 @@
## Introduksjon
Evaluering av multi-modale AI-system er fundamentalt meir komplekst enn evaluering av rein tekst-AI. Når system kombinerer tekst, bilete, tale og video, treng ein metrikkrammeverk som dekker kvaliteten innanfor kvar modalitet, men også korleis modalitetane samhandlar — det som blir kalla cross-modal alignment. Azure AI Foundry og Azure OpenAI Evaluation API gir innebygd støtte for både NLP-baserte metrikktypar (BLEU, ROUGE, cosine similarity) og AI-assistert evaluering (groundedness, relevance, coherence, fluency).
Evaluering av multi-modale AI-system er fundamentalt meir komplekst enn evaluering av rein tekst-AI. Når system kombinerer tekst, bilete, tale og video, treng ein metrikkrammeverk som dekker kvaliteten innanfor kvar modalitet, men også korleis modalitetane samhandlar — det som blir kalla cross-modal alignment. Microsoft Foundry og Azure OpenAI Evaluation API gir innebygd støtte for både NLP-baserte metrikktypar (BLEU, ROUGE, cosine similarity) og AI-assistert evaluering (groundedness, relevance, coherence, fluency).
For norsk offentleg sektor er systematisk evaluering ikkje berre god praksis — det er eit krav under EUs AI Act for høgrisiko AI-system. Evalueringsrammeverket må dokumentere nøyaktigheit, rettferd og pålitelegheit på ein måte som tilfredsstiller regulatoriske krav til transparens og etterprøvbarheit.
@ -21,7 +21,7 @@ Microsoft Foundry tilbyr eit sentralisert evalueringsrammeverk der ein kan defin
| Komponent | Formål | Teknologi |
|-----------|--------|-----------|
| **Azure OpenAI Evaluations** | Innebygd evalueringsrammeverk | Azure OpenAI API |
| **Foundry Evaluation SDK** | Programmatisk evaluering | Azure AI Foundry SDK |
| **Foundry Evaluation SDK** | Programmatisk evaluering | Microsoft Foundry SDK |
| **NLP Metrics** | BLEU, ROUGE, F1, GLEU, METEOR | Matematisk-baserte metrikktypar |
| **AI Quality (AI-assisted)** | Groundedness, Relevance, Coherence | GPT-basert dommar |
| **Risk & Safety Metrics** | Content safety, protected material | Innhaldsfiltrering |
@ -41,8 +41,8 @@ from azure.ai.evaluation import BleuScoreEvaluator
bleu_evaluator = BleuScoreEvaluator()
result = bleu_evaluator(
response="Azure AI Foundry gir verktøy for å bygge AI-løysingar.",
ground_truth="Azure AI Foundry tilbyr verktøy for å utvikle AI-løysingar."
response="Microsoft Foundry gir verktøy for å bygge AI-løysingar.",
ground_truth="Microsoft Foundry tilbyr verktøy for å utvikle AI-løysingar."
)
print(f"BLEU Score: {result['bleu_score']:.4f}")

2
skills/ms-ai-engineering/references/multi-modal/multimodal-prompt-engineering.md
View file

@ -12,7 +12,7 @@ Multimodal prompt engineering er kunsten å skrive effektive instruksjonar som k
Microsoft sin offisielle rettleiing for image prompt engineering identifiserer seks grunnprinsipp: kontekstuell spesifisitet, oppgåveorienterte prompts, handtering av nekting (refusals), eksempelbruk, oppdeling av komplekse oppgåver, og definering av output-format. Desse prinsippa er like relevante for norsk offentleg sektor, der multimodale modellar kan nyttast til alt frå byggesaksanalyse til kvalitetssikring av veginfrastruktur.
Azure AI Foundry Playground tilbyr eit interaktivt miljø for å eksperimentere med multimodale prompts, og GPT-4o sin image tokenization-mekanisme påverkar både kostnader og ytelse. Forståing av korleis bilete vert konvertert til tokens er kritisk for kostnadsoptimalisering i produksjonssystem.
Microsoft Foundry Playground tilbyr eit interaktivt miljø for å eksperimentere med multimodale prompts, og GPT-4o sin image tokenization-mekanisme påverkar både kostnader og ytelse. Forståing av korleis bilete vert konvertert til tokens er kritisk for kostnadsoptimalisering i produksjonssystem.
---

2
skills/ms-ai-engineering/references/multi-modal/ocr-pipeline-architecture.md
View file

@ -26,7 +26,7 @@ For norsk offentleg sektor er robust OCR kritisk for digitalisering av arkiv, au
| Prebuilt Models | Feltuttrekk frå faktura, kvittering, ID | Azure AI Document Intelligence |
| Custom Models | Trenable modellar for eigne dokumenttypar | Azure AI Document Intelligence |
| Document Classifier | Automatisk dokumentklassifisering og splitting | Azure AI Document Intelligence |
| Content Understanding | Generativ AI-basert dokumentforståing | Azure AI Foundry (preview) |
| Content Understanding | Generativ AI-basert dokumentforståing | Microsoft Foundry (preview) |
| Batch API | Volumbasert asynkron prosessering | Azure AI Document Intelligence v4.0 |
---

2
skills/ms-ai-engineering/references/multi-modal/whisper-speech-recognition.md
View file

@ -344,7 +344,7 @@ forvaltingstermar = [
"Direktoratet for digital tjenesteutvikling", "Digitaliseringsdirektoratet",
"forvaltingslova", "offentleglova", "personopplysningslova",
"DPIA", "GDPR", "ROS-analyse", "Schrems II",
"Microsoft Entra ID", "Azure AI Foundry",
"Microsoft Entra ID", "Microsoft Foundry",
"Copilot Studio", "Power Platform"
]

2
skills/ms-ai-engineering/references/rag-architecture/agentic-rag-patterns.md
View file

@ -205,7 +205,7 @@ agent = chat_client.as_agent(
| **Azure AI Search** | Agentic retrieval (delvis GA via REST `2026-04-01` — ekstraktiv grounding; answer synthesis/non-minimal reasoning/multi-turn = preview; portal/Foundry preview), vector store, hybrid search |
| **Semantic Kernel** | TextSearchProvider, agent orchestration patterns |
| **Microsoft Agent Framework** | VectorStore bridge, tool-basert RAG |
| **Azure AI Foundry** | Prompt Flow (pensjoneres 2027-04-20 → MAF) for visual DAG orchestration |
| **Microsoft Foundry** | Prompt Flow (pensjoneres 2027-04-20 → MAF) for visual DAG orchestration |
| **Azure OpenAI** | GPT-4o for query planning, function calling |
| **Application Insights** | Agent decision logging, token tracking |

4
skills/ms-ai-engineering/references/rag-architecture/citation-tracking.md
View file

@ -213,7 +213,7 @@ result = groundedness_eval(
|----------|--------------------------|
| **Azure AI Search** | Primær retrieval med metadata og scores |
| **Azure OpenAI** | LLM-generering med citation annotations |
| **Azure AI Foundry** | Evaluering av groundedness og citation-kvalitet |
| **Microsoft Foundry** | Evaluering av groundedness og citation-kvalitet |
| **MLflow** | Tracing og observerbarhet for citation pipeline |
| **Azure AI Content Safety** | Groundedness-deteksjon med korreksjonsfunksjon |
| **Copilot Studio** | Automatisk citation i Copilot-svar |
@ -286,7 +286,7 @@ result = groundedness_eval(
- [Agentic retrieval overview](https://learn.microsoft.com/en-us/azure/search/agentic-retrieval-overview)
- [Transparency note for Azure AI Search](https://learn.microsoft.com/en-us/azure/foundry/responsible-ai/search/transparency-note)
- [Grounding data design](https://learn.microsoft.com/en-us/azure/well-architected/ai/grounding-data-design)
- [Azure AI Foundry agents - AI Search tools](https://learn.microsoft.com/en-us/azure/foundry/agents/how-to/tools/ai-search)
- [Microsoft Foundry agents - AI Search tools](https://learn.microsoft.com/en-us/azure/foundry/agents/how-to/tools/ai-search)
### Baseline (modellkunnskap)
- Norsk lovgivning (Forvaltningsloven, Offentleglova, Arkivloven)

8
skills/ms-ai-engineering/references/rag-architecture/embedding-models-selection.md
View file

@ -48,7 +48,7 @@ client = AzureOpenAI(
response = client.embeddings.create(
model="text-embedding-3-small", # eller "text-embedding-3-large"
input="Azure AI Foundry gir en unified plattform for LLM-utvikling.",
input="Microsoft Foundry gir en unified plattform for LLM-utvikling.",
dimensions=512 # valgfritt: reduser fra 1536 til 512 for mindre indeks
)
@ -250,7 +250,7 @@ var memoryBuilder = new MemoryBuilder();
memoryBuilder.WithAzureOpenAITextEmbeddingGeneration(embeddingGenerator);
var memory = memoryBuilder.Build();
await memory.SaveInformationAsync("facts", "Azure AI Foundry støtter prompt flow.", "fact-1");
await memory.SaveInformationAsync("facts", "Microsoft Foundry støtter prompt flow.", "fact-1");
var results = await memory.SearchAsync("facts", "Hva er Foundry?", limit: 3);
```
@ -429,9 +429,9 @@ for doc in search_result:
General-purpose embedding-modeller (text-embedding-3) presterer godt på standardoppgaver, men kan underlevere på domenespesifikke termer, norsk fagspråk, eller spesialisert terminologi. Fine-tuning tilpasser embedding-modellen til kundens datadomene.
### Azure AI Foundry for embedding fine-tuning
### Microsoft Foundry for embedding fine-tuning
Azure AI Foundry støtter fine-tuning av embedding-modeller via **Custom Models** (preview):
Microsoft Foundry støtter fine-tuning av embedding-modeller via **Custom Models** (preview):
| Aspekt | Detaljer |
|--------|----------|

2
skills/ms-ai-engineering/references/rag-architecture/hybrid-search-configuration.md
View file

@ -142,7 +142,7 @@ results = client.search(
| Tjeneste | Integrasjon |
|----------|-------------|
| **Azure OpenAI** | Embedding-modeller (text-embedding-3-large) for vektordelen |
| **Azure AI Foundry** | Integrert vektorisering via skills i indekserings-pipeline |
| **Microsoft Foundry** | Integrert vektorisering via skills i indekserings-pipeline |
| **Copilot Studio** | Azure AI Search som grounding-kilde for Copilot-agenter |
| **Semantic Kernel** | `AzureAISearchVectorStore` connector for hybrid queries |
| **Power Platform** | AI Builder kan bruke Azure AI Search via custom connectors |

4
skills/ms-ai-engineering/references/rag-architecture/rag-context-windows.md
View file

@ -251,7 +251,7 @@ var section = new PromptSection
Semantic Kernel vil automatisk trunkere seksjoner hvis total token count overskrider modellens context window.
### Prompt Flow (Azure AI Foundry)
### Prompt Flow (Microsoft Foundry)
**Token Estimation:**
Prompt Flow viser estimert token count per node i flyten. Bruk dette for å debugge context window issues før deployment.
@ -397,7 +397,7 @@ Hvis du har 10,000 queries per måned: **11,300 NOK/måned** (kun LLM-kostnad, i
*Dekning: Token constraint challenges, agentic vs. classic RAG, lost-in-the-middle effects*
**Confidence: Verified**
3. **Azure OpenAI in Microsoft Foundry Models — Quotas and Limits**
3. **Azure OpenAI in Foundry Models — Quotas and Limits**
https://learn.microsoft.com/en-us/azure/foundry/openai/quotas-limits
*Dekning: TPM limits per model, context window sizes, rate limits*
**Confidence: Verified**

8
skills/ms-ai-engineering/references/rag-architecture/rag-core-patterns.md
View file

@ -10,7 +10,7 @@
Retrieval-Augmented Generation (RAG) er en arkitektonisk tilnærming som kombinerer informasjonshenting med generativ AI for å produsere faktagrunnede, domene-spesifikke svar. I stedet for å stole utelukkende på en language models forhåndstrente kunnskap, henter RAG-systemer relevant kontekst fra eksterne kunnskapsbaser i sanntid og bruker denne som grunnlag for generering. Dette reduserer hallusinasjoner, tillater kontinuerlig oppdatering av kunnskap uten retrening, og muliggjør svar basert på proprietær eller fersk data.
For enterprise-organisasjoner representerer RAG en praktisk vei til produksjon av AI-løsninger som er både presise og etterprøvbare. Microsoft-økosystemet tilbyr en komplett stack for RAG: Azure AI Search for indeksering og søk, Azure OpenAI Service for generering, Azure AI Foundry for orkestrering, og Copilot Studio for low-code RAG-agenter. RAG brukes i alt fra kunnskapssøk og dokumentanalyse til kundeservice og beslutningsstøtte.
For enterprise-organisasjoner representerer RAG en praktisk vei til produksjon av AI-løsninger som er både presise og etterprøvbare. Microsoft-økosystemet tilbyr en komplett stack for RAG: Azure AI Search for indeksering og søk, Azure OpenAI Service for generering, Microsoft Foundry for orkestrering, og Copilot Studio for low-code RAG-agenter. RAG brukes i alt fra kunnskapssøk og dokumentanalyse til kundeservice og beslutningsstøtte.
Det finnes tre hovedarkitekturer: **Naive RAG** (enkel retrieve-then-generate), **Advanced RAG** (med pre/post-processing og reranking), og **Agentic RAG** (autonome agenter som planlegger og itererer). Valg av mønster avhenger av use case-kompleksitet, krav til presisjon, og tilgjengelig modenhet.
@ -262,7 +262,7 @@ results = search_client.search(
)
```
### Azure AI Foundry
### Microsoft Foundry
- **Prompt flow:** Visuell orkestrasjon av RAG-pipelines (indexing → retrieval → generation) — ⚠️ *pensjoneres 2027-04-20, migrer til Microsoft Agent Framework (MAF)*
- **Evaluation:** Built-in metrics (groundedness, relevance, coherence)
@ -358,7 +358,7 @@ results = search_client.search(
| **Ingen reranking** | Semantic Ranker gir 20-30% bedre relevans. Alltid inkluder i prod. |
| **Hardkodet prompts** | Bruk parametriserte prompt templates. Test med ulike query-typer. |
| **Token overflow** | Monitor context window usage. Implementer chunk truncation-logikk. |
| **Ingen evaluation** | Definer retrieval recall/precision targets. Bruk Azure AI Foundry evaluation. |
| **Ingen evaluation** | Definer retrieval recall/precision targets. Bruk Microsoft Foundry evaluation. |
### Anbefalinger per modenhetsnivå
@ -406,7 +406,7 @@ results = search_client.search(
- [Integrate Azure OpenAI with Azure AI Search](https://learn.microsoft.com/en-us/azure/search/vector-search-integrated-vectorization-ai-studio) (GA)
- [Use generative answers in Copilot Studio](https://learn.microsoft.com/en-us/microsoft-copilot-studio/nlu-boost-conversations) (GA)
- [Semantic Kernel memory and embeddings](https://learn.microsoft.com/en-us/semantic-kernel/memories/) (GA)
- [Azure AI Foundry prompt flow for RAG](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/flow-develop) (GA)
- [Microsoft Foundry prompt flow for RAG](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/flow-develop) (GA)
### Konfidensnivå

8
skills/ms-ai-engineering/references/rag-architecture/rag-evaluation-frameworks.md
View file

@ -8,7 +8,7 @@
## Introduksjon
Evaluering av RAG-systemer er en av de mest undervurderte fasene i enterprise AI-utvikling. Uten systematisk evaluering er det umulig å vite om endringer i chunking, embedding, retrieval eller prompting faktisk forbedrer kvaliteten. Azure AI Foundry tilbyr et komplett evaluerings-rammeverk med 30+ innebygde evaluatorer, LLM-as-judge, human evaluation, og integrasjon med MLflow for produksjonsovervåking.
Evaluering av RAG-systemer er en av de mest undervurderte fasene i enterprise AI-utvikling. Uten systematisk evaluering er det umulig å vite om endringer i chunking, embedding, retrieval eller prompting faktisk forbedrer kvaliteten. Microsoft Foundry tilbyr et komplett evaluerings-rammeverk med 30+ innebygde evaluatorer, LLM-as-judge, human evaluation, og integrasjon med MLflow for produksjonsovervåking.
RAG-evaluering dekker to distinkte dimensjoner: **retrieval quality** (fant vi de riktige dokumentene?) og **generation quality** (genererte LLM-en et godt svar basert på dokumentene?). Azure AI Evaluation SDK operasjonaliserer dette med spesialiserte evaluatorer for groundedness, relevance, completeness, utilization og mer — tilgjengelig som Python-pakke (`azure-ai-evaluation`).
@ -218,7 +218,7 @@ Bruk `mlflow.log_feedback()` med `AssessmentSourceType.HUMAN` for å logge menne
|---------|-------------|------|
| Azure AI Evaluation SDK | `pip install azure-ai-evaluation` | Offline/batch evaluering |
| MLflow 3 | `pip install mlflow` | Tracing + online evaluering |
| Prompt Flow ⚠️ *(pensjoneres 2027-04-20 → MAF)* | Via Azure AI Foundry | End-to-end utvikling |
| Prompt Flow ⚠️ *(pensjoneres 2027-04-20 → MAF)* | Via Microsoft Foundry | End-to-end utvikling |
### Spesialverktøy
@ -240,7 +240,7 @@ Bruk `mlflow.log_feedback()` med `AssessmentSourceType.HUMAN` for å logge menne
| Tjeneste | Rolle i evaluering |
|----------|-------------------|
| **Azure AI Foundry** | Sentral evaluerings-plattform med portal og SDK |
| **Microsoft Foundry** | Sentral evaluerings-plattform med portal og SDK |
| **Azure OpenAI** | Judge-modeller for LLM-basert evaluering |
| **MLflow** | Tracing, observerbarhet, human feedback |
| **Azure Monitor** | Alerting og dashboards for produksjonsmetrikker |
@ -315,7 +315,7 @@ Bruk `mlflow.log_feedback()` med `AssessmentSourceType.HUMAN` for å logge menne
- [RAG LLM Evaluation Phase](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase)
- [RAG Solution Design Guide](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-solution-design-and-evaluation-guide)
- [Built-in RAG Evaluators](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators)
- [Azure AI Foundry Observability](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability)
- [Microsoft Foundry Observability](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability)
- [RAG Experiment Accelerator](https://github.com/microsoft/rag-experiment-accelerator)
### Baseline (modellkunnskap)

2
skills/ms-ai-engineering/references/rag-architecture/rag-hallucination-mitigation.md
View file

@ -206,7 +206,7 @@ If the answer is not in the documents, respond with "I don't have that informati
For every claim you make, cite the source document using [doc_id].
```
### Azure AI Foundry
### Microsoft Foundry
**GroundednessEvaluator (Python SDK):**
```python
from azure.ai.evaluation import GroundednessEvaluator, AzureOpenAIModelConfiguration

18
skills/ms-ai-engineering/references/rag-architecture/self-reflective-rag.md
View file

@ -1,7 +1,7 @@
# Self-Reflective RAG — Selvevaluerende retrieval
**Last updated:** 2026-02
**Status:** GA (Azure AI Foundry evaluators), Preview (agentic retrieval)
**Status:** GA (Microsoft Foundry evaluators), Preview (agentic retrieval)
**Category:** RAG Architecture & Semantic Search
---
@ -12,7 +12,7 @@ Self-Reflective RAG er en arkitektur der systemet evaluerer og raffinerer sine e
To fremtredende forskningsbidrag definerer feltet: **CRAG (Corrective RAG)** bruker en lightweight evaluator som returnerer confidence-grader (Correct/Incorrect/Ambiguous) for å trigge korrektive handlinger, og **Self-RAG** der modellen kritiserer og verifiserer sine egne outputs under generering.
Azure AI Foundry tilbyr innebygde evaluatorer for RAG quality assessment (groundedness, relevance, coherence — alle 1-5 skala) som kan integreres i en feedback loop. Azure AI Search agentic retrieval (preview) forbedrer retrieval-relevans med opptil 40% gjennom LLM-assistert query planning.
Microsoft Foundry tilbyr innebygde evaluatorer for RAG quality assessment (groundedness, relevance, coherence — alle 1-5 skala) som kan integreres i en feedback loop. Azure AI Search agentic retrieval (preview) forbedrer retrieval-relevans med opptil 40% gjennom LLM-assistert query planning.
---
@ -27,7 +27,7 @@ Azure AI Foundry tilbyr innebygde evaluatorer for RAG quality assessment (ground
| **Ambiguous (middels)** | Delvis relevante | Decompose-then-recompose: filtrer irrelevant innhold |
| **Incorrect (lav confidence)** | Dokumenter er irrelevante | Re-retrieve med reformulert query eller web search fallback |
### Azure AI Foundry evaluatorer
### Microsoft Foundry evaluatorer
| Evaluator | Type | Scoring | Bruksområde |
|-----------|------|---------|-------------|
@ -52,7 +52,7 @@ Query → Initial Retrieval → Evaluering
## Arkitekturmønstre
### Mønster 1: CRAG med Azure AI Foundry evaluators
### Mønster 1: CRAG med Microsoft Foundry evaluators
**Arkitektur:** Query → Azure AI Search → Retrieval Evaluator → [Correct: Generate] / [Ambiguous: Filter + Generate] / [Incorrect: Reformulate + Re-retrieve]
@ -91,7 +91,7 @@ if grounded["groundedness_result"] == "fail":
**Fordeler:**
- Managed evaluators — ingen custom modelltrening
- Integrert med Azure AI Foundry observability
- Integrert med Microsoft Foundry observability
- Støtter reasoning-modeller (o-series) med `is_reasoning_model=True`
**Anbefalt for:** Produksjonssystemer der svarkvalitet er kritisk.
@ -142,7 +142,7 @@ ChatCompletionAgent agent = new()
3. Kjør parameter sweep over re-ranker thresholds, target indices, knowledge sources
4. Velg optimal konfigurasjon basert på groundedness + relevance scores
**Azure AI Foundry-støtte:**
**Microsoft Foundry-støtte:**
| Metric | Formål |
|--------|--------|
@ -187,7 +187,7 @@ ChatCompletionAgent agent = new()
| Tjeneste | Integrasjonspunkt |
|----------|-------------------|
| **Azure AI Foundry** | Innebygde evaluatorer (Groundedness, Relevance, Retrieval) |
| **Microsoft Foundry** | Innebygde evaluatorer (Groundedness, Relevance, Retrieval) |
| **Azure AI Search** | Retrieval backend + agentic retrieval (preview) |
| **Semantic Kernel** | OnDemandFunctionCalling for iterativ retrieval |
| **Azure OpenAI** | GPT-4o for evaluering og generering |
@ -200,7 +200,7 @@ ChatCompletionAgent agent = new()
### Dataplassering
- **Azure AI Foundry evaluators:** Kjøres via Azure OpenAI (Sweden Central) — data i EU/EØS
- **Microsoft Foundry evaluators:** Kjøres via Azure OpenAI (Sweden Central) — data i EU/EØS
- **Azure AI Content Safety:** Sjekk regional tilgjengelighet for Groundedness Pro
### Relevante vurderinger
@ -265,7 +265,7 @@ Hvis self-reflective RAG reduserer feilaktige svar fra 15% til 5%:
| Kilde | Konfidens | URL |
|-------|-----------|-----|
| RAG Evaluators (Azure AI Foundry) | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators) |
| RAG Evaluators (Microsoft Foundry) | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators) |
| RAG LLM Evaluation Phase | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase) |
| Semantic Kernel Agent RAG | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/semantic-kernel/frameworks/agent/agent-rag) |
| Corrective RAG (CRAG) paper | **Verified** | [arxiv.org](https://arxiv.org/abs/2401.15884) |

2
skills/ms-ai-engineering/references/rag-architecture/semantic-ranker-reranking.md
View file

@ -199,7 +199,7 @@ Preview-funksjon (2025) som integrerer iterativ søk med semantic ranking.
| Tjeneste | Integrasjon |
|----------|-------------|
| **Azure OpenAI** | RAG med semantic-ranked kontekst for bedre svar |
| **Azure AI Foundry** | Evaluering av semantic ranking-kvalitet via built-in evaluators |
| **Microsoft Foundry** | Evaluering av semantic ranking-kvalitet via built-in evaluators |
| **Copilot Studio** | Automatisk bruk av semantic ranking i grounding |
| **Azure Cosmos DB** | Semantic Reranker (separat produkt, lignende konsept) |
| **Databricks** | Vector Search med reranking-integrasjon |

2
skills/ms-ai-engineering/references/rag-architecture/vector-indexing-techniques.md
View file

@ -271,7 +271,7 @@ results = merge_and_rerank([t.result() for t in tasks])
## Integrasjon med Microsoft-stakken
### Azure AI Foundry (Prompt Flow)
### Microsoft Foundry (Prompt Flow)
Vector indexing integreres via **Vector Index-asset** i AI Foundry: