docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)

Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det
gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry»
(/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip.

Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper
«Azure AI» (legger IKKE til «Microsoft») for to produktvarianter:
- «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form)
- «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models»)
- «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg)
- «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry»
- Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models»

Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search»,
«Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)»
i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→
/azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred.

Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE.
Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata),
CHANGELOG.md (historisk logg), STATE.md (gitignored).

3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk
invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96
(alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Kjell Tore Guttormsen 2026-06-23 21:00:27 +02:00
commit 03d596e4ec
233 changed files with 810 additions and 810 deletions

View file

@ -205,7 +205,7 @@ agent = chat_client.as_agent(
| **Azure AI Search** | Agentic retrieval (delvis GA via REST `2026-04-01` — ekstraktiv grounding; answer synthesis/non-minimal reasoning/multi-turn = preview; portal/Foundry preview), vector store, hybrid search |
| **Semantic Kernel** | TextSearchProvider, agent orchestration patterns |
| **Microsoft Agent Framework** | VectorStore bridge, tool-basert RAG |
| **Azure AI Foundry** | Prompt Flow (pensjoneres 2027-04-20 → MAF) for visual DAG orchestration |
| **Microsoft Foundry** | Prompt Flow (pensjoneres 2027-04-20 → MAF) for visual DAG orchestration |
| **Azure OpenAI** | GPT-4o for query planning, function calling |
| **Application Insights** | Agent decision logging, token tracking |

View file

@ -213,7 +213,7 @@ result = groundedness_eval(
|----------|--------------------------|
| **Azure AI Search** | Primær retrieval med metadata og scores |
| **Azure OpenAI** | LLM-generering med citation annotations |
| **Azure AI Foundry** | Evaluering av groundedness og citation-kvalitet |
| **Microsoft Foundry** | Evaluering av groundedness og citation-kvalitet |
| **MLflow** | Tracing og observerbarhet for citation pipeline |
| **Azure AI Content Safety** | Groundedness-deteksjon med korreksjonsfunksjon |
| **Copilot Studio** | Automatisk citation i Copilot-svar |
@ -286,7 +286,7 @@ result = groundedness_eval(
- [Agentic retrieval overview](https://learn.microsoft.com/en-us/azure/search/agentic-retrieval-overview)
- [Transparency note for Azure AI Search](https://learn.microsoft.com/en-us/azure/foundry/responsible-ai/search/transparency-note)
- [Grounding data design](https://learn.microsoft.com/en-us/azure/well-architected/ai/grounding-data-design)
- [Azure AI Foundry agents - AI Search tools](https://learn.microsoft.com/en-us/azure/foundry/agents/how-to/tools/ai-search)
- [Microsoft Foundry agents - AI Search tools](https://learn.microsoft.com/en-us/azure/foundry/agents/how-to/tools/ai-search)
### Baseline (modellkunnskap)
- Norsk lovgivning (Forvaltningsloven, Offentleglova, Arkivloven)

View file

@ -48,7 +48,7 @@ client = AzureOpenAI(
response = client.embeddings.create(
model="text-embedding-3-small", # eller "text-embedding-3-large"
input="Azure AI Foundry gir en unified plattform for LLM-utvikling.",
input="Microsoft Foundry gir en unified plattform for LLM-utvikling.",
dimensions=512 # valgfritt: reduser fra 1536 til 512 for mindre indeks
)
@ -250,7 +250,7 @@ var memoryBuilder = new MemoryBuilder();
memoryBuilder.WithAzureOpenAITextEmbeddingGeneration(embeddingGenerator);
var memory = memoryBuilder.Build();
await memory.SaveInformationAsync("facts", "Azure AI Foundry støtter prompt flow.", "fact-1");
await memory.SaveInformationAsync("facts", "Microsoft Foundry støtter prompt flow.", "fact-1");
var results = await memory.SearchAsync("facts", "Hva er Foundry?", limit: 3);
```
@ -429,9 +429,9 @@ for doc in search_result:
General-purpose embedding-modeller (text-embedding-3) presterer godt på standardoppgaver, men kan underlevere på domenespesifikke termer, norsk fagspråk, eller spesialisert terminologi. Fine-tuning tilpasser embedding-modellen til kundens datadomene.
### Azure AI Foundry for embedding fine-tuning
### Microsoft Foundry for embedding fine-tuning
Azure AI Foundry støtter fine-tuning av embedding-modeller via **Custom Models** (preview):
Microsoft Foundry støtter fine-tuning av embedding-modeller via **Custom Models** (preview):
| Aspekt | Detaljer |
|--------|----------|

View file

@ -142,7 +142,7 @@ results = client.search(
| Tjeneste | Integrasjon |
|----------|-------------|
| **Azure OpenAI** | Embedding-modeller (text-embedding-3-large) for vektordelen |
| **Azure AI Foundry** | Integrert vektorisering via skills i indekserings-pipeline |
| **Microsoft Foundry** | Integrert vektorisering via skills i indekserings-pipeline |
| **Copilot Studio** | Azure AI Search som grounding-kilde for Copilot-agenter |
| **Semantic Kernel** | `AzureAISearchVectorStore` connector for hybrid queries |
| **Power Platform** | AI Builder kan bruke Azure AI Search via custom connectors |

View file

@ -251,7 +251,7 @@ var section = new PromptSection
Semantic Kernel vil automatisk trunkere seksjoner hvis total token count overskrider modellens context window.
### Prompt Flow (Azure AI Foundry)
### Prompt Flow (Microsoft Foundry)
**Token Estimation:**
Prompt Flow viser estimert token count per node i flyten. Bruk dette for å debugge context window issues før deployment.
@ -397,7 +397,7 @@ Hvis du har 10,000 queries per måned: **11,300 NOK/måned** (kun LLM-kostnad, i
*Dekning: Token constraint challenges, agentic vs. classic RAG, lost-in-the-middle effects*
**Confidence: Verified**
3. **Azure OpenAI in Microsoft Foundry Models — Quotas and Limits**
3. **Azure OpenAI in Foundry Models — Quotas and Limits**
https://learn.microsoft.com/en-us/azure/foundry/openai/quotas-limits
*Dekning: TPM limits per model, context window sizes, rate limits*
**Confidence: Verified**

View file

@ -10,7 +10,7 @@
Retrieval-Augmented Generation (RAG) er en arkitektonisk tilnærming som kombinerer informasjonshenting med generativ AI for å produsere faktagrunnede, domene-spesifikke svar. I stedet for å stole utelukkende på en language models forhåndstrente kunnskap, henter RAG-systemer relevant kontekst fra eksterne kunnskapsbaser i sanntid og bruker denne som grunnlag for generering. Dette reduserer hallusinasjoner, tillater kontinuerlig oppdatering av kunnskap uten retrening, og muliggjør svar basert på proprietær eller fersk data.
For enterprise-organisasjoner representerer RAG en praktisk vei til produksjon av AI-løsninger som er både presise og etterprøvbare. Microsoft-økosystemet tilbyr en komplett stack for RAG: Azure AI Search for indeksering og søk, Azure OpenAI Service for generering, Azure AI Foundry for orkestrering, og Copilot Studio for low-code RAG-agenter. RAG brukes i alt fra kunnskapssøk og dokumentanalyse til kundeservice og beslutningsstøtte.
For enterprise-organisasjoner representerer RAG en praktisk vei til produksjon av AI-løsninger som er både presise og etterprøvbare. Microsoft-økosystemet tilbyr en komplett stack for RAG: Azure AI Search for indeksering og søk, Azure OpenAI Service for generering, Microsoft Foundry for orkestrering, og Copilot Studio for low-code RAG-agenter. RAG brukes i alt fra kunnskapssøk og dokumentanalyse til kundeservice og beslutningsstøtte.
Det finnes tre hovedarkitekturer: **Naive RAG** (enkel retrieve-then-generate), **Advanced RAG** (med pre/post-processing og reranking), og **Agentic RAG** (autonome agenter som planlegger og itererer). Valg av mønster avhenger av use case-kompleksitet, krav til presisjon, og tilgjengelig modenhet.
@ -262,7 +262,7 @@ results = search_client.search(
)
```
### Azure AI Foundry
### Microsoft Foundry
- **Prompt flow:** Visuell orkestrasjon av RAG-pipelines (indexing → retrieval → generation) — ⚠️ *pensjoneres 2027-04-20, migrer til Microsoft Agent Framework (MAF)*
- **Evaluation:** Built-in metrics (groundedness, relevance, coherence)
@ -358,7 +358,7 @@ results = search_client.search(
| **Ingen reranking** | Semantic Ranker gir 20-30% bedre relevans. Alltid inkluder i prod. |
| **Hardkodet prompts** | Bruk parametriserte prompt templates. Test med ulike query-typer. |
| **Token overflow** | Monitor context window usage. Implementer chunk truncation-logikk. |
| **Ingen evaluation** | Definer retrieval recall/precision targets. Bruk Azure AI Foundry evaluation. |
| **Ingen evaluation** | Definer retrieval recall/precision targets. Bruk Microsoft Foundry evaluation. |
### Anbefalinger per modenhetsnivå
@ -406,7 +406,7 @@ results = search_client.search(
- [Integrate Azure OpenAI with Azure AI Search](https://learn.microsoft.com/en-us/azure/search/vector-search-integrated-vectorization-ai-studio) (GA)
- [Use generative answers in Copilot Studio](https://learn.microsoft.com/en-us/microsoft-copilot-studio/nlu-boost-conversations) (GA)
- [Semantic Kernel memory and embeddings](https://learn.microsoft.com/en-us/semantic-kernel/memories/) (GA)
- [Azure AI Foundry prompt flow for RAG](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/flow-develop) (GA)
- [Microsoft Foundry prompt flow for RAG](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/flow-develop) (GA)
### Konfidensnivå

View file

@ -8,7 +8,7 @@
## Introduksjon
Evaluering av RAG-systemer er en av de mest undervurderte fasene i enterprise AI-utvikling. Uten systematisk evaluering er det umulig å vite om endringer i chunking, embedding, retrieval eller prompting faktisk forbedrer kvaliteten. Azure AI Foundry tilbyr et komplett evaluerings-rammeverk med 30+ innebygde evaluatorer, LLM-as-judge, human evaluation, og integrasjon med MLflow for produksjonsovervåking.
Evaluering av RAG-systemer er en av de mest undervurderte fasene i enterprise AI-utvikling. Uten systematisk evaluering er det umulig å vite om endringer i chunking, embedding, retrieval eller prompting faktisk forbedrer kvaliteten. Microsoft Foundry tilbyr et komplett evaluerings-rammeverk med 30+ innebygde evaluatorer, LLM-as-judge, human evaluation, og integrasjon med MLflow for produksjonsovervåking.
RAG-evaluering dekker to distinkte dimensjoner: **retrieval quality** (fant vi de riktige dokumentene?) og **generation quality** (genererte LLM-en et godt svar basert på dokumentene?). Azure AI Evaluation SDK operasjonaliserer dette med spesialiserte evaluatorer for groundedness, relevance, completeness, utilization og mer — tilgjengelig som Python-pakke (`azure-ai-evaluation`).
@ -218,7 +218,7 @@ Bruk `mlflow.log_feedback()` med `AssessmentSourceType.HUMAN` for å logge menne
|---------|-------------|------|
| Azure AI Evaluation SDK | `pip install azure-ai-evaluation` | Offline/batch evaluering |
| MLflow 3 | `pip install mlflow` | Tracing + online evaluering |
| Prompt Flow ⚠️ *(pensjoneres 2027-04-20 → MAF)* | Via Azure AI Foundry | End-to-end utvikling |
| Prompt Flow ⚠️ *(pensjoneres 2027-04-20 → MAF)* | Via Microsoft Foundry | End-to-end utvikling |
### Spesialverktøy
@ -240,7 +240,7 @@ Bruk `mlflow.log_feedback()` med `AssessmentSourceType.HUMAN` for å logge menne
| Tjeneste | Rolle i evaluering |
|----------|-------------------|
| **Azure AI Foundry** | Sentral evaluerings-plattform med portal og SDK |
| **Microsoft Foundry** | Sentral evaluerings-plattform med portal og SDK |
| **Azure OpenAI** | Judge-modeller for LLM-basert evaluering |
| **MLflow** | Tracing, observerbarhet, human feedback |
| **Azure Monitor** | Alerting og dashboards for produksjonsmetrikker |
@ -315,7 +315,7 @@ Bruk `mlflow.log_feedback()` med `AssessmentSourceType.HUMAN` for å logge menne
- [RAG LLM Evaluation Phase](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase)
- [RAG Solution Design Guide](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-solution-design-and-evaluation-guide)
- [Built-in RAG Evaluators](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators)
- [Azure AI Foundry Observability](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability)
- [Microsoft Foundry Observability](https://learn.microsoft.com/en-us/azure/foundry/concepts/observability)
- [RAG Experiment Accelerator](https://github.com/microsoft/rag-experiment-accelerator)
### Baseline (modellkunnskap)

View file

@ -206,7 +206,7 @@ If the answer is not in the documents, respond with "I don't have that informati
For every claim you make, cite the source document using [doc_id].
```
### Azure AI Foundry
### Microsoft Foundry
**GroundednessEvaluator (Python SDK):**
```python
from azure.ai.evaluation import GroundednessEvaluator, AzureOpenAIModelConfiguration

View file

@ -1,7 +1,7 @@
# Self-Reflective RAG — Selvevaluerende retrieval
**Last updated:** 2026-02
**Status:** GA (Azure AI Foundry evaluators), Preview (agentic retrieval)
**Status:** GA (Microsoft Foundry evaluators), Preview (agentic retrieval)
**Category:** RAG Architecture & Semantic Search
---
@ -12,7 +12,7 @@ Self-Reflective RAG er en arkitektur der systemet evaluerer og raffinerer sine e
To fremtredende forskningsbidrag definerer feltet: **CRAG (Corrective RAG)** bruker en lightweight evaluator som returnerer confidence-grader (Correct/Incorrect/Ambiguous) for å trigge korrektive handlinger, og **Self-RAG** der modellen kritiserer og verifiserer sine egne outputs under generering.
Azure AI Foundry tilbyr innebygde evaluatorer for RAG quality assessment (groundedness, relevance, coherence — alle 1-5 skala) som kan integreres i en feedback loop. Azure AI Search agentic retrieval (preview) forbedrer retrieval-relevans med opptil 40% gjennom LLM-assistert query planning.
Microsoft Foundry tilbyr innebygde evaluatorer for RAG quality assessment (groundedness, relevance, coherence — alle 1-5 skala) som kan integreres i en feedback loop. Azure AI Search agentic retrieval (preview) forbedrer retrieval-relevans med opptil 40% gjennom LLM-assistert query planning.
---
@ -27,7 +27,7 @@ Azure AI Foundry tilbyr innebygde evaluatorer for RAG quality assessment (ground
| **Ambiguous (middels)** | Delvis relevante | Decompose-then-recompose: filtrer irrelevant innhold |
| **Incorrect (lav confidence)** | Dokumenter er irrelevante | Re-retrieve med reformulert query eller web search fallback |
### Azure AI Foundry evaluatorer
### Microsoft Foundry evaluatorer
| Evaluator | Type | Scoring | Bruksområde |
|-----------|------|---------|-------------|
@ -52,7 +52,7 @@ Query → Initial Retrieval → Evaluering
## Arkitekturmønstre
### Mønster 1: CRAG med Azure AI Foundry evaluators
### Mønster 1: CRAG med Microsoft Foundry evaluators
**Arkitektur:** Query → Azure AI Search → Retrieval Evaluator → [Correct: Generate] / [Ambiguous: Filter + Generate] / [Incorrect: Reformulate + Re-retrieve]
@ -91,7 +91,7 @@ if grounded["groundedness_result"] == "fail":
**Fordeler:**
- Managed evaluators — ingen custom modelltrening
- Integrert med Azure AI Foundry observability
- Integrert med Microsoft Foundry observability
- Støtter reasoning-modeller (o-series) med `is_reasoning_model=True`
**Anbefalt for:** Produksjonssystemer der svarkvalitet er kritisk.
@ -142,7 +142,7 @@ ChatCompletionAgent agent = new()
3. Kjør parameter sweep over re-ranker thresholds, target indices, knowledge sources
4. Velg optimal konfigurasjon basert på groundedness + relevance scores
**Azure AI Foundry-støtte:**
**Microsoft Foundry-støtte:**
| Metric | Formål |
|--------|--------|
@ -187,7 +187,7 @@ ChatCompletionAgent agent = new()
| Tjeneste | Integrasjonspunkt |
|----------|-------------------|
| **Azure AI Foundry** | Innebygde evaluatorer (Groundedness, Relevance, Retrieval) |
| **Microsoft Foundry** | Innebygde evaluatorer (Groundedness, Relevance, Retrieval) |
| **Azure AI Search** | Retrieval backend + agentic retrieval (preview) |
| **Semantic Kernel** | OnDemandFunctionCalling for iterativ retrieval |
| **Azure OpenAI** | GPT-4o for evaluering og generering |
@ -200,7 +200,7 @@ ChatCompletionAgent agent = new()
### Dataplassering
- **Azure AI Foundry evaluators:** Kjøres via Azure OpenAI (Sweden Central) — data i EU/EØS
- **Microsoft Foundry evaluators:** Kjøres via Azure OpenAI (Sweden Central) — data i EU/EØS
- **Azure AI Content Safety:** Sjekk regional tilgjengelighet for Groundedness Pro
### Relevante vurderinger
@ -265,7 +265,7 @@ Hvis self-reflective RAG reduserer feilaktige svar fra 15% til 5%:
| Kilde | Konfidens | URL |
|-------|-----------|-----|
| RAG Evaluators (Azure AI Foundry) | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators) |
| RAG Evaluators (Microsoft Foundry) | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-evaluators/rag-evaluators) |
| RAG LLM Evaluation Phase | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-llm-evaluation-phase) |
| Semantic Kernel Agent RAG | **Verified** | [learn.microsoft.com](https://learn.microsoft.com/en-us/semantic-kernel/frameworks/agent/agent-rag) |
| Corrective RAG (CRAG) paper | **Verified** | [arxiv.org](https://arxiv.org/abs/2401.15884) |

View file

@ -199,7 +199,7 @@ Preview-funksjon (2025) som integrerer iterativ søk med semantic ranking.
| Tjeneste | Integrasjon |
|----------|-------------|
| **Azure OpenAI** | RAG med semantic-ranked kontekst for bedre svar |
| **Azure AI Foundry** | Evaluering av semantic ranking-kvalitet via built-in evaluators |
| **Microsoft Foundry** | Evaluering av semantic ranking-kvalitet via built-in evaluators |
| **Copilot Studio** | Automatisk bruk av semantic ranking i grounding |
| **Azure Cosmos DB** | Semantic Reranker (separat produkt, lignende konsept) |
| **Databricks** | Vector Search med reranking-integrasjon |

View file

@ -271,7 +271,7 @@ results = merge_and_rerank([t.result() for t in tasks])
## Integrasjon med Microsoft-stakken
### Azure AI Foundry (Prompt Flow)
### Microsoft Foundry (Prompt Flow)
Vector indexing integreres via **Vector Index-asset** i AI Foundry: