docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)

Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det
gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry»
(/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip.

Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper
«Azure AI» (legger IKKE til «Microsoft») for to produktvarianter:
- «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form)
- «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models»)
- «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg)
- «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry»
- Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models»

Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search»,
«Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)»
i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→
/azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred.

Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE.
Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata),
CHANGELOG.md (historisk logg), STATE.md (gitignored).

3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk
invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96
(alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Kjell Tore Guttormsen 2026-06-23 21:00:27 +02:00
commit 03d596e4ec
233 changed files with 810 additions and 810 deletions

View file

@ -12,7 +12,7 @@ Response quality metrics er kritisk for å evaluere effektiviteten av RAG-system
I motsetning til tradisjonelle applikasjoner, hvor output er deterministisk, genererer LLM-er ikke-deterministische responser. Samme prompt kan gi forskjellige resultater hver gang. Dette krever et systematisk rammeverk for å måle kvalitet på tvers av dimensjoner som groundedness (er svaret basert på context?), relevance (adresserer svaret spørsmålet?), completeness (dekker svaret alle aspekter?), og coherence (flyter svaret logisk?).
Azure AI Foundry og Azure AI Evaluation SDK tilbyr AI-assisterte evaluatorer som bruker GPT-modeller som "dommere" til å score responser, samt NLP-baserte metrics (BLEU, ROUGE, METEOR) for tekstlikhet. Sammen gir disse et helhetlig bilde av RAG-systemets evne til å levere korrekt, relevant og komplett informasjon fra grunnlagsdata.
Microsoft Foundry og Azure AI Evaluation SDK tilbyr AI-assisterte evaluatorer som bruker GPT-modeller som "dommere" til å score responser, samt NLP-baserte metrics (BLEU, ROUGE, METEOR) for tekstlikhet. Sammen gir disse et helhetlig bilde av RAG-systemets evne til å levere korrekt, relevant og komplett informasjon fra grunnlagsdata.
## Kjernekomponenter
@ -291,7 +291,7 @@ groundedness = GroundednessEvaluator(
## Integrasjon med Microsoft-stakken
### Azure AI Foundry Evaluation
### Microsoft Foundry Evaluation
**Pre-production evaluation workflow:**
```
@ -452,7 +452,7 @@ eval_results = mlflow.genai.evaluate(
**Mitigering:**
- Bruk **Groundedness (LLM-judge)** i stedet for Groundedness Pro — mer kontroll over model deployment region
- Deploy GPT-judge i Norge-region (Norway East)
- Bekreft at Azure AI Foundry project og OpenAI resource er i samme region
- Bekreft at Microsoft Foundry project og OpenAI resource er i samme region
### DPIA for response quality metrics
@ -505,7 +505,7 @@ PTU equivalent: ~300 PTUs @ $6/PTU = $1800/måned
**Nødvendig:**
- **Azure OpenAI** (for GPT-judge): Standard/Enterprise Agreement
- **Azure AI Foundry**: Gratis tier for evaluation UI, betaler kun for underliggende compute (GPT calls)
- **Microsoft Foundry**: Gratis tier for evaluation UI, betaler kun for underliggende compute (GPT calls)
- **Azure AI Content Safety** (for Groundedness Pro): Inkludert i Azure subscription, pay-per-transaction
**Ikke nødvendig:**
@ -540,7 +540,7 @@ PTU equivalent: ~300 PTUs @ $6/PTU = $1800/måned
- Nei → bruk Retrieval evaluator (LLM-judge, ingen ground truth)
7. **Hvilke Microsoft-tjenester bruker dere i dag?**
- Azure AI Foundry → bruk innebygd Evaluations UI
- Microsoft Foundry → bruk innebygd Evaluations UI
- Copilot Studio → integrer QAEvaluator i Prompt Flow
- Databricks → bruk MLflow GenAI evaluation