open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 4 Activity

docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)

Browse source 
Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det
gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry»
(/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip.

Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper
«Azure AI» (legger IKKE til «Microsoft») for to produktvarianter:
- «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form)
- «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models»)
- «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg)
- «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry»
- Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models»

Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search»,
«Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)»
i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→
/azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred.

Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE.
Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata),
CHANGELOG.md (historisk logg), STATE.md (gitignored).

3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk
invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96
(alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Kjell Tore Guttormsen 2026-06-23 21:00:27 +02:00
commit 03d596e4ec
233 changed files with 810 additions and 810 deletions
Download patch file Download diff file Expand all files Collapse all files

38
skills/ms-ai-advisor/references/prompt-engineering/prompt-testing-and-evaluation.md
View file

@ -8,12 +8,12 @@
## Introduksjon
Evaluering av prompt-baserte LLM-løsninger er kritisk for å måle ytelse, kvalitet og sikkerhet i generative AI-applikasjoner. Microsoft tilbyr en omfattende evalueringsplattform gjennom Azure AI Foundry og Prompt Flow som støtter både automatisert testing, AI-assistert evaluering og kontinuerlig overvåking.
Evaluering av prompt-baserte LLM-løsninger er kritisk for å måle ytelse, kvalitet og sikkerhet i generative AI-applikasjoner. Microsoft tilbyr en omfattende evalueringsplattform gjennom Microsoft Foundry og Prompt Flow som støtter både automatisert testing, AI-assistert evaluering og kontinuerlig overvåking.
Denne referansen dekker evalueringsrammeverket for prompt testing, iterasjon og optimalisering på tvers av Microsoft AI-stakken — fra utviklingsfasen (prototyping), via eksperimentering (evaluation flows), til produksjon (continuous evaluation).
**Hovedkomponenter:**
- **Azure AI Foundry Evaluation**: UI-basert evalueringsportal med innebygde metrics
- **Microsoft Foundry Evaluation**: UI-basert evalueringsportal med innebygde metrics
- **Prompt Flow Evaluation**: SDK-basert rammeverk for programmatisk evaluering
- **Azure AI Evaluation SDK**: Python SDK for custom evaluators og batch-evaluering
- **Continuous Evaluation**: Automatisk evaluering av agent-responser i produksjon
@ -29,9 +29,9 @@ Denne referansen dekker evalueringsrammeverket for prompt testing, iterasjon og
## Kjernekomponenter
### 1. Azure AI Foundry Evaluation Portal
### 1. Microsoft Foundry Evaluation Portal
**Beskrivelse:** UI-basert evalueringsverktøy i Azure AI Foundry portalen som lar deg opprette evaluation runs med innebygde metrics, visualisere resultater og sammenligne evalueringer.
**Beskrivelse:** UI-basert evalueringsverktøy i Microsoft Foundry portalen som lar deg opprette evaluation runs med innebygde metrics, visualisere resultater og sammenligne evalueringer.
**Kapabiliteter:**
- Wizard-basert opprettelse av evaluation runs (Evaluation → Create)
@ -158,7 +158,7 @@ pfazure run stream --name <evaluation-run-name>
### 3. Azure AI Evaluation SDK
**Beskrivelse:** Python SDK (`azure-ai-evaluation`) for programmatisk evaluering av LLM-applikasjoner, med støtte for custom evaluators, batch evaluation og integration med Azure AI Foundry.
**Beskrivelse:** Python SDK (`azure-ai-evaluation`) for programmatisk evaluering av LLM-applikasjoner, med støtte for custom evaluators, batch evaluation og integration med Microsoft Foundry.
**Installasjon:**
@ -319,7 +319,7 @@ continuous_eval_rule = project_client.evaluation_rules.create_or_update(
### 5. Evaluator Library & Version Management
**Beskrivelse:** Sentralisert bibliotek i Azure AI Foundry for lagring, versjonering og deling av custom evaluators.
**Beskrivelse:** Sentralisert bibliotek i Microsoft Foundry for lagring, versjonering og deling av custom evaluators.
**Registrere Custom Evaluator:**
@ -622,7 +622,7 @@ if p_value < 0.05:
|----------|-------------------|-------------|
| **Prototyping (5-50 samples)** | Playground + Manual Review | Rask iterasjon, minimal overhead |
| **Development (100-500 samples)** | Prompt Flow Batch Evaluation | Strukturert testing, metrics logging |
| **Pre-Production (1000+ samples)** | Azure AI Foundry Evaluation (UI/SDK) | Golden dataset testing, A/B comparison |
| **Pre-Production (1000+ samples)** | Microsoft Foundry Evaluation (UI/SDK) | Golden dataset testing, A/B comparison |
| **Production Monitoring** | Continuous Evaluation + HITL | Real-time safety, drift detection |
---
@ -670,7 +670,7 @@ if p_value < 0.05:
## Integrasjon med Microsoft-stakken
### Azure AI Foundry
### Microsoft Foundry
**Evaluation Workflow:**
@ -775,8 +775,8 @@ steps:
**Workaround:**
1. **Eksporter conversation logs** fra Copilot Studio til Dataverse
2. **Sync til Azure AI Foundry** via API
3. **Kjør evaluation** i Azure AI Foundry mot eksporterte logs
2. **Sync til Microsoft Foundry** via API
3. **Kjør evaluation** i Microsoft Foundry mot eksporterte logs
**Alternativ:** Bruk **Power Automate** flow for å samle conversation logs og kalle Azure AI Evaluation API.
@ -787,8 +787,8 @@ steps:
**Limitation:** AI Builder har ikke native evaluation support for prompt-baserte modeller.
**Workaround:**
1. Test prompts i **Azure AI Foundry Playground**
2. Evaluer via **Azure AI Foundry Evaluation Portal**
1. Test prompts i **Microsoft Foundry Playground**
2. Evaluer via **Microsoft Foundry Evaluation Portal**
3. Deploy finalized prompt til AI Builder (via custom connector til Azure OpenAI)
---
@ -905,7 +905,7 @@ def grade(sample: dict, item: dict) -> float:
## Kostnad og lisensiering
### Azure AI Foundry Evaluation Costs
### Microsoft Foundry Evaluation Costs
| Komponent | Kostnadsmodell | Estimat (NOK/måned) |
|-----------|----------------|---------------------|
@ -926,7 +926,7 @@ def grade(sample: dict, item: dict) -> float:
| Komponent | Lisenskrav | Inkludert i |
|-----------|------------|-------------|
| **Azure AI Foundry Evaluation Portal** | Azure-subscription | Azure AI Foundry Hub |
| **Microsoft Foundry Evaluation Portal** | Azure-subscription | Microsoft Foundry Hub |
| **Prompt Flow SDK** | Ingen lisens (open-source) | Gratis (pip install) |
| **Azure AI Evaluation SDK** | Ingen lisens (open-source) | Gratis (pip install) |
| **Azure OpenAI (for GPT-4 judges)** | Azure-subscription + model deployment | Pay-as-you-go pricing |
@ -951,13 +951,13 @@ def grade(sample: dict, item: dict) -> float:
## For arkitekten (Cosmo)
### Når foreslå Azure AI Foundry Evaluation?
### Når foreslå Microsoft Foundry Evaluation?
✅ **JA, når:**
- Kunden jobber med RAG, conversational agents eller content generation
- Kunden trenger **systematisk prompt testing** for å sikre kvalitet før produksjon
- Kunden er underlagt **compliance-krav** (AI Act, GDPR, norsk offentlig sektor)
- Kunden har **eksisterende Azure AI Foundry infrastructure**
- Kunden har **eksisterende Microsoft Foundry infrastructure**
- Kunden trenger **continuous evaluation** for production monitoring
❌ **NEI, når:**
@ -1048,7 +1048,7 @@ def grade(sample: dict, item: dict) -> float:
**High Confidence (>95%):**
- Built-in evaluators (Groundedness, Relevance, Safety) er production-ready og widely used
- Prompt Flow SDK evaluation workflow er stable (GA siden 2023), men utfases 20. april 2027 — migrer til Microsoft Agent Framework / Azure AI Evaluation SDK for ny utvikling
- Azure AI Foundry Evaluation Portal er GA (as of 2024)
- Microsoft Foundry Evaluation Portal er GA (as of 2024)
**Medium Confidence (70-95%):**
- Synthetic data generation quality (Preview-feature, limited regions)
@ -1065,7 +1065,7 @@ def grade(sample: dict, item: dict) -> float:
## Kilder og verifisering
**Primary Sources (Microsoft Learn):**
1. [Evaluate generative AI models and applications - Azure AI Foundry](https://learn.microsoft.com/en-us/azure/foundry/how-to/evaluate-generative-ai-app?view=foundry-classic) — GA
1. [Evaluate generative AI models and applications - Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/how-to/evaluate-generative-ai-app?view=foundry-classic) — GA
2. [Evaluation flows and metrics - Azure Machine Learning Prompt Flow](https://learn.microsoft.com/en-us/azure/machine-learning/prompt-flow/how-to-develop-an-evaluation-flow?view=azureml-api-2) — GA. Re-verifisert MCP 2026-06-19: Prompt Flow utfases 20. april 2027 → migrer til Microsoft Agent Framework. `log_metric()`/aggregation-mønster uendret.
3. [Azure AI Evaluation SDK - Python API](https://learn.microsoft.com/en-us/python/api/overview/azure/ai-evaluation-readme?view=azure-python) — GA
4. [Agent evaluation with Azure AI Evaluation SDK](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/develop/agent-evaluate-sdk?view=foundry-classic) — GA
@ -1076,5 +1076,5 @@ def grade(sample: dict, item: dict) -> float:
3. [Custom evaluator registration](https://learn.microsoft.com/en-us/azure/foundry/how-to/develop/cloud-evaluation?view=foundry-classic#specify-custom-evaluators)
**Last Verified:** 2026-06-19
**Version:** Azure AI Foundry v2 (2024-2026), Prompt Flow v1.13+ (2024-2026; utfases 2027-04-20 → Microsoft Agent Framework)
**Version:** Microsoft Foundry v2 (2024-2026), Prompt Flow v1.13+ (2024-2026; utfases 2027-04-20 → Microsoft Agent Framework)
**MCP Calls:** 3 (microsoft_docs_search × 2, microsoft_docs_fetch × 2, microsoft_code_sample_search × 1)