diff --git a/skills/ms-ai-governance/references/monitoring-observability/response-quality-metrics-rag.md b/skills/ms-ai-governance/references/monitoring-observability/response-quality-metrics-rag.md index fc01ac5..410a108 100644 --- a/skills/ms-ai-governance/references/monitoring-observability/response-quality-metrics-rag.md +++ b/skills/ms-ai-governance/references/monitoring-observability/response-quality-metrics-rag.md @@ -1,6 +1,6 @@ # Response Quality Metrics and Evaluation for RAG Systems -**Last updated:** 2026-02 +**Last updated:** 2026-06-24 | Verified: MCP 2026-06-24 **Status:** GA **Category:** Monitoring & Observability @@ -73,7 +73,7 @@ groundedness = GroundednessEvaluator( ) ``` -**Anbefaling:** Bruk reasoning models (e.g., `gpt-4.1-mini`) for kompleks evaluering som krever dypere resonnering — balanse mellom reasoning performance, cost og efficiency. +**Anbefaling:** Bruk kostnadseffektive modeller (f.eks. `gpt-4.1-mini` — en GPT-4.1-variant, ikke en o-series reasoning model) for standard evaluering; reserver o-series reasoning models (med `is_reasoning_model=True`) for evaluering som krever dypere resonnering — balanse mellom kvalitet, kostnad og effektivitet. ## Arkitekturmønstre @@ -360,6 +360,8 @@ result = groundedness_pro( ### Copilot Studio + Prompt Flow +> **⚠️ Prompt Flow utfases 20. april 2027** (Microsoft Foundry + Azure Machine Learning) og anbefales ikke for ny utvikling — migrer eksisterende flows til Microsoft Agent Framework før fristen. `QAEvaluator` (Azure AI Evaluation SDK) er ikke berørt av utfasingen og kan brukes uavhengig av Prompt Flow. + **Evaluering i Prompt Flow:** - Bruk `QAEvaluator` (composite evaluator som kjører groundedness, relevance, coherence, fluency, similarity, F1 samtidig) - Integrer i CI/CD: kjør evaluation som del av deployment-pipeline