open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 2 Activity

docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)

Browse source 
Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det
gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry»
(/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip.

Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper
«Azure AI» (legger IKKE til «Microsoft») for to produktvarianter:
- «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form)
- «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models»)
- «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg)
- «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry»
- Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models»

Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search»,
«Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)»
i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→
/azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred.

Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE.
Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata),
CHANGELOG.md (historisk logg), STATE.md (gitignored).

3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk
invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96
(alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Kjell Tore Guttormsen 2026-06-23 21:00:27 +02:00
commit 03d596e4ec
233 changed files with 810 additions and 810 deletions
Download patch file Download diff file Expand all files Collapse all files

8
skills/ms-ai-engineering/references/multi-modal/multimodal-evaluation-metrics.md
View file

@ -8,7 +8,7 @@
## Introduksjon
Evaluering av multi-modale AI-system er fundamentalt meir komplekst enn evaluering av rein tekst-AI. Når system kombinerer tekst, bilete, tale og video, treng ein metrikkrammeverk som dekker kvaliteten innanfor kvar modalitet, men også korleis modalitetane samhandlar — det som blir kalla cross-modal alignment. Azure AI Foundry og Azure OpenAI Evaluation API gir innebygd støtte for både NLP-baserte metrikktypar (BLEU, ROUGE, cosine similarity) og AI-assistert evaluering (groundedness, relevance, coherence, fluency).
Evaluering av multi-modale AI-system er fundamentalt meir komplekst enn evaluering av rein tekst-AI. Når system kombinerer tekst, bilete, tale og video, treng ein metrikkrammeverk som dekker kvaliteten innanfor kvar modalitet, men også korleis modalitetane samhandlar — det som blir kalla cross-modal alignment. Microsoft Foundry og Azure OpenAI Evaluation API gir innebygd støtte for både NLP-baserte metrikktypar (BLEU, ROUGE, cosine similarity) og AI-assistert evaluering (groundedness, relevance, coherence, fluency).
For norsk offentleg sektor er systematisk evaluering ikkje berre god praksis — det er eit krav under EUs AI Act for høgrisiko AI-system. Evalueringsrammeverket må dokumentere nøyaktigheit, rettferd og pålitelegheit på ein måte som tilfredsstiller regulatoriske krav til transparens og etterprøvbarheit.
@ -21,7 +21,7 @@ Microsoft Foundry tilbyr eit sentralisert evalueringsrammeverk der ein kan defin
| Komponent | Formål | Teknologi |
|-----------|--------|-----------|
| **Azure OpenAI Evaluations** | Innebygd evalueringsrammeverk | Azure OpenAI API |
| **Foundry Evaluation SDK** | Programmatisk evaluering | Azure AI Foundry SDK |
| **Foundry Evaluation SDK** | Programmatisk evaluering | Microsoft Foundry SDK |
| **NLP Metrics** | BLEU, ROUGE, F1, GLEU, METEOR | Matematisk-baserte metrikktypar |
| **AI Quality (AI-assisted)** | Groundedness, Relevance, Coherence | GPT-basert dommar |
| **Risk & Safety Metrics** | Content safety, protected material | Innhaldsfiltrering |
@ -41,8 +41,8 @@ from azure.ai.evaluation import BleuScoreEvaluator
bleu_evaluator = BleuScoreEvaluator()
result = bleu_evaluator(
response="Azure AI Foundry gir verktøy for å bygge AI-løysingar.",
ground_truth="Azure AI Foundry tilbyr verktøy for å utvikle AI-løysingar."
response="Microsoft Foundry gir verktøy for å bygge AI-løysingar.",
ground_truth="Microsoft Foundry tilbyr verktøy for å utvikle AI-løysingar."
)
print(f"BLEU Score: {result['bleu_score']:.4f}")