docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)
Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry» (/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip. Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper «Azure AI» (legger IKKE til «Microsoft») for to produktvarianter: - «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form) - «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models») - «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg) - «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry» - Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models» Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search», «Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)» i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→ /azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred. Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE. Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata), CHANGELOG.md (historisk logg), STATE.md (gitignored). 3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96 (alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
20b522ab10
commit
03d596e4ec
233 changed files with 810 additions and 810 deletions
|
|
@ -8,11 +8,11 @@
|
|||
|
||||
## Introduksjon
|
||||
|
||||
Agent-baserte AI-systemer representerer en ny kompleksitet i testing og validering sammenlignet med tradisjonelle deterministic workflows. Der en enkel LLM-applikasjon kun har én inngangspunkt og ett svar, har agenter multippel tool-calling, dynamisk reasoning, multi-turn samtaler, og ikke-deterministisk oppførsel. Microsoft tilbyr et komprehensivt evalueringsrammeverk gjennom Azure AI Evaluation SDK og Azure AI Foundry som håndterer både pre-deployment testing (batch evaluation) og post-deployment monitoring (continuous evaluation).
|
||||
Agent-baserte AI-systemer representerer en ny kompleksitet i testing og validering sammenlignet med tradisjonelle deterministic workflows. Der en enkel LLM-applikasjon kun har én inngangspunkt og ett svar, har agenter multippel tool-calling, dynamisk reasoning, multi-turn samtaler, og ikke-deterministisk oppførsel. Microsoft tilbyr et komprehensivt evalueringsrammeverk gjennom Azure AI Evaluation SDK og Microsoft Foundry som håndterer både pre-deployment testing (batch evaluation) og post-deployment monitoring (continuous evaluation).
|
||||
|
||||
Evalueringsrammeverket støtter tre hovedtyper testing: **System Evaluation** (helhetsoppførsel til agenten), **Process Evaluation** (kvalitet på tool calls og reasoning steps), og **Safety Evaluation** (content safety, jailbreak-resistance, bias). Alle evaluators opererer som LLM judges (typisk GPT-4.1 eller o-series reasoning models) som gir både scores, pass/fail labels, og reasoning explanations.
|
||||
|
||||
Azure AI Foundry støtter både Foundry Agent Service (built-in agents), Semantic Kernel agents, og custom agents via OpenAI-style message schema. Evaluering kan kjøres lokalt på utviklermaskinen, i cloud for CI/CD-integrasjon, eller kontinuerlig i produksjon med sampling rates og Azure Monitor Application Insights-integrasjon.
|
||||
Microsoft Foundry støtter både Foundry Agent Service (built-in agents), Semantic Kernel agents, og custom agents via OpenAI-style message schema. Evaluering kan kjøres lokalt på utviklermaskinen, i cloud for CI/CD-integrasjon, eller kontinuerlig i produksjon med sampling rates og Azure Monitor Application Insights-integrasjon.
|
||||
|
||||
## Kjernekomponenter
|
||||
|
||||
|
|
@ -84,7 +84,7 @@ Alle evaluators returnerer standardisert JSON:
|
|||
|
||||
**Ulemper:**
|
||||
- Koster Azure OpenAI tokens (evaluator LLM calls)
|
||||
- Krever Azure AI Foundry project setup
|
||||
- Krever Microsoft Foundry project setup
|
||||
|
||||
**Eksempel (Python):**
|
||||
|
||||
|
|
@ -258,7 +258,7 @@ evaluator = TaskAdherenceEvaluator(
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
- **Evaluation wizard (UI):** No-code batch evaluation med built-in evaluators
|
||||
- **Trace debugger:** Step-by-step agent execution trace koblet til evaluation scores
|
||||
|
|
@ -360,7 +360,7 @@ results = mlflow.genai.evaluate(
|
|||
| **Azure OpenAI judge model (gpt-4o)** | Pay-per-token (input + output) | ~200-500 NOK (avhengig av conversation length) |
|
||||
| **Azure OpenAI judge model (o3-mini)** | Pay-per-token + reasoning tokens | ~500-1200 NOK (høyere pga. extended thinking) |
|
||||
| **Application Insights** | Data ingestion + retention | ~50-100 NOK/måned (1M traces) |
|
||||
| **Foundry storage** | Evaluation results + traces | Inkludert i Azure AI Foundry project (ingen ekstra cost) |
|
||||
| **Foundry storage** | Evaluation results + traces | Inkludert i Microsoft Foundry project (ingen ekstra cost) |
|
||||
|
||||
### Cost optimization tips
|
||||
|
||||
|
|
@ -387,7 +387,7 @@ results = mlflow.genai.evaluate(
|
|||
| Komponent | Lisens | Krav |
|
||||
|-----------|--------|------|
|
||||
| **Azure AI Evaluation SDK** | MIT License (open-source) | Ingen |
|
||||
| **Azure AI Foundry** | Inkludert i Azure subscription | Azure subscription |
|
||||
| **Microsoft Foundry** | Inkludert i Azure subscription | Azure subscription |
|
||||
| **Azure OpenAI** | Pay-as-you-go (per token) | Azure OpenAI access (申请 required) |
|
||||
| **Application Insights** | Pay-as-you-go (per GB ingested) | Azure subscription |
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue