docs(ms-ai-architect): KB-refresh tema-b — Foundry-navnesveip «Azure AI Foundry»→«Microsoft Foundry» (233 filer)
Verifisert mot offisiell MS-doc (juni 2026): «Microsoft Foundry» er det gjeldende produkt-/portalnavnet; «Foundry (classic)» = gamle «Azure AI Foundry» (/azure/foundry/ vs /azure/foundry-classic/). Premiss bekreftet før sveip. Multi-regel, IKKE naiv s/Azure AI Foundry/Microsoft Foundry/ — MS dropper «Azure AI» (legger IKKE til «Microsoft») for to produktvarianter: - «Azure AI Foundry Agent[ Service|s]» → «Foundry Agent Service/Agents» (MS-form) - «Azure AI Foundry Models» → «Foundry Models» (i «Azure OpenAI in Foundry Models») - «Azure AI Foundry SDK» → «Microsoft Foundry SDK» (operatør-valg) - «Azure AI Foundry portal/project» + generisk → «Microsoft Foundry» - Pre-eksisterende «Microsoft Foundry Models» (4) normalisert → «Foundry Models» Bevart: «Azure OpenAI», «Azure AI Inference SDK», «Azure AI Search», «Azure AI Services», kode-IDer. Historisk ref «(tidligere Azure AI Foundry)» i model-catalog-2026.md beskyttet via lookbehind. URL /azure/ai-foundry/→ /azure/foundry/ kun i owasp-llm-top10 (KB-ref); docs/-filer deferred. Scope: skills (inkl. 3 SKILL.md) + commands + agents + README + CLAUDE. Ekskludert: docs/ (interne), playground/+tests/ fixtures (testdata), CHANGELOG.md (historisk logg), STATE.md (gitignored). 3 SKILL.md endret (advisor/engineering/security) → judge-cache teknisk invalidert for disse, men scorer uendret: advisor 91, eng/gov/infra/sec 96 (alle ≥90). validate 239/0. 0 «Azure AI Foundry» igjen (utenom bevart ref). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
20b522ab10
commit
03d596e4ec
233 changed files with 810 additions and 810 deletions
|
|
@ -61,7 +61,7 @@ Azure AI Content Safety Prompt Shields detekterer fire hovedkategorier:
|
|||
| **Prompt Shields** | Real-time attack detection | Azure AI Content Safety |
|
||||
| **Content Filters** | Multi-layered filtering (input/output) | Default på alle modeller |
|
||||
| **Safety Meta-Prompts** | System-level behavior guidance | Model deployment config |
|
||||
| **Azure AI Red Teaming Agent** | Automated adversarial testing | Azure AI Foundry |
|
||||
| **Azure AI Red Teaming Agent** | Automated adversarial testing | Microsoft Foundry |
|
||||
| **PyRIT** | Python Risk Identification Tool | Open-source + Azure integration |
|
||||
|
||||
---
|
||||
|
|
@ -352,7 +352,7 @@ if result.jailbreak_analysis.detected:
|
|||
|
||||
### Azure AI Red Teaming Agent
|
||||
|
||||
**Setup via Azure AI Foundry SDK:**
|
||||
**Setup via Microsoft Foundry SDK:**
|
||||
|
||||
```python
|
||||
from azure.ai.evaluation import RedTeamingAgent
|
||||
|
|
@ -561,7 +561,7 @@ Pricing not publicly disclosed — contact Microsoft for quote
|
|||
### Azure AI Red Teaming Agent
|
||||
|
||||
**Pricing:**
|
||||
- Inkludert i Azure AI Foundry subscription
|
||||
- Inkludert i Microsoft Foundry subscription
|
||||
- No separate charge for red teaming runs
|
||||
- Underlying model costs apply (GPT-4o for adversarial model)
|
||||
|
||||
|
|
|
|||
|
|
@ -14,7 +14,7 @@ Teknikken er spesielt kraftfull for oppgaver som krever logisk resonnering, mate
|
|||
|
||||
**Viktig distinksjon:** Tradisjonelle GPT-modeller (GPT-4, GPT-4o) krever eksplisitt CoT-prompting for å vise resonneringsteg. Reasoning models (o-serien, GPT-5-serien) utfører intern resonnering automatisk, og Microsoft anbefaler å **ikke bruke** CoT-teknikker med disse modellene, da det kan redusere ytelsen.
|
||||
|
||||
Chain-of-thought ble først dokumentert i akademisk forskning (Wei et al., 2022) og har siden blitt adoptert som en standard teknikk i produksjonssystemer. Microsoft har integrert CoT-prinsipper både i Azure OpenAI Service documentation, Azure AI Foundry prompt engineering guidance, og i evalueringsrammeverk som Azure OpenAI Evaluation (Preview).
|
||||
Chain-of-thought ble først dokumentert i akademisk forskning (Wei et al., 2022) og har siden blitt adoptert som en standard teknikk i produksjonssystemer. Microsoft har integrert CoT-prinsipper både i Azure OpenAI Service documentation, Microsoft Foundry prompt engineering guidance, og i evalueringsrammeverk som Azure OpenAI Evaluation (Preview).
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -188,9 +188,9 @@ Azure OpenAI Evaluation (Preview) bruker CoT internt for faktasjekking:
|
|||
```python
|
||||
# Factuality evaluation using chain-of-thought grading
|
||||
evaluation_result = evaluator.evaluate_factuality(
|
||||
query="What is Azure AI Foundry?",
|
||||
ground_truth="Azure AI Foundry is a unified platform for building, testing, and deploying generative AI applications. Released: Nov 2024.",
|
||||
response="Azure AI Foundry is Microsoft's platform for AI development, launched in late 2024."
|
||||
query="What is Microsoft Foundry?",
|
||||
ground_truth="Microsoft Foundry is a unified platform for building, testing, and deploying generative AI applications. Released: Nov 2024.",
|
||||
response="Microsoft Foundry is Microsoft's platform for AI development, launched in late 2024."
|
||||
)
|
||||
|
||||
# Evaluator uses CoT internally:
|
||||
|
|
@ -292,7 +292,7 @@ When answering from knowledge sources, always:
|
|||
Format: [Source 1]: <info>, [Source 2]: <info> → Conclusion: <answer>
|
||||
```
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
I Prompt Flow kan du opprette en CoT-node:
|
||||
|
||||
|
|
|
|||
|
|
@ -334,7 +334,7 @@ For public sector:
|
|||
|
||||
*(Confidence: MEDIUM-HIGH — Copilot Studio best practices)*
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Domain-specific deployment pattern:**
|
||||
|
||||
|
|
@ -369,7 +369,7 @@ safety:
|
|||
action: "block"
|
||||
```
|
||||
|
||||
*(Confidence: MEDIUM — Azure AI Foundry er relativt nytt, pattern basert på generell guidance)*
|
||||
*(Confidence: MEDIUM — Microsoft Foundry er relativt nytt, pattern basert på generell guidance)*
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -537,7 +537,7 @@ Basert på testing (Azure OpenAI dokumentasjon):
|
|||
|
||||
| Fase | Verktøy | Formål |
|
||||
|------|---------|--------|
|
||||
| **Prompt-testing** | Azure AI Foundry Playground | Iterativ testing av system messages |
|
||||
| **Prompt-testing** | Microsoft Foundry Playground | Iterativ testing av system messages |
|
||||
| **Evaluation** | Prompt Flow + Custom evaluators | Måle domain accuracy (presisjon, recall, F1) |
|
||||
| **Deployment** | Azure OpenAI API + RAG | Produksjon med logging og monitoring |
|
||||
| **Monitoring** | Azure Monitor + Application Insights | Token usage, latency, error rate |
|
||||
|
|
|
|||
|
|
@ -422,7 +422,7 @@ APIM kan enforces content safety checks automatisk:
|
|||
}
|
||||
```
|
||||
|
||||
### Azure AI Foundry Safety Evaluations
|
||||
### Microsoft Foundry Safety Evaluations
|
||||
|
||||
For systematisk testing av error handling før produksjon:
|
||||
|
||||
|
|
|
|||
|
|
@ -316,7 +316,7 @@ var fewShotFunction = kernel.CreateSemanticFunction(fewShotPrompt);
|
|||
var result = await fewShotFunction.InvokeAsync("I want a refund for my purchase");
|
||||
```
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Prompt Flow:**
|
||||
- Few-shot templates i "Prompt" node
|
||||
|
|
@ -509,7 +509,7 @@ User Query
|
|||
|
||||
**Verified (MCP microsoft-learn, januar 2026):**
|
||||
|
||||
1. **Prompt engineering techniques** (Azure AI Foundry)
|
||||
1. **Prompt engineering techniques** (Microsoft Foundry)
|
||||
- https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering
|
||||
- Seksjon: Few-shot learning, Zero-shot learning, Examples
|
||||
|
||||
|
|
|
|||
|
|
@ -236,7 +236,7 @@ raise Exception("Max iterations reached without final answer")
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
Function calling integreres sømløst med:
|
||||
- **Azure AI Search:** Bruk function calling til å bygge queries basert på brukerintent
|
||||
|
|
@ -364,7 +364,7 @@ Function calling påvirker kostnaden på flere måter:
|
|||
| **Microsoft 365 E3/E5** | Ikke inkludert | N/A (må kjøpe separat) |
|
||||
| **Azure subscription** | Pay-as-you-go | Full support (alle modeller) |
|
||||
| **Copilot Studio (standalone)** | Begrenset via Actions | Indirekte (via Copilot Studio abstraksjon) |
|
||||
| **Azure AI Foundry** | Inkludert | Full support + Prompt Flow orkestrering |
|
||||
| **Microsoft Foundry** | Inkludert | Full support + Prompt Flow orkestrering |
|
||||
|
||||
**Viktig:** Azure OpenAI krever godkjenning (application form). Offentlig sektor i Norge har vanligvis raskere godkjenning.
|
||||
|
||||
|
|
|
|||
|
|
@ -52,12 +52,12 @@ System: You are an AI assistant. Answer ONLY using the provided context.
|
|||
|
||||
Context:
|
||||
---
|
||||
[DOCUMENT 1]: Azure AI Foundry is a unified platform for building, testing,
|
||||
[DOCUMENT 1]: Microsoft Foundry is a unified platform for building, testing,
|
||||
and deploying generative AI applications. Released: Nov 2024.
|
||||
[DOCUMENT 2]: Azure OpenAI Service offers GPT-4, GPT-4 Turbo, and o-series models...
|
||||
---
|
||||
|
||||
User: What is Azure AI Foundry?
|
||||
User: What is Microsoft Foundry?
|
||||
```
|
||||
|
||||
**Fordeler:** Enkel å implementere, full kontroll over context.
|
||||
|
|
|
|||
|
|
@ -391,7 +391,7 @@ chatHistory.AddAssistantMessage(response.Content);
|
|||
|
||||
**Fordeler:** Plugin-integrasjon, function calling, planlegging.
|
||||
|
||||
### Azure AI Foundry (tidligere Azure AI Studio)
|
||||
### Microsoft Foundry (tidligere Azure AI Studio)
|
||||
|
||||
**Stored Completions:** Synliggjøres automatisk i AI Foundry portal under "Stored Completions" pane.
|
||||
|
||||
|
|
|
|||
|
|
@ -266,7 +266,7 @@ client = OpenAI(
|
|||
)
|
||||
```
|
||||
|
||||
### Azure AI Foundry (tidligere Azure AI Studio)
|
||||
### Microsoft Foundry (tidligere Azure AI Studio)
|
||||
|
||||
**Supported models for multimodal:**
|
||||
- GPT-5 series (gpt-5, gpt-5-mini, gpt-5-nano)
|
||||
|
|
@ -551,7 +551,7 @@ AzureDiagnostics
|
|||
|
||||
**Code samples:**
|
||||
- Azure-Samples/cognitive-services-sample-data-files (GitHub)
|
||||
- Azure AI Foundry multimodal RAG sample app (https://aka.ms/azs-multimodal-sample-app-repo)
|
||||
- Microsoft Foundry multimodal RAG sample app (https://aka.ms/azs-multimodal-sample-app-repo)
|
||||
|
||||
**Confidence markers:**
|
||||
- ✅ **High confidence:** Token counts, API structure, detail parameter behavior (direkte fra offisiell docs)
|
||||
|
|
|
|||
|
|
@ -8,12 +8,12 @@
|
|||
|
||||
## Introduksjon
|
||||
|
||||
Evaluering av prompt-baserte LLM-løsninger er kritisk for å måle ytelse, kvalitet og sikkerhet i generative AI-applikasjoner. Microsoft tilbyr en omfattende evalueringsplattform gjennom Azure AI Foundry og Prompt Flow som støtter både automatisert testing, AI-assistert evaluering og kontinuerlig overvåking.
|
||||
Evaluering av prompt-baserte LLM-løsninger er kritisk for å måle ytelse, kvalitet og sikkerhet i generative AI-applikasjoner. Microsoft tilbyr en omfattende evalueringsplattform gjennom Microsoft Foundry og Prompt Flow som støtter både automatisert testing, AI-assistert evaluering og kontinuerlig overvåking.
|
||||
|
||||
Denne referansen dekker evalueringsrammeverket for prompt testing, iterasjon og optimalisering på tvers av Microsoft AI-stakken — fra utviklingsfasen (prototyping), via eksperimentering (evaluation flows), til produksjon (continuous evaluation).
|
||||
|
||||
**Hovedkomponenter:**
|
||||
- **Azure AI Foundry Evaluation**: UI-basert evalueringsportal med innebygde metrics
|
||||
- **Microsoft Foundry Evaluation**: UI-basert evalueringsportal med innebygde metrics
|
||||
- **Prompt Flow Evaluation**: SDK-basert rammeverk for programmatisk evaluering
|
||||
- **Azure AI Evaluation SDK**: Python SDK for custom evaluators og batch-evaluering
|
||||
- **Continuous Evaluation**: Automatisk evaluering av agent-responser i produksjon
|
||||
|
|
@ -29,9 +29,9 @@ Denne referansen dekker evalueringsrammeverket for prompt testing, iterasjon og
|
|||
|
||||
## Kjernekomponenter
|
||||
|
||||
### 1. Azure AI Foundry Evaluation Portal
|
||||
### 1. Microsoft Foundry Evaluation Portal
|
||||
|
||||
**Beskrivelse:** UI-basert evalueringsverktøy i Azure AI Foundry portalen som lar deg opprette evaluation runs med innebygde metrics, visualisere resultater og sammenligne evalueringer.
|
||||
**Beskrivelse:** UI-basert evalueringsverktøy i Microsoft Foundry portalen som lar deg opprette evaluation runs med innebygde metrics, visualisere resultater og sammenligne evalueringer.
|
||||
|
||||
**Kapabiliteter:**
|
||||
- Wizard-basert opprettelse av evaluation runs (Evaluation → Create)
|
||||
|
|
@ -158,7 +158,7 @@ pfazure run stream --name <evaluation-run-name>
|
|||
|
||||
### 3. Azure AI Evaluation SDK
|
||||
|
||||
**Beskrivelse:** Python SDK (`azure-ai-evaluation`) for programmatisk evaluering av LLM-applikasjoner, med støtte for custom evaluators, batch evaluation og integration med Azure AI Foundry.
|
||||
**Beskrivelse:** Python SDK (`azure-ai-evaluation`) for programmatisk evaluering av LLM-applikasjoner, med støtte for custom evaluators, batch evaluation og integration med Microsoft Foundry.
|
||||
|
||||
**Installasjon:**
|
||||
|
||||
|
|
@ -319,7 +319,7 @@ continuous_eval_rule = project_client.evaluation_rules.create_or_update(
|
|||
|
||||
### 5. Evaluator Library & Version Management
|
||||
|
||||
**Beskrivelse:** Sentralisert bibliotek i Azure AI Foundry for lagring, versjonering og deling av custom evaluators.
|
||||
**Beskrivelse:** Sentralisert bibliotek i Microsoft Foundry for lagring, versjonering og deling av custom evaluators.
|
||||
|
||||
**Registrere Custom Evaluator:**
|
||||
|
||||
|
|
@ -622,7 +622,7 @@ if p_value < 0.05:
|
|||
|----------|-------------------|-------------|
|
||||
| **Prototyping (5-50 samples)** | Playground + Manual Review | Rask iterasjon, minimal overhead |
|
||||
| **Development (100-500 samples)** | Prompt Flow Batch Evaluation | Strukturert testing, metrics logging |
|
||||
| **Pre-Production (1000+ samples)** | Azure AI Foundry Evaluation (UI/SDK) | Golden dataset testing, A/B comparison |
|
||||
| **Pre-Production (1000+ samples)** | Microsoft Foundry Evaluation (UI/SDK) | Golden dataset testing, A/B comparison |
|
||||
| **Production Monitoring** | Continuous Evaluation + HITL | Real-time safety, drift detection |
|
||||
|
||||
---
|
||||
|
|
@ -670,7 +670,7 @@ if p_value < 0.05:
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Evaluation Workflow:**
|
||||
|
||||
|
|
@ -775,8 +775,8 @@ steps:
|
|||
|
||||
**Workaround:**
|
||||
1. **Eksporter conversation logs** fra Copilot Studio til Dataverse
|
||||
2. **Sync til Azure AI Foundry** via API
|
||||
3. **Kjør evaluation** i Azure AI Foundry mot eksporterte logs
|
||||
2. **Sync til Microsoft Foundry** via API
|
||||
3. **Kjør evaluation** i Microsoft Foundry mot eksporterte logs
|
||||
|
||||
**Alternativ:** Bruk **Power Automate** flow for å samle conversation logs og kalle Azure AI Evaluation API.
|
||||
|
||||
|
|
@ -787,8 +787,8 @@ steps:
|
|||
**Limitation:** AI Builder har ikke native evaluation support for prompt-baserte modeller.
|
||||
|
||||
**Workaround:**
|
||||
1. Test prompts i **Azure AI Foundry Playground**
|
||||
2. Evaluer via **Azure AI Foundry Evaluation Portal**
|
||||
1. Test prompts i **Microsoft Foundry Playground**
|
||||
2. Evaluer via **Microsoft Foundry Evaluation Portal**
|
||||
3. Deploy finalized prompt til AI Builder (via custom connector til Azure OpenAI)
|
||||
|
||||
---
|
||||
|
|
@ -905,7 +905,7 @@ def grade(sample: dict, item: dict) -> float:
|
|||
|
||||
## Kostnad og lisensiering
|
||||
|
||||
### Azure AI Foundry Evaluation Costs
|
||||
### Microsoft Foundry Evaluation Costs
|
||||
|
||||
| Komponent | Kostnadsmodell | Estimat (NOK/måned) |
|
||||
|-----------|----------------|---------------------|
|
||||
|
|
@ -926,7 +926,7 @@ def grade(sample: dict, item: dict) -> float:
|
|||
|
||||
| Komponent | Lisenskrav | Inkludert i |
|
||||
|-----------|------------|-------------|
|
||||
| **Azure AI Foundry Evaluation Portal** | Azure-subscription | Azure AI Foundry Hub |
|
||||
| **Microsoft Foundry Evaluation Portal** | Azure-subscription | Microsoft Foundry Hub |
|
||||
| **Prompt Flow SDK** | Ingen lisens (open-source) | Gratis (pip install) |
|
||||
| **Azure AI Evaluation SDK** | Ingen lisens (open-source) | Gratis (pip install) |
|
||||
| **Azure OpenAI (for GPT-4 judges)** | Azure-subscription + model deployment | Pay-as-you-go pricing |
|
||||
|
|
@ -951,13 +951,13 @@ def grade(sample: dict, item: dict) -> float:
|
|||
|
||||
## For arkitekten (Cosmo)
|
||||
|
||||
### Når foreslå Azure AI Foundry Evaluation?
|
||||
### Når foreslå Microsoft Foundry Evaluation?
|
||||
|
||||
✅ **JA, når:**
|
||||
- Kunden jobber med RAG, conversational agents eller content generation
|
||||
- Kunden trenger **systematisk prompt testing** for å sikre kvalitet før produksjon
|
||||
- Kunden er underlagt **compliance-krav** (AI Act, GDPR, norsk offentlig sektor)
|
||||
- Kunden har **eksisterende Azure AI Foundry infrastructure**
|
||||
- Kunden har **eksisterende Microsoft Foundry infrastructure**
|
||||
- Kunden trenger **continuous evaluation** for production monitoring
|
||||
|
||||
❌ **NEI, når:**
|
||||
|
|
@ -1048,7 +1048,7 @@ def grade(sample: dict, item: dict) -> float:
|
|||
**High Confidence (>95%):**
|
||||
- Built-in evaluators (Groundedness, Relevance, Safety) er production-ready og widely used
|
||||
- Prompt Flow SDK evaluation workflow er stable (GA siden 2023), men utfases 20. april 2027 — migrer til Microsoft Agent Framework / Azure AI Evaluation SDK for ny utvikling
|
||||
- Azure AI Foundry Evaluation Portal er GA (as of 2024)
|
||||
- Microsoft Foundry Evaluation Portal er GA (as of 2024)
|
||||
|
||||
**Medium Confidence (70-95%):**
|
||||
- Synthetic data generation quality (Preview-feature, limited regions)
|
||||
|
|
@ -1065,7 +1065,7 @@ def grade(sample: dict, item: dict) -> float:
|
|||
## Kilder og verifisering
|
||||
|
||||
**Primary Sources (Microsoft Learn):**
|
||||
1. [Evaluate generative AI models and applications - Azure AI Foundry](https://learn.microsoft.com/en-us/azure/foundry/how-to/evaluate-generative-ai-app?view=foundry-classic) — GA
|
||||
1. [Evaluate generative AI models and applications - Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/how-to/evaluate-generative-ai-app?view=foundry-classic) — GA
|
||||
2. [Evaluation flows and metrics - Azure Machine Learning Prompt Flow](https://learn.microsoft.com/en-us/azure/machine-learning/prompt-flow/how-to-develop-an-evaluation-flow?view=azureml-api-2) — GA. Re-verifisert MCP 2026-06-19: Prompt Flow utfases 20. april 2027 → migrer til Microsoft Agent Framework. `log_metric()`/aggregation-mønster uendret.
|
||||
3. [Azure AI Evaluation SDK - Python API](https://learn.microsoft.com/en-us/python/api/overview/azure/ai-evaluation-readme?view=azure-python) — GA
|
||||
4. [Agent evaluation with Azure AI Evaluation SDK](https://learn.microsoft.com/en-us/azure/foundry-classic/how-to/develop/agent-evaluate-sdk?view=foundry-classic) — GA
|
||||
|
|
@ -1076,5 +1076,5 @@ def grade(sample: dict, item: dict) -> float:
|
|||
3. [Custom evaluator registration](https://learn.microsoft.com/en-us/azure/foundry/how-to/develop/cloud-evaluation?view=foundry-classic#specify-custom-evaluators)
|
||||
|
||||
**Last Verified:** 2026-06-19
|
||||
**Version:** Azure AI Foundry v2 (2024-2026), Prompt Flow v1.13+ (2024-2026; utfases 2027-04-20 → Microsoft Agent Framework)
|
||||
**Version:** Microsoft Foundry v2 (2024-2026), Prompt Flow v1.13+ (2024-2026; utfases 2027-04-20 → Microsoft Agent Framework)
|
||||
**MCP Calls:** 3 (microsoft_docs_search × 2, microsoft_docs_fetch × 2, microsoft_code_sample_search × 1)
|
||||
|
|
|
|||
|
|
@ -290,7 +290,7 @@ Deployment C: Chatbot (variabel prompt, medium output)
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Realtime Audio Playground:**
|
||||
- Deploy `gpt-4o-mini-realtime-preview` i Foundry.
|
||||
|
|
|
|||
|
|
@ -297,9 +297,9 @@ if status.status == "completed":
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
Reasoning models er tilgjengelige i Azure AI Foundry (tidligere Azure AI Studio):
|
||||
Reasoning models er tilgjengelige i Microsoft Foundry (tidligere Azure AI Studio):
|
||||
- Deploy via **Foundry Tools resource** for full kontroll
|
||||
- Bruk **Playground** for testing med reasoning summary visualisering
|
||||
- Kombiner med **Prompt Flow** for orchestration (merk: reasoning tokens telles i cost tracking)
|
||||
|
|
@ -523,7 +523,7 @@ Denne kunnskapsreferansen er basert på offisiell Microsoft Learn-dokumentasjon
|
|||
https://learn.microsoft.com/en-us/azure/foundry/foundry-models/concepts/models-sold-directly-by-azure
|
||||
*Confidence: Verified (MCP fetch 2026-02)*
|
||||
|
||||
3. **Reasoning models with Microsoft Foundry Models**
|
||||
3. **Reasoning models with Foundry Models**
|
||||
https://learn.microsoft.com/en-us/azure/foundry-classic/foundry-models/how-to/use-chat-reasoning
|
||||
*Confidence: Verified (MCP search 2026-02)*
|
||||
|
||||
|
|
|
|||
|
|
@ -354,7 +354,7 @@ Metaprompt for Transparency:
|
|||
Lagre denne rapporten for audit trail."
|
||||
```
|
||||
|
||||
**Implementering i Azure AI Foundry:**
|
||||
**Implementering i Microsoft Foundry:**
|
||||
|
||||
- **AI Reports:** Auto-generate PDF/SPDX documentation
|
||||
- **Model Card:** Dokumenter training data, biases, intended use
|
||||
|
|
@ -519,12 +519,12 @@ audit_client.log_event({
|
|||
})
|
||||
```
|
||||
|
||||
### Azure AI Foundry
|
||||
### Microsoft Foundry
|
||||
|
||||
**Compliance Workflow:**
|
||||
|
||||
```
|
||||
1. Model Development → Azure AI Foundry Studio
|
||||
1. Model Development → Microsoft Foundry Studio
|
||||
2. Safety Evaluation → Automated fairness/robustness tests
|
||||
3. Model Card Generation → Document intended use, limitations
|
||||
4. AI Report Export → PDF for regulators (includes eval metrics)
|
||||
|
|
@ -749,7 +749,7 @@ Kritisk: Compliance-features koster minimalt, men gir juridisk trygghet
|
|||
|
||||
3. **Documentation Debt:**
|
||||
- AI projects uten DPIA/Model Cards er "technical debt"
|
||||
- Microsoft Purview + Azure AI Foundry reports automatiserer dette
|
||||
- Microsoft Purview + Microsoft Foundry reports automatiserer dette
|
||||
|
||||
4. **Human-in-the-Loop er ikke valgfritt for high-risk:**
|
||||
- EU AI Act krever human oversight for rekruttering, kreditt, lovhåndhevelse
|
||||
|
|
@ -830,7 +830,7 @@ Før produksjonsdeploy, gjennomfør en 2-dagers compliance sprint:
|
|||
- [ ] Configure content filters (threshold tuning)
|
||||
- [ ] Setup Purview logging + retention policies
|
||||
- [ ] Document MADR for model/deployment choices
|
||||
- [ ] Generate AI Report (Azure AI Foundry)
|
||||
- [ ] Generate AI Report (Microsoft Foundry)
|
||||
|
||||
**Deliverables:**
|
||||
|
||||
|
|
|
|||
|
|
@ -666,7 +666,7 @@ If uncertain, explain limitations.
|
|||
|
||||
**Microsoft Learn (offisielle kilder):**
|
||||
|
||||
1. [System message design - Azure AI Foundry](https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/advanced-prompt-engineering)
|
||||
1. [System message design - Microsoft Foundry](https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/advanced-prompt-engineering)
|
||||
*Komplett guide til system message design, key concepts, og best practices*
|
||||
|
||||
2. [Safety system messages - Azure OpenAI](https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/system-message)
|
||||
|
|
|
|||
|
|
@ -231,7 +231,7 @@ completion = client.beta.chat.completions.parse(
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry / Azure OpenAI
|
||||
### Microsoft Foundry / Azure OpenAI
|
||||
|
||||
**API-versjon:** Structured outputs introdusert i `2024-08-01-preview`, tilgjengelig i GA-versjon `v1`.
|
||||
|
||||
|
|
|
|||
|
|
@ -12,7 +12,7 @@ System messages (også kalt system prompts eller metaprompts) er grunnleggende f
|
|||
|
||||
System messages sender du som del av chat completions API, hvor meldinger er organisert i roller: **system**, **user** og **assistant**. System-rollen plasseres typisk først og setter premissene for hele samtalen. Til forskjell fra prompt engineering for eldre completion-APIer, hvor alt er fritekst, gir chat-modellene en strukturert tilnærming som gjør det lettere å skille instruksjoner fra brukerinput.
|
||||
|
||||
I Azure AI Foundry (tidligere Azure OpenAI Studio) og via REST API kan utviklere definere system messages både programmatisk og via UI. Forståelse av hvordan disse virker – og hvilke begrensninger de har – er essensielt for å bygge produksjonsklare AI-løsninger.
|
||||
I Microsoft Foundry (tidligere Azure OpenAI Studio) og via REST API kan utviklere definere system messages både programmatisk og via UI. Forståelse av hvordan disse virker – og hvilke begrensninger de har – er essensielt for å bygge produksjonsklare AI-løsninger.
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -100,7 +100,7 @@ For domene-spesifikke use cases (customer support, entity extraction, compliance
|
|||
system_message = """
|
||||
You are a technical support assistant for Azure AI services.
|
||||
Your job is to help users troubleshoot issues with Azure OpenAI deployments.
|
||||
Only answer questions related to Azure OpenAI, Azure AI Search, and Azure AI Foundry.
|
||||
Only answer questions related to Azure OpenAI, Azure AI Search, and Microsoft Foundry.
|
||||
If the user asks about unrelated topics, politely redirect them.
|
||||
When unsure, ask clarifying questions. If you lack information, say "I don't know."
|
||||
"""
|
||||
|
|
@ -214,7 +214,7 @@ response = client.chat.completions.create(
|
|||
|
||||
*Verified: Kodeeksempel fra Microsoft Learn (2024-02-01 API)*
|
||||
|
||||
### Azure AI Foundry (Portal)
|
||||
### Microsoft Foundry (Portal)
|
||||
I AI Foundry Studio kan du sette system message via:
|
||||
1. Chat playground → System message field
|
||||
2. Deployment configuration → Default system message
|
||||
|
|
@ -331,7 +331,7 @@ response = client.chat.completions.create(
|
|||
### Arkitekturmønstre for enterprise
|
||||
For store organisasjoner med mange AI-assistenter:
|
||||
1. **Template library:** Opprett standard system message templates per use case (support, compliance, content generation)
|
||||
2. **Centralized management:** Bruk Azure AI Foundry prompt management for versjonskontroll
|
||||
2. **Centralized management:** Bruk Microsoft Foundry prompt management for versjonskontroll
|
||||
3. **A/B testing framework:** Deploy parallelle varianter av system messages, mål success metrics
|
||||
4. **Monitoring:** Logg system message effectiveness via Application Insights
|
||||
|
||||
|
|
|
|||
|
|
@ -247,7 +247,7 @@ Azure OpenAI On Your Data legger til egne system-parametere:
|
|||
|
||||
### Mønster 4: Model Router med reasoning models
|
||||
|
||||
Azure AI Foundry Model Router kan automatisk velge mellom GPT-modeller og o-series reasoning models.
|
||||
Microsoft Foundry Model Router kan automatisk velge mellom GPT-modeller og o-series reasoning models.
|
||||
|
||||
**Viktig:**
|
||||
Hvis Model Router velger en o-series model, ignoreres følgende parametere:
|
||||
|
|
|
|||
|
|
@ -106,7 +106,7 @@ Prompt caching reduserer kostnader ved å cache de første 1024+ tokens i en pro
|
|||
| **Minimum prompt-lengde** | 1024 tokens |
|
||||
| **Cache-treff** | Første 1024 tokens må være identiske |
|
||||
| **Granularitet** | Cache-treff per 128 tokens etter første 1024 |
|
||||
| **Cache-levetid** | 5-10 min inaktivitet (max 1 time for Azure AI Foundry; 24t for Foundry Models) |
|
||||
| **Cache-levetid** | 5-10 min inaktivitet (max 1 time for Microsoft Foundry; 24t for Foundry Models) |
|
||||
| **Deling** | Ikke delt mellom Azure subscriptions |
|
||||
|
||||
#### Design for cache-hits
|
||||
|
|
@ -160,13 +160,13 @@ messages = [
|
|||
# ❌ Ukontrollert output (kan generere 4000+ tokens)
|
||||
response = client.chat.completions.create(
|
||||
model="gpt-4o",
|
||||
messages=[{"role": "user", "content": "Explain Azure AI Foundry"}]
|
||||
messages=[{"role": "user", "content": "Explain Microsoft Foundry"}]
|
||||
)
|
||||
|
||||
# ✅ Kontrollert output
|
||||
response = client.chat.completions.create(
|
||||
model="gpt-4o",
|
||||
messages=[{"role": "user", "content": "Explain Azure AI Foundry in 3 sentences"}],
|
||||
messages=[{"role": "user", "content": "Explain Microsoft Foundry in 3 sentences"}],
|
||||
max_tokens=150,
|
||||
stop=["\n\n"] # Stopp ved double line break
|
||||
)
|
||||
|
|
@ -325,7 +325,7 @@ Start: Høye token-kostnader?
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry: Token monitoring
|
||||
### Microsoft Foundry: Token monitoring
|
||||
|
||||
```python
|
||||
# Overvåk token-bruk i Azure Monitor
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue