docs(ms-ai-architect): KB-refresh critical cost 3/8 — cost-monitoring verifisert mot Foundry manage-costs
Verifisert mot live Microsoft Learn (foundry/concepts/manage-costs) — alle tre nye VERIFY-påstander bekreftet før skriving: - (a) Project-level cost attribution (Preview): «Every Foundry project is automatically tagged with a project tag ... You don't need to add tags manually». Begrensning bekreftet: kun Models sold by Azure (Azure Direct/OpenAI), ikke Marketplace ennå. Lagt til ny seksjon. - (b) Agent cost monitoring: Operate→Overview Estimated cost-tile (ekskl. prompt-/ikke-Foundry- agenter) + Assets→Agents Estimated costs-kolonne + Build→Agents→Monitor token-kostnad. Lagt til. - (c) 3rd-party meters: «Some providers' models are displayed as meters under Global resources ... format model-name-GUID». Oppdatert Multi-Model-seksjonen med Global resources + Cost-by-resource. - Modell-deployment-kostnader (Build→Models→Monitor) tatt med i samme nye seksjon. Verifiserte korreksjoner funnet under fetch (korreksjons-disiplin, operatør-godkjent): - Implementering-steg 2 «filtrer på Service Name: SaaS» finnes ikke i doc → «Gruppér på Meter». - Microsoft-modeller vises under Foundry-ressursen (ikke «Cognitive Services-ressursen»). - prompt caching «(beta)» fjernet (GA, jf. fil 1 cache-100% verifisert current). - Model-selection-tips «GPT-3.5 Turbo i stedet for GPT-4» (legacy) → mindre/billigere modell (gpt-4o-mini). - gateway-diagram gpt-35-turbo→gpt-4o-mini (illustrativt). Disclaimed priser urørt. Header 2026-04→2026-06; kilde #1 stemplet Verified MCP 2026-06 (faktisk re-fetchet). validate 239/0. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
6ba97f7dc8
commit
fce5f0a707
1 changed files with 41 additions and 10 deletions
|
|
@ -1,6 +1,6 @@
|
||||||
# Cost Monitoring and Expense Reporting for AI Deployments
|
# Cost Monitoring and Expense Reporting for AI Deployments
|
||||||
|
|
||||||
**Last updated:** 2026-04
|
**Last updated:** 2026-06
|
||||||
**Status:** GA
|
**Status:** GA
|
||||||
**Category:** Monitoring & Observability
|
**Category:** Monitoring & Observability
|
||||||
|
|
||||||
|
|
@ -115,7 +115,7 @@ az feature register --namespace Microsoft.CostManagement --name EnableTagInherit
|
||||||
**Arkitektur:**
|
**Arkitektur:**
|
||||||
```
|
```
|
||||||
Client A → APIM Gateway → Azure OpenAI (gpt-4o)
|
Client A → APIM Gateway → Azure OpenAI (gpt-4o)
|
||||||
Client B ↗ → Azure OpenAI (gpt-35-turbo)
|
Client B ↗ → Azure OpenAI (gpt-4o-mini)
|
||||||
↓
|
↓
|
||||||
Azure Monitor Logs
|
Azure Monitor Logs
|
||||||
(IP, model, tokens, timestamp)
|
(IP, model, tokens, timestamp)
|
||||||
|
|
@ -162,14 +162,16 @@ ApiManagementGatewayLogs
|
||||||
**Bruksområde:** Azure Foundry-prosjekter som bruker både Microsoft-modeller (OpenAI) og 3rd-party modeller (Cohere, Meta).
|
**Bruksområde:** Azure Foundry-prosjekter som bruker både Microsoft-modeller (OpenAI) og 3rd-party modeller (Cohere, Meta).
|
||||||
|
|
||||||
**Utfordringer:**
|
**Utfordringer:**
|
||||||
- Microsoft-modeller vises som meters under Cognitive Services-ressursen
|
- Azure OpenAI- og Microsoft-modeller vises som meters under selve Foundry-ressursen
|
||||||
- 3rd-party modeller vises som SaaS-meters under Resource Group (ikke under Foundry-ressursen)
|
- Partner-/community-modeller (Marketplace) vises under **ressursgruppen** — ikke under Foundry-ressursen — når du grupperer på Meter på ressursgruppe-scope
|
||||||
- Må scope Cost Analysis til Resource Group-nivå for å se alle kostnader
|
- I **Cost by resource**-visningen vises enkelte leverandørers modeller under **Global resources**, med meternavn på formatet `model-name-GUID` (GUID = identifikator for den aktuelle Foundry-ressursen). «Global» viser her til plasseringen i kostnadstreet, ikke modellens SKU (f.eks. *Global standard*)
|
||||||
|
- Må scope Cost Analysis til Resource Group-nivå (eller subscription hvis ressursene er spredt over flere ressursgrupper) for å se alle kostnader
|
||||||
|
|
||||||
**Implementering:**
|
**Implementering:**
|
||||||
1. Naviger til Cost Analysis → Scope til Resource Group
|
1. Naviger til Cost Analysis → Scope til Resource Group
|
||||||
2. Gruppér på **Meter** → filtrer på `Service Name: SaaS`
|
2. Gruppér på **Meter** for å se kostnad per modell-serie
|
||||||
3. Expand meter details for å se input/output tokens per modell
|
3. Expand meter details for å se input/output tokens per modell
|
||||||
|
4. For per-ressurs-fordeling: bytt til **Cost by resource**-visningen (Group by → Meter, linjediagram) — partner-modeller fremkommer under **Global resources** som `model-name-GUID`
|
||||||
|
|
||||||
**Marketplace-meters:**
|
**Marketplace-meters:**
|
||||||
| Meter Name | Beskrivelse |
|
| Meter Name | Beskrivelse |
|
||||||
|
|
@ -195,6 +197,34 @@ ApiManagementGatewayLogs
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
|
## Foundry-portal-native kostnadssporing
|
||||||
|
|
||||||
|
Microsoft Foundry-portalen (Foundry «new») gir innebygd, nær-sanntids kostnadssporing for agenter, modell-deployments og prosjekter — uten å gå via Azure Cost Management. Estimatene er ment for løpende oppfølging; bruk Azure Cost Management og fakturerte beløp til finansiell avstemming.
|
||||||
|
|
||||||
|
> **Viktig:** Foundry-portalens estimater reflekterer **ikke** rabatter eller avtalt prising, og dekker kun standard deployment-kostnader — ikke provisioned throughput (PTU).
|
||||||
|
|
||||||
|
### Agent-kostnader
|
||||||
|
|
||||||
|
- **Aggregert (alle agenter):** Operate → Overview → velg subscription, ett eller flere prosjekter og datointervall. **Estimated cost**-flisen viser estimat for alle agenter i valgt(e) prosjekt(er) for perioden. Estimatet inkluderer **ikke** prompt-agenter eller ikke-Foundry-agenter.
|
||||||
|
- **Per agent:** Assets → Agents-fanen → kolonnen **Estimated costs** viser månedsestimat per agent basert på konfigurasjon og bruksmønster.
|
||||||
|
- **Detaljert (token-kostnad per agent):** Build → Agents → velg agent → Monitor-fanen → sett datointervall → se token-kostnad og bruksmetrikker.
|
||||||
|
|
||||||
|
### Modell-deployment-kostnader
|
||||||
|
|
||||||
|
Build → Models → velg modell → Monitor-fanen → sett datointervall. Viser total kostnad og et estimert-kostnad-diagram for perioden. Token-/request-diagrammer kan midlertidig avvike fra **Estimated cost** pga. ingestion-timing — bruk Estimated cost for nær-sanntids oppfølging og Cost Management for avstemming.
|
||||||
|
|
||||||
|
### Prosjektnivå kostnadsfordeling (Preview)
|
||||||
|
|
||||||
|
Foundry støtter chargeback på **prosjektnivå**, slik at FinOps-team kan allokere delt Foundry-forbruk tilbake til riktig forretningsenhet/team/workload — nyttig når flere prosjekter deler samme Foundry-ressurs.
|
||||||
|
|
||||||
|
- Hvert Foundry-prosjekt tagges **automatisk** med en `project`-tag på underliggende forbruk. **Ingen manuell tagging** kreves.
|
||||||
|
- **Slik ser du det:** Åpne Foundry-ressursen i Azure-portalen → Cost analysis (under Resource Management) → Add filter → Tag → `project` → velg prosjekt(er).
|
||||||
|
- **Begrensning (Preview):** Støttes foreløpig kun for **Models sold by Azure** (Azure Direct, inkl. Azure OpenAI). **Ikke** ennå for modeller levert via Azure Marketplace.
|
||||||
|
|
||||||
|
**Konfidensgrad:** Verified (Microsoft Learn, manage-costs)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
## Beslutningsveiledning
|
## Beslutningsveiledning
|
||||||
|
|
||||||
### Når bruke hvilken strategi?
|
### Når bruke hvilken strategi?
|
||||||
|
|
@ -353,9 +383,9 @@ if ($metrics.Data.Total -eq 0) {
|
||||||
|
|
||||||
| Teknikk | Besparelse | Implementering |
|
| Teknikk | Besparelse | Implementering |
|
||||||
|---------|-----------|----------------|
|
|---------|-----------|----------------|
|
||||||
| **Prompt caching** | 50-90% på repeterte prompts | Bruk Azure OpenAI cache-støtte (beta) |
|
| **Prompt caching** | 50-90% på repeterte prompts | Bruk Azure OpenAI prompt caching |
|
||||||
| **Token-optimalisering** | 20-40% | Fjern unødvendig whitespace, bruk kortere system messages |
|
| **Token-optimalisering** | 20-40% | Fjern unødvendig whitespace, bruk kortere system messages |
|
||||||
| **Model selection** | 50-70% | Bruk GPT-3.5 Turbo for enkle oppgaver i stedet for GPT-4 |
|
| **Model selection** | 50-70% | Bruk en mindre/billigere modell (f.eks. gpt-4o-mini) for enkle oppgaver i stedet for en flaggskip-modell |
|
||||||
| **PTU for stable workloads** | 30-50% | Kjøp PTU hvis >80% utilization |
|
| **PTU for stable workloads** | 30-50% | Kjøp PTU hvis >80% utilization |
|
||||||
| **Fine-tuning cleanup** | 100% på inaktive | Automatisk sletting av deployments med 0 requests/7d |
|
| **Fine-tuning cleanup** | 100% på inaktive | Automatisk sletting av deployments med 0 requests/7d |
|
||||||
| **Batch processing** | 20-30% | Gruppér requests for å redusere overhead |
|
| **Batch processing** | 20-30% | Gruppér requests for å redusere overhead |
|
||||||
|
|
@ -438,9 +468,9 @@ if ($metrics.Data.Total -eq 0) {
|
||||||
|
|
||||||
### Kilder (Microsoft Learn)
|
### Kilder (Microsoft Learn)
|
||||||
|
|
||||||
1. **Plan to manage costs for Azure OpenAI**
|
1. **Plan and manage costs for Microsoft Foundry** *(Verified MCP 2026-06)*
|
||||||
https://learn.microsoft.com/en-us/azure/foundry/concepts/manage-costs
|
https://learn.microsoft.com/en-us/azure/foundry/concepts/manage-costs
|
||||||
*Konfidensgrad: Verified* – Komplett guide for cost management (budgets, alerts, export)
|
*Konfidensgrad: Verified* – Komplett guide for cost management (budgets, alerts, export, Foundry-portal-native agent-/modell-/prosjektsporing)
|
||||||
|
|
||||||
2. **Azure OpenAI in Foundry Models gateway monitoring** *(Verified MCP 2026-04)*
|
2. **Azure OpenAI in Foundry Models gateway monitoring** *(Verified MCP 2026-04)*
|
||||||
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring
|
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring
|
||||||
|
|
@ -470,6 +500,7 @@ if ($metrics.Data.Total -eq 0) {
|
||||||
| Tag-Based Allocation | Verified | Microsoft Learn (governance) |
|
| Tag-Based Allocation | Verified | Microsoft Learn (governance) |
|
||||||
| Gateway-Based Attribution | Verified | Azure Architecture Center |
|
| Gateway-Based Attribution | Verified | Azure Architecture Center |
|
||||||
| Multi-Model Tracking | Verified | Microsoft Learn (AI Foundry manage-costs) |
|
| Multi-Model Tracking | Verified | Microsoft Learn (AI Foundry manage-costs) |
|
||||||
|
| Foundry-portal-native sporing (Agent/Modell/Prosjekt Preview) | Verified | Microsoft Learn (manage-costs) |
|
||||||
| Azure OpenAI meters | Verified | Microsoft Learn (pricing page) |
|
| Azure OpenAI meters | Verified | Microsoft Learn (pricing page) |
|
||||||
| APIM pricing | Verified | Azure Pricing Calculator |
|
| APIM pricing | Verified | Azure Pricing Calculator |
|
||||||
| GDPR/IP-masking | Baseline | Generell GDPR-kunnskap + APIM policy best practices |
|
| GDPR/IP-masking | Baseline | Generell GDPR-kunnskap + APIM policy best practices |
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue