docs(ms-ai-architect): KB-refresh critical cost 3/8 — cost-monitoring verifisert mot Foundry manage-costs
Verifisert mot live Microsoft Learn (foundry/concepts/manage-costs) — alle tre nye VERIFY-påstander bekreftet før skriving: - (a) Project-level cost attribution (Preview): «Every Foundry project is automatically tagged with a project tag ... You don't need to add tags manually». Begrensning bekreftet: kun Models sold by Azure (Azure Direct/OpenAI), ikke Marketplace ennå. Lagt til ny seksjon. - (b) Agent cost monitoring: Operate→Overview Estimated cost-tile (ekskl. prompt-/ikke-Foundry- agenter) + Assets→Agents Estimated costs-kolonne + Build→Agents→Monitor token-kostnad. Lagt til. - (c) 3rd-party meters: «Some providers' models are displayed as meters under Global resources ... format model-name-GUID». Oppdatert Multi-Model-seksjonen med Global resources + Cost-by-resource. - Modell-deployment-kostnader (Build→Models→Monitor) tatt med i samme nye seksjon. Verifiserte korreksjoner funnet under fetch (korreksjons-disiplin, operatør-godkjent): - Implementering-steg 2 «filtrer på Service Name: SaaS» finnes ikke i doc → «Gruppér på Meter». - Microsoft-modeller vises under Foundry-ressursen (ikke «Cognitive Services-ressursen»). - prompt caching «(beta)» fjernet (GA, jf. fil 1 cache-100% verifisert current). - Model-selection-tips «GPT-3.5 Turbo i stedet for GPT-4» (legacy) → mindre/billigere modell (gpt-4o-mini). - gateway-diagram gpt-35-turbo→gpt-4o-mini (illustrativt). Disclaimed priser urørt. Header 2026-04→2026-06; kilde #1 stemplet Verified MCP 2026-06 (faktisk re-fetchet). validate 239/0. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
parent
6ba97f7dc8
commit
fce5f0a707
1 changed files with 41 additions and 10 deletions
|
|
@ -1,6 +1,6 @@
|
|||
# Cost Monitoring and Expense Reporting for AI Deployments
|
||||
|
||||
**Last updated:** 2026-04
|
||||
**Last updated:** 2026-06
|
||||
**Status:** GA
|
||||
**Category:** Monitoring & Observability
|
||||
|
||||
|
|
@ -115,7 +115,7 @@ az feature register --namespace Microsoft.CostManagement --name EnableTagInherit
|
|||
**Arkitektur:**
|
||||
```
|
||||
Client A → APIM Gateway → Azure OpenAI (gpt-4o)
|
||||
Client B ↗ → Azure OpenAI (gpt-35-turbo)
|
||||
Client B ↗ → Azure OpenAI (gpt-4o-mini)
|
||||
↓
|
||||
Azure Monitor Logs
|
||||
(IP, model, tokens, timestamp)
|
||||
|
|
@ -162,14 +162,16 @@ ApiManagementGatewayLogs
|
|||
**Bruksområde:** Azure Foundry-prosjekter som bruker både Microsoft-modeller (OpenAI) og 3rd-party modeller (Cohere, Meta).
|
||||
|
||||
**Utfordringer:**
|
||||
- Microsoft-modeller vises som meters under Cognitive Services-ressursen
|
||||
- 3rd-party modeller vises som SaaS-meters under Resource Group (ikke under Foundry-ressursen)
|
||||
- Må scope Cost Analysis til Resource Group-nivå for å se alle kostnader
|
||||
- Azure OpenAI- og Microsoft-modeller vises som meters under selve Foundry-ressursen
|
||||
- Partner-/community-modeller (Marketplace) vises under **ressursgruppen** — ikke under Foundry-ressursen — når du grupperer på Meter på ressursgruppe-scope
|
||||
- I **Cost by resource**-visningen vises enkelte leverandørers modeller under **Global resources**, med meternavn på formatet `model-name-GUID` (GUID = identifikator for den aktuelle Foundry-ressursen). «Global» viser her til plasseringen i kostnadstreet, ikke modellens SKU (f.eks. *Global standard*)
|
||||
- Må scope Cost Analysis til Resource Group-nivå (eller subscription hvis ressursene er spredt over flere ressursgrupper) for å se alle kostnader
|
||||
|
||||
**Implementering:**
|
||||
1. Naviger til Cost Analysis → Scope til Resource Group
|
||||
2. Gruppér på **Meter** → filtrer på `Service Name: SaaS`
|
||||
2. Gruppér på **Meter** for å se kostnad per modell-serie
|
||||
3. Expand meter details for å se input/output tokens per modell
|
||||
4. For per-ressurs-fordeling: bytt til **Cost by resource**-visningen (Group by → Meter, linjediagram) — partner-modeller fremkommer under **Global resources** som `model-name-GUID`
|
||||
|
||||
**Marketplace-meters:**
|
||||
| Meter Name | Beskrivelse |
|
||||
|
|
@ -195,6 +197,34 @@ ApiManagementGatewayLogs
|
|||
|
||||
---
|
||||
|
||||
## Foundry-portal-native kostnadssporing
|
||||
|
||||
Microsoft Foundry-portalen (Foundry «new») gir innebygd, nær-sanntids kostnadssporing for agenter, modell-deployments og prosjekter — uten å gå via Azure Cost Management. Estimatene er ment for løpende oppfølging; bruk Azure Cost Management og fakturerte beløp til finansiell avstemming.
|
||||
|
||||
> **Viktig:** Foundry-portalens estimater reflekterer **ikke** rabatter eller avtalt prising, og dekker kun standard deployment-kostnader — ikke provisioned throughput (PTU).
|
||||
|
||||
### Agent-kostnader
|
||||
|
||||
- **Aggregert (alle agenter):** Operate → Overview → velg subscription, ett eller flere prosjekter og datointervall. **Estimated cost**-flisen viser estimat for alle agenter i valgt(e) prosjekt(er) for perioden. Estimatet inkluderer **ikke** prompt-agenter eller ikke-Foundry-agenter.
|
||||
- **Per agent:** Assets → Agents-fanen → kolonnen **Estimated costs** viser månedsestimat per agent basert på konfigurasjon og bruksmønster.
|
||||
- **Detaljert (token-kostnad per agent):** Build → Agents → velg agent → Monitor-fanen → sett datointervall → se token-kostnad og bruksmetrikker.
|
||||
|
||||
### Modell-deployment-kostnader
|
||||
|
||||
Build → Models → velg modell → Monitor-fanen → sett datointervall. Viser total kostnad og et estimert-kostnad-diagram for perioden. Token-/request-diagrammer kan midlertidig avvike fra **Estimated cost** pga. ingestion-timing — bruk Estimated cost for nær-sanntids oppfølging og Cost Management for avstemming.
|
||||
|
||||
### Prosjektnivå kostnadsfordeling (Preview)
|
||||
|
||||
Foundry støtter chargeback på **prosjektnivå**, slik at FinOps-team kan allokere delt Foundry-forbruk tilbake til riktig forretningsenhet/team/workload — nyttig når flere prosjekter deler samme Foundry-ressurs.
|
||||
|
||||
- Hvert Foundry-prosjekt tagges **automatisk** med en `project`-tag på underliggende forbruk. **Ingen manuell tagging** kreves.
|
||||
- **Slik ser du det:** Åpne Foundry-ressursen i Azure-portalen → Cost analysis (under Resource Management) → Add filter → Tag → `project` → velg prosjekt(er).
|
||||
- **Begrensning (Preview):** Støttes foreløpig kun for **Models sold by Azure** (Azure Direct, inkl. Azure OpenAI). **Ikke** ennå for modeller levert via Azure Marketplace.
|
||||
|
||||
**Konfidensgrad:** Verified (Microsoft Learn, manage-costs)
|
||||
|
||||
---
|
||||
|
||||
## Beslutningsveiledning
|
||||
|
||||
### Når bruke hvilken strategi?
|
||||
|
|
@ -353,9 +383,9 @@ if ($metrics.Data.Total -eq 0) {
|
|||
|
||||
| Teknikk | Besparelse | Implementering |
|
||||
|---------|-----------|----------------|
|
||||
| **Prompt caching** | 50-90% på repeterte prompts | Bruk Azure OpenAI cache-støtte (beta) |
|
||||
| **Prompt caching** | 50-90% på repeterte prompts | Bruk Azure OpenAI prompt caching |
|
||||
| **Token-optimalisering** | 20-40% | Fjern unødvendig whitespace, bruk kortere system messages |
|
||||
| **Model selection** | 50-70% | Bruk GPT-3.5 Turbo for enkle oppgaver i stedet for GPT-4 |
|
||||
| **Model selection** | 50-70% | Bruk en mindre/billigere modell (f.eks. gpt-4o-mini) for enkle oppgaver i stedet for en flaggskip-modell |
|
||||
| **PTU for stable workloads** | 30-50% | Kjøp PTU hvis >80% utilization |
|
||||
| **Fine-tuning cleanup** | 100% på inaktive | Automatisk sletting av deployments med 0 requests/7d |
|
||||
| **Batch processing** | 20-30% | Gruppér requests for å redusere overhead |
|
||||
|
|
@ -438,9 +468,9 @@ if ($metrics.Data.Total -eq 0) {
|
|||
|
||||
### Kilder (Microsoft Learn)
|
||||
|
||||
1. **Plan to manage costs for Azure OpenAI**
|
||||
1. **Plan and manage costs for Microsoft Foundry** *(Verified MCP 2026-06)*
|
||||
https://learn.microsoft.com/en-us/azure/foundry/concepts/manage-costs
|
||||
*Konfidensgrad: Verified* – Komplett guide for cost management (budgets, alerts, export)
|
||||
*Konfidensgrad: Verified* – Komplett guide for cost management (budgets, alerts, export, Foundry-portal-native agent-/modell-/prosjektsporing)
|
||||
|
||||
2. **Azure OpenAI in Foundry Models gateway monitoring** *(Verified MCP 2026-04)*
|
||||
https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/azure-openai-gateway-monitoring
|
||||
|
|
@ -470,6 +500,7 @@ if ($metrics.Data.Total -eq 0) {
|
|||
| Tag-Based Allocation | Verified | Microsoft Learn (governance) |
|
||||
| Gateway-Based Attribution | Verified | Azure Architecture Center |
|
||||
| Multi-Model Tracking | Verified | Microsoft Learn (AI Foundry manage-costs) |
|
||||
| Foundry-portal-native sporing (Agent/Modell/Prosjekt Preview) | Verified | Microsoft Learn (manage-costs) |
|
||||
| Azure OpenAI meters | Verified | Microsoft Learn (pricing page) |
|
||||
| APIM pricing | Verified | Azure Pricing Calculator |
|
||||
| GDPR/IP-masking | Baseline | Generell GDPR-kunnskap + APIM policy best practices |
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue