ms-ai-architect/docs/kb-refresh-cost-cluster-2026-06.md
Kjell Tore Guttormsen 24ea2ef508 docs(ms-ai-architect): apply-brief critical cost-cluster KB-refresh (7 drift-rapporter)
Samler drift-funn fra 7 parallelle research-agenter for de gjenstående critical
cost-filene + main-agent direkte-verifiserte ground-truth. Resumerbar apply-plan;
NYE påstander merket VERIFY (må bekreftes mot kilde før skriving — verifiseringsplikt).
1/8 (ptu-vs-paygo) allerede ferdig i d36cddd.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-06-23 21:59:11 +02:00

5.8 KiB

KB-refresh — critical cost-cluster (juni 2026)

Apply-brief for de 8 critical cost-filene flagget av detektoren (post-v1.16.1 baseline). Status-of-play i STATE.md. Drift-funn samlet fra 7 parallelle research-agenter (Sonnet, read-only) 2026-06-23 + main-agent direkte-verifisering. Jeg (main) er verifiseringsgaten: NYE påstander merket VERIFY må bekreftes mot kilde FØR de skrives inn — agentene er Sonnet og kan feillese.

Fremdrift

  • 1/8 ptu-vs-paygo-economics.md — FERDIG (d36cddd, pushet). Spillover preview→GA; ny Priority processing-kategori; PTU-minimums/4750 TPM/cache-100% verifisert current; priser urørt (disclaimed).
  • 7 gjenstår — funn under.

Main-agent allerede direkte-verifisert (ground truth, trygt å skrive)

  • GPT-5.5 er reell (gpt-5.5, 2026-04-24). Lineup: gpt-5/5.1/5.2/5.3/5.4-serie/5.5 + gpt-chat-latest.
  • Fire deployment-kategorier: Standard · Priority processing (NY, pay-per-token, latency-target) · Provisioned (PTU) · Batch.
  • Spillover er GA (ikke preview). Alle Azure OpenAI-PTU-modeller; ikke DeepSeek/Llama.
  • Output-to-input ratio (sizing): gpt-5=8, gpt-4.1=4. Cached tokens 100% deducted fra PTU-utilization.
  • PTU-minimums (gpt-4o 50 reg/15 global; 4o-mini 25/15; DeepSeek-R1 100/NA). GPT-5 = 4750 input TPM/PTU.

Per-fil apply-plan (gjenstående 7)

2. reserved-capacity-planning.md (header 2026-04 → 2026-06)

  • TRYGT: legg til Priority processing som 4. kategori i beslutningstre/intro. gpt-5gpt-5.1 (2 steder: capacity-calculator-eksempel + Mønster 4-diagram «All models (incl. gpt-5…)»). Source-rad gov-page 2025-05→2026-06.
  • VERIFY (billing-page): agent sier upstream IKKE har «Azure OpenAI først, deretter Foundry Models»-prioritering for reservation-overage. Anbefalt: fjern påstanden, erstatt med «dekker automatisk alle støttede modeller i scope». Verifiser mot provisioned-throughput-billing før edit.
  • Min-PTU-tabell: legg til caveat «varierer per modell; se sizing-tabell». Priser disclaimed (40-60% rabatt) — urørt.

3. cost-monitoring-cost-attribution.md (header 2026-04 → 2026-06) [ms-ai-governance]

  • VERIFY (manage-costs): (a) Project-level cost attribution (Preview) — auto project-tag, ingen manuell tagging. (b) Agent cost monitoring i Foundry-portal (Operate→Overview estimated-cost-tile; per-agent månedsestimat). (c) 3rd-party meters vises under Global resources (ikke bare resource group); format model-name-GUID. Alle tre = nye, høy-verdi tillegg — bekreft mot manage-costs før skriving.
  • Lavere conf: prompt-caching «(beta)»-merke → fjern/oppdater. gpt-35-turbogpt-4o-mini i gateway-diagram (illustrativt).
  • Priser disclaimed (GPT-4o/Turbo/3.5 illustrative) — urørt; men GPT-4 Turbo/3.5 er legacy (ikke fjern).
  • TRYGT: legg til Priority processing i deployment-tabell + Nivå 4-anbefaling.
  • VERIFY (manage-costs): meter-skille «Models sold by Azure» (under Foundry-ressurs) vs «Marketplace/3rd-party» (SaaS-meters under Global resources) — filen slår dem sammen feilaktig.
  • Lavere conf: Phi-3Phi (familie) 2 steder. Quota-tall 200k TPM/1k RPM → legg til «verifiser i quota-docs». Fiks footer-dato-inkonsistens (561, 601).

5. prompt-engineering-cost-reduction.md (header 2026-02 → 2026-06)

  • VERIFY (prompt-caching): Extended cache retention 24t (prompt_cache_retention: "24h", model-gated: gpt-5.x + gpt-4.1; default 24h for nyere). Filens «5-10 min, maks 1 time» er kun in-memory-delen. Støttede modeller: «alle GPT-4o+» (in-memory) — filens liste er ufullstendig (mangler GPT-5-serien).
  • VERIFY (use-your-data): On Your Data deprecated, pensjoneres 2026-10-14 — kilde #5 peker på denne. Høy impact; bekreft dato.
  • Lavere conf: prompt_cache_key-nyanse; Prompt Flow «GPT-3.5»-referanse stale. o1-preview/GPT-4(32K) i pristabell er retired modellnavn (ikke bare priser).

6. token-counting-optimization.md (header 2026-02 → 2026-06)

  • VERIFY (prompt-caching): samme extended-cache-24t-reframing (filens TTL-tabell deler feil på «Foundry Classic vs AI Services» — skal være in-memory vs extended). prompt_cache_key rate-limit-caveat (~15 req/min).
  • VERIFY (fine-tuning-cost-management): RFT (Reinforcement Fine-Tuning) ny kostnadsmodell — tidsbasert ($100/t o4-mini) + $5000 per-job cap. Filen dekker kun SFT/DPO.
  • VERIFY (use-your-data): On Your Data-deprecation (samme som #5). VERIFY (chatgpt): tiktoken-funksjon mangler o1-mini/o3-mini i model-set.
  • Priser har «kanonisk prissannhet»-peker — urørt.

7. request-batching-aggregation.md (header 2026-05 → 2026-06)

  • VERIFY (batch): (a) Data Zone Batch ny deployment-type (mangler i fil). (b) «Exponential backoff» = «fail fast» (klient-retry, ikke server-auto-retry) — filens beskrivelse upresis.
  • 50%/24t/region-liste/expiration verifisert current. Priser disclaimed — urørt.

8. small-language-models-economics.md (header 2026-04 → 2026-06)

  • TRYGT: fjern «(175B+)» fra GPT-4o (uverifiserbart param-tall). «GPT-4 utfaset»→«legacy» (GPT-4 turbo fortsatt aktiv).
  • VERIFY (models-from-partners): Phi-3-small/medium + Phi-2 ikke i aktiv katalog (kun Phi-4-familien) — merk, ikke slett (illustrative). Falcon-7B ikke i Foundry-katalog.
  • Lavere conf: reasoning-modell-anbefaling (o4-mini/o3) for kompleks resonnering. Priser disclaimed — urørt.

Apply-mønster (per fil)

VERIFY nye påstander mot sitert kilde (fetch) → kirurgiske edits (behold disclaimed priser) → bump header → git diff-gate → validate-plugin.sh → commit (1 fil/commit, mønster KB-refresh critical cost N/8) → push i vindu. Når alle 8 ferdig: re-kjør report-changes.mjs (bekreft critical-count faller), så release v1.16.2 via release-plugin.mjs.