open/ms-ai-architect
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions

docs(ms-ai-architect): KB-refresh MEDIUM 13/33 — token-optimization: prompt-caching in-memory vs extended 24h (prompt_cache_retention)

Browse source
This commit is contained in:
Kjell Tore Guttormsen 2026-06-24 11:38:24 +02:00
commit 0bc8dab22c
1 changed files with 5 additions and 3 deletions
Download patch file Download diff file Expand all files Collapse all files

8
skills/ms-ai-advisor/references/prompt-engineering/token-optimization-and-efficiency.md
View file

@ -1,6 +1,6 @@
# Token Optimization and Cost Efficiency
**Last updated:** 2026-02
**Last updated:** 2026-06-24
**Status:** GA
**Category:** Prompt Engineering & LLM Optimization
@ -95,7 +95,7 @@ response = client.chat.completions.create(
### 2. Prompt Caching (automatisk funksjonalitet)
**Status:** GA for GPT-4o, GPT-4.1-serien, o-series (o1, o3-mini, o4-mini)
**Status:** In-memory caching GA for alle Azure OpenAI-modeller GPT-4o eller nyere (chat/completion/responses/realtime-operasjoner). Extended retention (24t) støttes for GPT-5-serien (gpt-5/5.1/5.1-codex/5.2/5.3-codex/5.4 m.fl.) + gpt-4.1.
Prompt caching reduserer kostnader ved å cache de første 1024+ tokens i en prompt. Når identisk innhold gjentas, betaler du redusert pris for cached tokens.
@ -106,9 +106,11 @@ Prompt caching reduserer kostnader ved å cache de første 1024+ tokens i en pro
| **Minimum prompt-lengde** | 1024 tokens |
| **Cache-treff** | Første 1024 tokens må være identiske |
| **Granularitet** | Cache-treff per 128 tokens etter første 1024 |
| **Cache-levetid** | 5-10 min inaktivitet (max 1 time for Microsoft Foundry; 24t for Foundry Models) |
| **Cache-levetid** | *In-memory* (default t.o.m. gpt-5.4): ryddes typisk innen 5–10 min inaktivitet, alltid innen 1 time. *Extended retention* (opptil 24t) via `prompt_cache_retention: "24h"` — default for nyere modeller |
| **Deling** | Ikke delt mellom Azure subscriptions |
> **Data-residens:** In-memory caching er kompatibel med alle data-residency-regioner. Extended retention lagrer data midlertidig på GPU-maskiner og holder data in-region kun ved Regional Standard / Regional Provisioned deployment-typer.
#### Design for cache-hits
```python