open/ms-ai-architect
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions

docs(ms-ai-architect): KB-refresh LOW 30/52 — multi-region-ai-gateway-design: multi-region kun Premium (classic) (Premium v2 ikke), score-threshold 0.9→0.15

Browse source
This commit is contained in:
Kjell Tore Guttormsen 2026-06-24 12:15:38 +02:00
commit b600d84adb
1 changed files with 4 additions and 4 deletions
Download patch file Download diff file Expand all files Collapse all files

8
skills/ms-ai-engineering/references/api-management/multi-region-ai-gateway-design.md
View file

@ -1,6 +1,6 @@
# Multi-Region AI Gateway Architecture
**Last updated:** 2026-02
**Last updated:** 2026-06-24
**Status:** GA
**Category:** API Management & AI Gateway
@ -10,7 +10,7 @@
Organisasjoner som bygger AI-drevne tjenester med Azure OpenAI og andre LLM-tjenester trenger en gateway-arkitektur som tåler regionale feil, minimerer latens for geografisk distribuerte brukere, og overholder krav til dataresidency. Azure API Management (APIM) med multi-region deployment gir nettopp denne kapabiliteten, og er den anbefalte tilnærmingen for enterprise AI-workloads.
For norsk offentlig sektor er multi-region-design spesielt relevant: mange organisasjoner har krav om at data skal behandles innenfor EØS, men ønsker samtidig redundans og lav latens. APIM Premium-tier støtter multi-region gateways med én kontrollplan, noe som forenkler administrasjon og gir automatisk failover mellom regioner. Denne referansen dekker alle aspekter ved design, deploy og drift av en geografisk distribuert AI-gateway.
For norsk offentlig sektor er multi-region-design spesielt relevant: mange organisasjoner har krav om at data skal behandles innenfor EØS, men ønsker samtidig redundans og lav latens. APIM Premium (classic)-tier støtter multi-region gateways med én kontrollplan, noe som forenkler administrasjon og gir automatisk failover mellom regioner. (Merk: den nyere Premium v2-tieren støtter availability zones, men IKKE multi-region deployment — multi-region er kun Premium classic.) Denne referansen dekker alle aspekter ved design, deploy og drift av en geografisk distribuert AI-gateway.
En vellykket multi-region AI-gateway-arkitektur balanserer tre hensyn: pålitelighet (at tjenesten overlever regionale feil), ytelse (at brukere opplever lav latens uavhengig av lokasjon), og compliance (at data behandles i henhold til regulatoriske krav). API Management løser alle tre gjennom innebygd FQDN-routing, regionale gateways og policy-basert trafikkhåndtering.
@ -20,7 +20,7 @@ En vellykket multi-region AI-gateway-arkitektur balanserer tre hensyn: påliteli
### Multi-Region Deployment Architecture
APIM Premium-tier støtter replikering av gateway-komponenten til flere Azure-regioner. Kontrollplanet (management plane) og utviklerportalen forblir i primærregionen, mens gateway-trafikk håndteres lokalt i hver region.
APIM Premium (classic)-tier støtter replikering av gateway-komponenten til flere Azure-regioner. Kontrollplanet (management plane) og utviklerportalen forblir i primærregionen, mens gateway-trafikk håndteres lokalt i hver region.
| Komponent | Distribusjon | Merknader |
|-----------|-------------|-----------|
@ -206,7 +206,7 @@ For scenarier der innebygd routing ikke er tilstrekkelig:
<inbound>
<base />
<llm-semantic-cache-lookup
score-threshold="0.9"
score-threshold="0.15"
embeddings-backend-id="embedding-backend"
embeddings-backend-auth="system-assigned" />
</inbound>