refactor(ms-ai-architect): R13 del 1 — nøytraliser Cosmo-personaen i ref-korpusets headinger, etter å ha rettet en gate som var målt usann to ganger
Ordre 20260912T193441Z-7358817909. Steg 1 var ikke transformen, men å rette
roadmapens R13-gate og få den ratifisert. Gaten `grep -rl "Cosmo"
skills/*/references -> 0` var usann på to uavhengige måter:
1. Ordren fanget den første: 451 av forekomstene er Azure Cosmos DB, ekte
produktinnhold. Diskriminatoren er ikke bokstaven «s» — `Cosmos <norsk
substantiv>` er genitiv av personaen (`### Cosmos tonalitet`), mens
`Cosmos DB`/`CosmosClient`/`cosmos_ru` er produkt.
2. Denne økten fant den andre: 132 persona-forekomster ligger i prosa,
tabeller, dialog-replikker og proveniens-linjer. Heading-nøytralisering
kan ikke nå dem, så «0 persona» er uoppnåelig også under den ratifiserte
formen. Operatøren ratifiserte alternativ A: gaten speiler formen, og de
132 bokføres til R13b/R14.
Tre korreksjoner av premisser som sto i ordren og STATE:
«ca 320 produkt» -> 451 (case-sensitivt nett manglet 327 lowercase
TOC-ankre + 99 identifikatorer; sann nevner 1 638)
«169 headinger» -> 401. 169 var `^## For Cosmo`-prefikset (168) og var
internt inkonsistent med sin egen topp-variant (204)
«417 matcher ingen
populasjon» -> 417 er cosmo-headinger utenfor kodefences; briefens
nevner var reell hele tiden
Fence-bevissthet er målt skadelig, ikke nødvendig: begge toggle-regler er
gale på dette korpuset (naiv toggle skjuler en ekte heading i
chain-of-thought-prompting.md, CommonMark-regelen ubalanserer
service-level-documentation-dr.md). Fence-agnostisk deteksjon finner 401
heading-linjer i nøyaktig de samme 40 variantene som fence-bevisst finner
400 i — ingen kodeblokk-linje er byte-identisk til en persona-heading. Derfor
nøkles transformen på 40 enumererte heading-tekster og ignorerer fences. En
ukjent variant kaster; en slug-kollisjon kaster. Ingenting auto-fikses.
TOC-en regenereres ikke, den rettes kirurgisk: alle 327 persona-lenker hadde
lenketekst lik én av de 40 heading-tekstene og anker lik slugify av den
(327/327, 0 avvik), så heading og TOC-entry skrives i samme operasjon og
ingen mellomtilstand etterlater en død lenke.
Ratifisert målform: `For Cosmo`, `For Cosmo Skyberg` og `For arkitekten
(Cosmo)` konvergerer på `For arkitekten`. To filer kolliderte og er adjudisert
ved å lese dem, ikke ved regel.
Verifisering (alle 7 kriterier fra ordren):
G1 persona på heading-linjer 401 -> 0
G2 døde fragmentlenker 1 -> 1 (pre-eksisterende, unntatt)
G3 produkt-forekomster 451 -> 451; `Cosmos DB|Azure Cosmos` 308 = 308
de 3 kun-produkt-filene byte-identiske
nettet validert begge veier injisert persona feller G1; genitiv feller G1;
produkt-heading og de 3 filene passerer
hele diffen 802 heading-linjer + 654 TOC-linjer, ANNET = 0
linjeantall 728 lagt til = 728 slettet
suite 1120/1120 (1097 + 23 nye)
validate-plugin 250 PASS / 0 FAIL
stikkprøve 10 filer, alle 5 skills, inkl. de 3 mest
produkt-tunge (26/20/19) — kun heading+TOC
Utenfor scope, urørt: de 4 SKILL.md, de 23 commands, CLAUDE.md, README.md,
NOTICE.md, docs/ (alt R14).
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
7655f1798e
commit
3a73eeafdc
380 changed files with 1711 additions and 729 deletions
|
|
@ -19,7 +19,7 @@
|
|||
- [Policy-pipeline for AI Gateway](#policy-pipeline-for-ai-gateway)
|
||||
- [Relevante referansearkitekturer](#relevante-referansearkitekturer)
|
||||
- [Hensyn for norsk offentlig sektor](#hensyn-for-norsk-offentlig-sektor)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -403,7 +403,7 @@ En komplett AI gateway-policy kombinerer flere policies i riktig rekkefølge:
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- APIM som AI Gateway er den anbefalte PaaS-tilnærmingen for organisasjoner som trenger sentralisert styring over Azure OpenAI og andre LLM-backends -- spesielt relevant for offentlig sektor med krav til kostnadsfordeling og compliance.
|
||||
- De fem hovdkapabilitetene (token limiting, load balancing, circuit breaker, semantic caching, content safety) dekker de fleste enterprise-behov uten egenutviklet kode.
|
||||
|
|
|
|||
|
|
@ -18,7 +18,7 @@
|
|||
- [API Key Rotation](#api-key-rotation)
|
||||
- [Defense-in-Depth Mønster](#defense-in-depth-mønster)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -411,7 +411,7 @@ Kombiner klient-autentisering (OAuth) med backend-autentisering (managed identit
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder trenger veiledning om autentisering og autorisering av AI-APIer gjennom APIM, spesielt ved overgang fra API-nøkler til managed identity.
|
||||
- Anbefal alltid managed identity som primær autentiseringsmetode mot Azure OpenAI — det eliminerer nøkkelhåndtering og reduserer angrepsflaten.
|
||||
|
|
|
|||
|
|
@ -20,7 +20,7 @@
|
|||
- [Geografisk ruting](#geografisk-ruting)
|
||||
- [Kostnadsestimat for Front Door + APIM](#kostnadsestimat-for-front-door--apim)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -433,7 +433,7 @@ Merk: Front Door Standard er rimeligere (~60% av Premium-pris) men mangler Priva
|
|||
- [Check header policy](https://learn.microsoft.com/en-us/azure/api-management/check-header-policy) -- header-validering
|
||||
- [Architecture best practices for Azure Front Door](https://learn.microsoft.com/en-us/azure/well-architected/service-guides/azure-front-door) -- Well-Architected-anbefalinger
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden trenger global distribusjon av AI-tjenester, ekstra DDoS-beskyttelse, eller WAF foran AI-gateway-en sin.
|
||||
- For de fleste norske offentlige virksomheter er Front Door overkill for rene interne AI-tjenester. Anbefal det primaert for innbyggerrettede tjenester med hoy trafikk eller behov for geographic redundancy.
|
||||
|
|
|
|||
|
|
@ -22,7 +22,7 @@
|
|||
- [Hybrid-tilnærminger](#hybrid-tilnærminger)
|
||||
- [Well-Architected Framework Perspektiv](#well-architected-framework-perspektiv)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -408,7 +408,7 @@ APIM bør alltid brukes i følgende scenarier:
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder spør om de trenger APIM eller kan koble direkte til Azure OpenAI. Beslutningsmatrisen gir et strukturert svar.
|
||||
- Tommelfingerregel: Hvis kunden har mer enn én applikasjon ELLER strenge sikkerhetskrav (som offentlig sektor typisk har) → anbefal APIM.
|
||||
|
|
|
|||
|
|
@ -19,7 +19,7 @@
|
|||
- [Pool Metrics](#pool-metrics)
|
||||
- [Best Practices](#best-practices)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -515,7 +515,7 @@ resource backendHealthAlert 'Microsoft.Insights/metricAlerts@2018-03-01' = {
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder trenger å sette opp load balancing mellom flere Azure OpenAI-instanser via APIM, spesielt for PTU + Standard fallback-mønstre.
|
||||
- Anbefal alltid circuit breaker med `acceptRetryAfter: true` for Azure OpenAI backends — dette er kritisk for å håndtere 429 throttling uten å overbelaste backend.
|
||||
|
|
|
|||
|
|
@ -18,7 +18,7 @@
|
|||
- [Kostnadsbesparelsesanalyse](#kostnadsbesparelsesanalyse)
|
||||
- [Caching-tjenester: Intern vs. Ekstern](#caching-tjenester-intern-vs-ekstern)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -413,7 +413,7 @@ Opprett en dedikert operasjon for administratorer:
|
|||
- [Set up an external cache in Azure API Management](https://learn.microsoft.com/en-us/azure/api-management/api-management-howto-cache-external) -- Redis-oppsett
|
||||
- [Application design for AI workloads - Caching strategies](https://learn.microsoft.com/en-us/azure/well-architected/ai/application-design#implement-multi-layer-caching-strategies) -- Well-Architected-anbefalinger
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden onsker a redusere AI-kostnader gjennom caching, eller nar de trenger a forbedre responstider for brukere som stiller lignende sporsmol.
|
||||
- Start med `score-threshold="0.15"` for semantisk caching -- dette gir god balanse. Juster ned til 0.10 for hoyere hit rate i FAQ-scenarier, eller opp til 0.25 for mer presise matcher i kritiske applikasjoner.
|
||||
|
|
|
|||
|
|
@ -19,7 +19,7 @@
|
|||
- [Avanserte mønstre](#avanserte-mønstre)
|
||||
- [Anti-mønstre](#anti-mønstre)
|
||||
- [Komplett resiliens-policy](#komplett-resiliens-policy)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -515,7 +515,7 @@ Kombiner circuit breaker med aktiv health checking:
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- Circuit breaker er obligatorisk for alle Azure OpenAI backends i produksjon -- uten det risikerer du cascading failures og bortkastet gateway-kapasitet mot throttlede backends.
|
||||
- Sett ALLTID `acceptRetryAfter: true` for Azure OpenAI backends. Azure OpenAI returnerer presise Retry-After verdier som gir optimal recovery-timing. Uten dette bruker du den statiske tripDuration som kan være for kort eller for lang.
|
||||
|
|
|
|||
|
|
@ -20,7 +20,7 @@
|
|||
- [Custom Metrics](#custom-metrics)
|
||||
- [FinOps Integrasjon](#finops-integrasjon)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -454,7 +454,7 @@ Kombiner APIM-metriker med Azure resource tags for helhetlig kostnadsbilde:
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder trenger å implementere kostnadssporing og intern fakturering for AI-tjenester gjennom APIM.
|
||||
- Start med `llm-emit-token-metric` policy med Department- og CostCenter-dimensjoner — dette gir umiddelbar synlighet i token-bruk per avdeling.
|
||||
|
|
|
|||
|
|
@ -20,7 +20,7 @@
|
|||
- [Selvbetjeningsarbeidsflyt for brukere](#selvbetjeningsarbeidsflyt-for-brukere)
|
||||
- [Azure API Center: Komplementaer katalog](#azure-api-center-komplementaer-katalog)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -374,7 +374,7 @@ For storre organisasjoner kan Azure API Center brukes sammen med APIM Developer
|
|||
- [API Management subscriptions](https://learn.microsoft.com/en-us/azure/api-management/api-management-subscriptions) -- abonnementshondtering
|
||||
- [Self-host the developer portal](https://learn.microsoft.com/en-us/azure/api-management/developer-portal-self-host) -- self-hosting
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden onsker a gjore AI-API-er tilgjengelige for interne eller eksterne utviklere med selvbetjening, dokumentasjon og tilgangskontroll.
|
||||
- For norsk offentlig sektor, anbefal alltid Microsoft Entra ID (Azure AD) som identity provider for Developer Portal -- unnga brukernavn/passord-registrering for bedre sikkerhet og sentral brukerstyring.
|
||||
|
|
|
|||
|
|
@ -19,7 +19,7 @@
|
|||
- [Komplett GenAI Policy Stack](#komplett-genai-policy-stack)
|
||||
- [GenAI Policy Referanse](#genai-policy-referanse)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -639,7 +639,7 @@ Outbound (fra topp til bunn):
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder trenger å implementere AI safety og governance gjennom APIM-policyer, spesielt content safety, prompt-validering og audit-logging.
|
||||
- Den viktigste policyen for norsk offentlig sektor er `llm-content-safety` med `shield-prompt="true"` — dette blokkerer jailbreak-forsøk og uønsket innhold FØR det når modellen.
|
||||
|
|
|
|||
|
|
@ -18,7 +18,7 @@
|
|||
- [Throttling og Retry-håndtering](#throttling-og-retry-håndtering)
|
||||
- [Komplett Bicep-eksempel](#komplett-bicep-eksempel)
|
||||
- [Overvåking og feilsøking](#overvåking-og-feilsøking)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -640,7 +640,7 @@ ApiManagementGatewayLogs
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- Priority-based load balancing med PTU som Priority 1 og PAYGO som Priority 2 er det anbefalte mønsteret for enterprise AI-arkitekturer -- det maksimerer utnyttelsen av forhåndskjøpt kapasitet og faller automatisk tilbake til pay-per-use ved behov.
|
||||
- Backend pools er approksimerte: ulike gateway-instanser synkroniserer ikke, så vektede fordelinger er omtrentlige. For AI-workloads er dette akseptabelt fordi Azure OpenAI selv håndterer throttling med 429/Retry-After.
|
||||
|
|
|
|||
|
|
@ -19,7 +19,7 @@
|
|||
- [Eksport til Microsoft Foundry for modellevaluering](#eksport-til-microsoft-foundry-for-modellevaluering)
|
||||
- [Personvern og compliance](#personvern-og-compliance)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -443,7 +443,7 @@ LLM-logger kan eksporteres som datasett for modellevaluering i Microsoft Foundry
|
|||
- [ApiManagementGatewayLlmLog table](https://learn.microsoft.com/en-us/azure/azure-monitor/reference/tables/apimanagementgatewayllmlog) -- Log Analytics-tabellreferanse
|
||||
- [Monitor AI agents with Application Insights](https://learn.microsoft.com/en-us/azure/azure-monitor/app/agents-view) -- AI-agent-overvaking
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden trenger a sette opp logging, dashboard eller kostnadsrapportering for sine AI-API-er, eller nar de ma oppfylle compliance-krav rundt sporbarhet av AI-bruk.
|
||||
- Anbefal alltid a aktivere bade Application Insights (sanntidsmetrikker) og diagnostic settings (Log Analytics for langtidsanalyse) -- de utfyller hverandre.
|
||||
|
|
|
|||
|
|
@ -20,7 +20,7 @@
|
|||
- [Cross-Region Failover](#cross-region-failover)
|
||||
- [Nettverksarkitektur](#nettverksarkitektur)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -443,7 +443,7 @@ Hver region krever eget VNet med nødvendige NSG-regler:
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder trenger en AI-gateway som dekker flere Azure-regioner, eller når data residency og failover er sentrale krav.
|
||||
- For norsk offentlig sektor: Anbefal alltid EØS-regioner (West Europe, North Europe, Sweden Central) og advar eksplisitt mot Global Standard deployments som kan prosessere data utenfor EØS.
|
||||
|
|
|
|||
|
|
@ -19,7 +19,7 @@
|
|||
- [Policy Fragments for Reuse](#policy-fragments-for-reuse)
|
||||
- [Bicep: Oppsett av transformasjons-API](#bicep-oppsett-av-transformasjons-api)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -579,7 +579,7 @@ resource chatOperation 'Microsoft.ApiManagement/service/apis/operations@2023-09-
|
|||
- [Policy fragments in API Management](https://learn.microsoft.com/en-us/azure/api-management/policy-fragments) -- gjenbrukbare policy-fragmenter
|
||||
- [Tutorial: Transform and protect your API](https://learn.microsoft.com/en-us/azure/api-management/transform-api) -- hands-on tutorial
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden onsker a bygge et model-agnostisk AI-API-lag som abstraherer bort leverandoravhengigheter, eller nar de trenger a standardisere feilhandtering pa tvers av AI-backends.
|
||||
- Anbefal alltid policy fragments for transformasjonslogikk som gjenbrukes pa tvers av flere API-er -- dette reduserer vedlikeholdsbyrden betydelig.
|
||||
|
|
|
|||
|
|
@ -18,7 +18,7 @@
|
|||
- [Revisjonssporing og audit trail](#revisjonssporing-og-audit-trail)
|
||||
- [Sikkerhetssjekksliste for AI Gateway](#sikkerhetssjekksliste-for-ai-gateway)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -536,7 +536,7 @@ ApiManagementGatewayLlmLog
|
|||
- [Protect enterprise AI with Prompt Shield](https://learn.microsoft.com/en-us/entra/global-secure-access/how-to-ai-prompt-shield) -- Prompt Shields
|
||||
- [Security planning for LLM-based applications](https://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/mlops-in-openai/security/security-plan-llm-application) -- sikkerhetsplanlegging
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden trenger a herde sin AI gateway for produksjon, oppfylle compliance-krav, eller etablere et forsvar-i-dybden for AI-tjenester.
|
||||
- For norsk offentlig sektor er P0-kontrollene i sjekklisten obligatoriske. Start alltid med Microsoft Entra ID, IP-filtrering, rate limiting og Content Safety -- disse gir den storste sikkerhetseffekten med lavest implementeringskostnad.
|
||||
|
|
|
|||
|
|
@ -21,7 +21,7 @@
|
|||
- [Verifisering og feilsøking](#verifisering-og-feilsøking)
|
||||
- [Komplett policy for semantic caching](#komplett-policy-for-semantic-caching)
|
||||
- [Tier-kompatibilitet](#tier-kompatibilitet)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -589,7 +589,7 @@ ApiManagementGatewayLogs
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- Semantic caching er den mest kostnadseffektive optimaliseringen for AI-workloads med repeterende spørsmål. Start med `score-threshold="0.15"` og juster basert på cache hit rate og brukerfeedback. For FAQ/kundeservice-scenarier, vurder 0.20 for høyere hit rate.
|
||||
- Krav: Azure Managed Redis med RediSearch-modul (MÅ aktiveres ved opprettelse, kan ikke legges til etterpå) + Azure OpenAI Embeddings deployment. Planlegg disse ressursene fra starten.
|
||||
|
|
|
|||
|
|
@ -22,7 +22,7 @@
|
|||
- [Token-telling for Streaming](#token-telling-for-streaming)
|
||||
- [Komplett Streaming-policy](#komplett-streaming-policy)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -529,7 +529,7 @@ For ikke-streaming requests, bruk standard `llm-emit-token-metric` i outbound:
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** når kunder implementerer chat-applikasjoner eller AI-assistenter gjennom APIM og trenger streaming-støtte.
|
||||
- Den absolutt viktigste innstillingen er `buffer-response="false"` i `forward-request`. Uten dette bufres hele SSE-responsen og leveres som én stor blob — som dreper brukeropplevelsen.
|
||||
|
|
|
|||
|
|
@ -21,7 +21,7 @@
|
|||
- [Monitorering av token-forbruk](#monitorering-av-token-forbruk)
|
||||
- [Tier-kompatibilitet](#tier-kompatibilitet)
|
||||
- [Best Practices](#best-practices)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -451,7 +451,7 @@ customMetrics
|
|||
|
||||
---
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- Token rate limiting er den viktigste AI gateway-policyen -- alltid start her når du setter opp APIM for Azure OpenAI. Bruk `llm-token-limit` som standard, med `estimate-prompt-tokens="true"` for tidlig avvisning.
|
||||
- Counter-key-strategien bestemmer granulariteten: subscription-basert for team-nivå, custom headers for etat/prosjekt, JWT claims for bruker-nivå. For offentlig sektor anbefales subscription per team + custom header for kostnadsrapportering.
|
||||
|
|
|
|||
|
|
@ -20,7 +20,7 @@
|
|||
- [Revisjonsstyring for ikke-brytende endringer](#revisjonsstyring-for-ikke-brytende-endringer)
|
||||
- [Handtering av brytende endringer](#handtering-av-brytende-endringer)
|
||||
- [Referanser](#referanser)
|
||||
- [For Cosmo](#for-cosmo)
|
||||
- [For arkitekten](#for-arkitekten)
|
||||
|
||||
## Introduksjon
|
||||
|
||||
|
|
@ -386,7 +386,7 @@ info:
|
|||
- [OWASP: Improper inventory management](https://learn.microsoft.com/en-us/azure/api-management/mitigate-owasp-api-threats#improper-inventory-management) -- sikkerhetsanbefalinger
|
||||
- [AI gateway in Azure API Management](https://learn.microsoft.com/en-us/azure/api-management/genai-gateway-capabilities) -- AI gateway-oversikt
|
||||
|
||||
## For Cosmo
|
||||
## For arkitekten
|
||||
|
||||
- **Bruk denne referansen** nar kunden planlegger versjonering av sine AI-API-er, trenger a migrere mellom modellversjoner, eller vil etablere en livssyklusmodell for sine API-endepunkter.
|
||||
- For AI gateway som wrapper rundt Azure OpenAI, anbefal query string-versjonering med `api-version` for kompatibilitet med Microsofts eksisterende konvensjon.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue