ms-ai-architect/skills/ms-ai-infrastructure/references/hybrid-edge/azure-local-ai-workloads.md

Azure Local for Edge AI Workloads

Last updated: 2026-02 Status: GA Category: Hybrid Cloud & Edge AI Type: reference

---

Innhold

• Introduksjon
• Arkitekturoversikt
• GPU-stotte i Azure Local
• Cluster-felles ML Stack
• Local Azure Services
• Storage-optimalisert inferens
• Hybrid Resilience Patterns
• Nettverksarkitektur
• Sizing-guide for AI-arbeidsbelastninger
• For arkitekten

Introduksjon

Azure Local (tidligere Azure Stack HCI) er Microsofts hyperkonvergerte infrastrukturlosning for a kjore Azure-tjenester lokalt. For AI-arbeidsbelastninger tilbyr Azure Local GPU-akselerasjon, Kubernetes-stotte via AKS enabled by Arc, og lokal tilgang til Azure-tjenester — alt administrert fra Azure Portal.

For norsk offentlig sektor representerer Azure Local en unik mulighet: organisasjoner kan plassere AI-infrastruktur i egne datarom eller hos godkjente driftspartnere, samtidig som de far tilgang til Azures ML-plattform, overvaking og governance-verktoy. Dette gir data residency i Norge uten a ga pa kompromiss med moderne AI-kapabiliteter.

Azure Local stotter et bredt utvalg av NVIDIA GPU-er for AI-inferens og trening, inkludert T4, A2, A16, L4, L40 og L40S. Sammen med AKS enabled by Arc og KAITO (Kubernetes AI Toolchain Operator) kan organisasjoner kjore open-source LLM-er som Phi-4, Mistral og Llama direkte pa egen infrastruktur.

---

Arkitekturoversikt

┌───────────────────────────────────────────────┐
│              Azure Control Plane               │
│  Azure Portal │ ML Workspace │ Azure Monitor  │
└───────────────────────┬───────────────────────┘
                        │ Azure Arc
                        │
┌───────────────────────▼───────────────────────┐
│              Azure Local Cluster               │
│  ┌─────────────────────────────────────────┐  │
│  │          AKS enabled by Arc             │  │
│  │  ┌──────────┐  ┌──────────┐            │  │
│  │  │ CPU Node │  │ GPU Node │            │  │
│  │  │ Pool     │  │ Pool     │            │  │
│  │  │          │  │ NVIDIA   │            │  │
│  │  │ Services │  │ T4/A2/L4 │            │  │
│  │  └──────────┘  └──────────┘            │  │
│  └─────────────────────────────────────────┘  │
│  ┌───────────────┐  ┌─────────────────────┐  │
│  │ Azure Arc VMs │  │ Storage Spaces      │  │
│  │ (DDA/GPU-P)   │  │ Direct (S2D)        │  │
│  └───────────────┘  └─────────────────────┘  │
└───────────────────────────────────────────────┘

---

GPU-stotte i Azure Local

GPU-tilordningsmetoder

Azure Local stotter to metoder for GPU-bruk:

Egenskap	Discrete Device Assignment (DDA)	GPU Partitioning (GPU-P)
Ressursmodell	Hel GPU til en VM	Delt GPU mellom flere VM-er
VM-tetthet	Lav (1 GPU = 1 VM)	Hoy (1 GPU = mange VM-er)
Appkompatibilitet	Full (DX12, OpenGL, CUDA)	Full (DX12, OpenGL, CUDA)
VRAM	Opp til full GPU VRAM	Per partisjon
Driver i gjest	Leverandor-driver (NVIDIA)	Leverandor-driver (NVIDIA)
AKS-stotte	Ja	Nei (kun VM-er)
Best for	AI-trening, stor inferens	Lettere inferens, delt bruk

Stottede NVIDIA GPU-er

GPU-modell	DDA (Arc VMs)	DDA (AKS)	GPU-P (VMs)	Typisk bruk
NVIDIA T4	Ja	Ja	Nei	Inferens, lette modeller
NVIDIA A2	Ja	Ja	Ja	Inferens, mellomstore modeller
NVIDIA A10	Ja (unmanaged)	Nei	Ja	Trening og inferens
NVIDIA A16	Ja	Ja	Ja	Multi-bruker inferens
NVIDIA A40	Ja (unmanaged)	Nei	Ja	Tung trening
NVIDIA L4	Ja	Ja	Ja	Moderne inferens
NVIDIA L40	Ja	Ja	Ja	Stor modell-inferens
NVIDIA L40S	Ja	Ja	Ja	High-end AI workloads

GPU-klargjoring

# Sjekk GPU-status pa Azure Local-noder
Get-PnpDevice | Select-Object Status, Class, FriendlyName, InstanceId |
  Where-Object { $_.FriendlyName -match "Nvidia" }

# Installer mitigation driver for DDA
# (Kreves for Azure Local 23H2+)
pnputil /add-driver oem_mitigation.inf /install

# Verifiser GPU er dismounted og klar for DDA
Get-VMHostAssignableDevice

---

Cluster-felles ML Stack

AKS enabled by Azure Arc pa Azure Local

AKS pa Azure Local gir en fullt administrert Kubernetes-opplevelse med GPU-stotte:

Oppretting av klynge med GPU:

# Opprett AKS-klynge pa Azure Local
az aksarc create \
  --resource-group ai-edge-rg \
  --name ai-edge-cluster \
  --custom-location my-custom-location \
  --vnet-ids /subscriptions/.../virtualNetworks/ai-vnet

# Legg til GPU node pool
az aksarc nodepool add \
  --cluster-name ai-edge-cluster \
  --name gpu-pool \
  --resource-group ai-edge-rg \
  --node-count 2 \
  --node-vm-size Standard_NC4_A2 \
  --os-type Linux

GPU VM SKU-er tilgjengelige:

VM SKU	GPU	vCPU	Minne (GB)	GPU-minne
Standard_NK6	T4 (1x)	6	56	16 GB
Standard_NC4	A2 (1x)	4	28	16 GB
Standard_NC8	A2 (1x)	8	56	16 GB
Standard_NC16	A16 (1x)	16	112	16 GB
Standard_NC32	A16 (2x)	32	224	32 GB

KAITO pa Azure Local

Kubernetes AI Toolchain Operator (KAITO) kjorer som en cluster extension:

# Opprett klynge med KAITO aktivert
az aksarc create \
  --resource-group ai-edge-rg \
  --name ai-kaito-cluster \
  --custom-location my-custom-location \
  --vnet-ids /subscriptions/.../virtualNetworks/ai-vnet \
  --enable-ai-toolchain-operator

# Aktiver KAITO pa eksisterende klynge
az aksarc update \
  --resource-group ai-edge-rg \
  --name ai-edge-cluster \
  --enable-ai-toolchain-operator

Deploy LLM med KAITO:

# workspace-phi4-mini.yaml
apiVersion: kaito.sh/v1alpha1
kind: Workspace
metadata:
  name: workspace-phi-4-mini
spec:
  resource:
    instanceType: Standard_NC8
    labelSelector:
      matchLabels:
        apps: llm-inference
  inference:
    preset:
      name: phi-4-mini-instruct

# Deploy modellen
kubectl apply -f workspace-phi4-mini.yaml

# Sjekk status
kubectl get workspace -w

# Test inferens
export SERVICE_IP=$(kubectl get svc workspace-phi-4-mini \
  -o jsonpath='{.spec.clusterIP}')

kubectl run -it --rm curl --image=curlimages/curl -- \
  curl -X POST http://$SERVICE_IP/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "phi-4-mini-instruct",
    "prompt": "Forklar fordelene med edge AI for offentlig sektor",
    "max_tokens": 200
  }'

---

Local Azure Services

Azure-tjenester som kjorer lokalt

Azure Local gir tilgang til et voksende utvalg Azure-tjenester direkte pa lokale servere:

Tjeneste	Tilgjengelighet	AI-relevans
AKS (Arc)	GA	Container-basert ML og inferens
Azure Arc VMs	GA	GPU-akselererte VM-er for AI
Azure Monitor	GA	Overvaking av AI-arbeidsbelastninger
Azure Policy	GA	Governance for AI-deployments
Azure Key Vault	GA	Hemmelighetshaandtering for modeller
Azure Container Registry	Preview	Lokal container-lagring (disconnected)
Azure Arc Data Services	GA	SQL og PostgreSQL for AI-data

Lokal Container Registry for disconnected drift

# Opprett lokal ACR for disconnected miljoer
# (Azure Local med autonome operasjoner)
az acr create \
  --name myedgeregistry \
  --resource-group ai-edge-rg \
  --location autonomous \
  --sku Standard

---

Storage-optimalisert inferens

Storage Spaces Direct (S2D)

Azure Local bruker S2D for distribuert lagring med hoy ytelse:

Lagringstype	Best for	Ytelse
NVMe + SSD tiered	Modell-lasting	<100ms load for 7B modell
All-flash NVMe	Real-time inferens	Sub-ms I/O
SSD + HDD tiered	Modell-arkiv, batch	Kostnadsoptimalt

Persistent Volume for ML-modeller

# persistent-volume-claim.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ai-model-storage
  namespace: ai-workloads
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: azure-local-ssd
  resources:
    requests:
      storage: 100Gi
---
# Pod med modell-lagring
apiVersion: v1
kind: Pod
metadata:
  name: model-server
  namespace: ai-workloads
spec:
  containers:
    - name: inference
      image: myregistry/model-server:v1
      volumeMounts:
        - name: model-data
          mountPath: /models
      resources:
        limits:
          nvidia.com/gpu: 1
  volumes:
    - name: model-data
      persistentVolumeClaim:
        claimName: ai-model-storage

Caching-strategier for modeller

Strategi	Beskrivelse	Fordel
Pre-load til NVMe	Last modeller ved oppstart	Raskest cold start
Shared PVC	ReadWriteMany for flere pods	Effektiv lagring
InitContainer	Last modell for main container starter	Paalitelig sekvensering
Model sidecar	Egen container for modell-lasting	Separasjon av ansvar

---

Hybrid Resilience Patterns

High Availability for AI pa Azure Local

┌─────────────────────────────────────────┐
│        Azure Local HA Cluster           │
│                                         │
│  Node 1 ────────── Node 2              │
│  GPU: L4           GPU: L4              │
│  AI Workload       AI Workload          │
│  (Active)          (Standby)            │
│       │                │                │
│       └──── S2D ───────┘                │
│       Replicated Storage                │
└─────────────────────────────────────────┘

Resilience-moenster	Beskrivelse	RTO
Active-Passive GPU	Standby node med GPU ready	2-5 min
Active-Active load balanced	Inferens fordelt pa noder	0 (graceful)
N+1 redundancy	Ekstra node for failover	1-3 min
Stretched cluster	Klynge over to lokasjoner	Automatisk

Failover-konfigurasjon

# Konfigurer VM failover med GPU re-assignment
# Krever at GPU-er er tilgjengelige pa failover-noden

# Sett foretrukket eier for AI VM
Set-ClusterGroup -Name "AI-Inference-VM" `
  -PreferredOwner "Node1", "Node2"

# Aktiver automatisk failback
(Get-ClusterGroup "AI-Inference-VM").AutoFailbackType = 1

Cloud-fallback for Azure Local

Nar lokal kapasitet er utilstrekkelig:

# Hybrid inference med sky-fallback
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-config
data:
  routing: |
    primary:
      endpoint: http://local-model-svc:8080/v1/completions
      timeout: 5s
    fallback:
      endpoint: https://my-foundry.openai.azure.com/v1/completions
      condition: local_gpu_util > 95% OR local_unavailable

---

Nettverksarkitektur

Anbefalte nettverkstopologier

Topologi	Bruk	Krav
Converged	Enkle deployments	Min 10 Gbps
Hyper-converged	Standard AI-klynge	25 Gbps + RDMA
Switched	Stor skala, mange noder	25-100 Gbps fabric

Minimum nettverkskrav for AI

Trafikk	Minimum	Anbefalt
Management (Arc)	1 Gbps + internett	10 Gbps
Storage (S2D)	10 Gbps RDMA	25 Gbps RDMA
Compute (GPU)	10 Gbps	25 Gbps
Client (inferens)	1 Gbps	10 Gbps

---

Sizing-guide for AI-arbeidsbelastninger

Anbefalte konfigurasjoner

Arbeidsbelastning	Noder	GPU per node	Minne per node	Lagring
Liten inferens (Phi-3)	2	1x A2	64 GB	1 TB NVMe
Medium inferens (Phi-4, Mistral-7B)	3	1x A16	128 GB	2 TB NVMe
Stor inferens (Llama-70B)	4	2x L40S	256 GB	4 TB NVMe
Trening + inferens	4+	2x A40/L40S	512 GB	8 TB NVMe

Kostnadsestimat (Azure Local)

Komponent	Estimert kost (NOK)
3-node Azure Local cluster	300,000 - 600,000
NVIDIA A2 GPU (per stk)	15,000 - 25,000
NVIDIA L4 GPU (per stk)	25,000 - 40,000
NVIDIA L40S GPU (per stk)	80,000 - 120,000
Azure Local lisens	Inkludert i Azure-abonnement
Azure Arc management	Inkludert (basis)
Azure ML extension	Inkludert

Merk: Priser er estimater og varierer med leverandor og konfigurasjon.

---

For arkitekten

• Azure Local er den primaere plattformen for on-premises AI i Microsoft-okosystemet — fullt integrert med Azure Arc for sentralisert styring, men med all databehandling pa egen infrastruktur.
• GPU-stotten er bred med NVIDIA T4/A2/A16/L4/L40/L40S — bade DDA (hel GPU) og GPU-P (delt GPU) er tilgjengelig, noe som gir fleksibilitet fra lette inferensoppgaver til tung trening.
• KAITO pa AKS Arc forenkler LLM-deployment drastisk — fra GPU-klargjoring til modell-serving med OpenAI-kompatibelt API pa noen fa kubectl-kommandoer.
• For norsk offentlig sektor gir Azure Local data residency i Norge med full Azure-administrasjon fra Norway East-regionen — data forlater aldri lokale servere.
• Hybrid resilience med sky-fallback sikrer at AI-tjenester forblir tilgjengelige selv ved lokal kapasitetsmangel, med automatisk routing til Azure-endepunkter.