ktg-plugin-marketplace/plugins/ms-ai-architect/skills/ms-ai-infrastructure/references/hybrid-edge/azure-arc-ai-management.md

Azure Arc for AI Management

Last updated: 2026-02 Status: GA Category: Hybrid Cloud & Edge AI

---

Introduksjon

Azure Arc er Microsofts svar på utfordringen med å administrere AI-arbeidsbelastninger på tvers av hybride og multicloud-miljøer. For norsk offentlig sektor, der data kan befinne seg i egne datasentre, på Azure Local-klynger eller hos tredjeparts skyleverandorer, gir Arc en sentralisert kontrollflate som gjor det mulig å behandle alle Kubernetes-klynger som forsteklasses Azure-ressurser.

Med Azure Arc-enabled Kubernetes kan organisasjoner koble sammen klynger som kjorer lokalt, i Azure eller hos andre skyleverandorer, og administrere dem fra Azure Portal med ensartede policyer, overvaking og sikkerhetskontroller. Dette er spesielt verdifullt for AI-arbeidsbelastninger som krever GPU-akselerasjon, modellversjonering og sentralisert governance.

For offentlige virksomheter i Norge betyr dette at man kan overholde krav til datasuverenitet og plassering av data, samtidig som man drar nytte av Azures ML-plattform for trening og inferens pa tvers av distribuerte miljoer.

---

Arkitekturoversikt

Azure Arc for AI Management bygger pa tre lag:

┌─────────────────────────────────────────────────┐
│            Azure Control Plane                   │
│  ┌──────────┐ ┌──────────┐ ┌──────────────────┐ │
│  │  Azure   │ │  Azure   │ │   Azure Machine  │ │
│  │  Policy  │ │ Monitor  │ │    Learning      │ │
│  └────┬─────┘ └────┬─────┘ └───────┬──────────┘ │
│       │             │               │            │
│       └─────────────┼───────────────┘            │
│                     │ Azure Arc                  │
└─────────────────────┼───────────────────────────-┘
                      │
        ┌─────────────┼──────────────┐
        │             │              │
   ┌────▼───┐   ┌────▼───┐   ┌─────▼──────┐
   │ On-prem│   │ Azure  │   │ Multi-cloud│
   │ K8s    │   │  AKS   │   │ K8s        │
   │ Cluster│   │ Cluster│   │ Cluster    │
   └────────┘   └────────┘   └────────────┘

---

Arc-enabled Kubernetes for AI

Tilkobling av klynger

Azure Arc-enabled Kubernetes lar deg koble eksisterende Kubernetes-klynger til Azure for sentralisert administrasjon. Klynger kan kjore pa:

Plattform	Stotte	Beskrivelse
AKS i Azure	Innebygd	Fullt administrert Kubernetes i skyen
AKS pa Azure Local	GA	Kubernetes pa egne servere med Azure-integrasjon
Arc-enabled K8s (on-prem)	GA	Alle CNCF-sertifiserte klynger lokalt
Arc-enabled K8s (multicloud)	GA	AWS EKS, Google GKE, etc.
Edge-enheter	GA	Azure Stack Edge, IoT Edge-enheter

Tilkobling med Azure CLI

# Koble en on-premises klynge til Azure Arc
az connectedk8s connect \
  --name my-ai-cluster \
  --resource-group ai-rg \
  --location norwayeast

# Verifiser tilkobling
az connectedk8s show \
  --name my-ai-cluster \
  --resource-group ai-rg

Arc-agenter

Nar en klynge kobles til Arc, installeres flere agenter:

Agent	Funksjon
clusteridentityoperator	Administrerer managed identity for klyngen
clusterconnectoperator	Hndterer klynge-tilkobling
configoperator	Overvaker konfigurasjonsendringer
controlleroperator	Orkestrerer andre agenter
fluxoperator	GitOps-basert konfigurasjonsadministrasjon
extensionoperator	Installerer og administrerer klynge-extensions

---

Sentralisert ML-modellforvaltning

Azure Machine Learning Extension

Azure Machine Learning-extensionen er kjernen i AI-forvaltning pa Arc-enabled klynger. Den lar deg bruke Arc-klynger som compute targets for bade trening og inferens.

Installasjon:

# Installer ML-extension pa Arc-enabled klynge
az k8s-extension create \
  --name aml-extension \
  --extension-type Microsoft.AzureML.Kubernetes \
  --cluster-type connectedClusters \
  --cluster-name my-ai-cluster \
  --resource-group ai-rg \
  --scope cluster \
  --configuration-settings \
    enableTraining=True \
    enableInference=True \
    inferenceRouterServiceType=LoadBalancer \
    allowInsecureConnections=True

Koble til ML workspace:

# Attach klynge til Azure ML workspace
az ml compute attach \
  --resource-group ai-workspace-rg \
  --workspace-name ai-workspace \
  --type Kubernetes \
  --name arc-compute \
  --resource-id "/subscriptions/<sub>/resourceGroups/ai-rg/providers/Microsoft.Kubernetes/connectedClusters/my-ai-cluster" \
  --namespace ai-workloads

Bruksmonster for Kubernetes Compute

Monster	Data	Trening	Inferens	Bruksomrade
Sky-forst	Sky	Azure	Azure	Standard ML-pipeline
Hybrid trening	Lokalt	Lokalt	Sky	Datasuverenitiet, global tilgang
Hybrid inferens	Sky	Sky	Lokalt	Latens, compliance
Full lokal	Lokalt	Lokalt	Lokalt	Strengt regulert
Multi-sky	Distribuert	Begge	Begge	Elastisitet + kontroll

KAITO - Kubernetes AI Toolchain Operator

KAITO forenkler deployment av open-source LLM-er pa Arc-enabled Kubernetes:

# workspace-phi4.yaml - Deploy Phi-4-mini pa Arc-klynge
apiVersion: kaito.sh/v1alpha1
kind: Workspace
metadata:
  name: workspace-phi-4-mini
spec:
  resource:
    instanceType: Standard_NC4_A2
    labelSelector:
      matchLabels:
        apps: llm-inference
  inference:
    preset:
      name: phi-4-mini-instruct

Stottede GPU-modeller for KAITO pa Azure Local:

GPU	VM SKU	Stottede modeller
NVIDIA T4	Standard_NK6	Phi-3-mini-4k
NVIDIA A2	Standard_NC4, NC8	Phi-3-mini, Phi-3.5-mini
NVIDIA A16	Standard_NC16, NC32	Phi-4-mini, Mistral-7B, Qwen2.5

---

Policy og Compliance Enforcement

Azure Policy for Kubernetes

Azure Policy kan handheve governance-regler pa tvers av alle Arc-enabled klynger. For AI-arbeidsbelastninger er dette kritisk for a sikre:

• Konsistente sikkerhetsinnstillinger pa tvers av klynger
• Modell-deployment kun til godkjente noder
• Overholdelse av dataklassifisering og suverenitetskrav
• Standardiserte konfigurasjoner for GPU-ressurser

Installasjon av Policy-extension:

# Installer Azure Policy pa Arc-klynge
az k8s-extension create \
  --cluster-type connectedClusters \
  --cluster-name my-ai-cluster \
  --resource-group ai-rg \
  --extension-type Microsoft.PolicyInsights \
  --name azurepolicy

Innebygde policyer for AI-governance

Policy	Kategori	Effekt
Kubernetes-klynger bor ikke tillate privilegerte containere	Sikkerhet	Deny
Kubernetes-klynger bor bruke interne lastbalanserere	Nettverk	Deny
Kubernetes-klynger bor ha Azure Policy-addon	Compliance	Audit
Kubernetes-klynger bor kun bruke godkjente container images	Supply chain	Deny
Kubernetes-klynger bor ha resursgrenser	Ressurs	Audit

Tilpassede policyer for AI

{
  "if": {
    "allOf": [
      {
        "field": "type",
        "equals": "Microsoft.Kubernetes/connectedClusters"
      },
      {
        "field": "tags['ai-workload']",
        "exists": true
      }
    ]
  },
  "then": {
    "effect": "auditIfNotExists",
    "details": {
      "type": "Microsoft.KubernetesConfiguration/extensions",
      "existenceCondition": {
        "field": "Microsoft.KubernetesConfiguration/extensions/extensionType",
        "equals": "Microsoft.AzureML.Kubernetes"
      }
    }
  }
}

---

Multi-cluster AI Governance

Azure Kubernetes Fleet Manager

For organisasjoner med mange AI-klynger gir Fleet Manager sentralisert koordinering:

Funksjon	Beskrivelse
Cluster grouping	Grupper klynger etter formål (trening, inferens, edge)
Update orchestration	Koordinerte oppdateringer pa tvers av klynger
Configuration propagation	Distribuer GitOps-konfigurasjoner til mange klynger
Multi-cluster networking	Service discovery pa tvers av klynger

GitOps-basert AI-modell-distribusjon

Bruk Flux v2 for a distribuere AI-modeller og konfigurasjoner:

# Konfigurer GitOps med Flux v2 for modell-deployment
az k8s-configuration flux create \
  --name ai-model-config \
  --cluster-name my-ai-cluster \
  --resource-group ai-rg \
  --cluster-type connectedClusters \
  --namespace ai-models \
  --scope namespace \
  --url https://github.com/org/ai-model-configs \
  --branch main \
  --kustomization name=models path=./models prune=true

Overvaking med Azure Monitor

# Aktiver Container Insights pa Arc-klynge
az k8s-extension create \
  --name azuremonitor-containers \
  --cluster-name my-ai-cluster \
  --resource-group ai-rg \
  --cluster-type connectedClusters \
  --extension-type Microsoft.AzureMonitor.Containers

Viktige metrikker a overvake for AI-klynger:

Metrikk	Beskrivelse	Terskel
GPU-utnyttelse	Prosent GPU-bruk per node	>80% = skaler opp
GPU-minne	VRAM-forbruk	>90% = advarsel
Inferens-latens	P95 responstid	<500ms for real-time
Modell-versjon	Aktiv modellversjon	Match med registeret
Pod-restarts	Antall omstarter	>3 = undersok

---

Sikkerhetsarkitektur for Arc AI

Defense in Depth

┌────────────────────────────────────────┐
│  1. Azure RBAC                         │
│  ┌──────────────────────────────────┐  │
│  │  2. Kubernetes RBAC              │  │
│  │  ┌────────────────────────────┐  │  │
│  │  │  3. Network Policy         │  │  │
│  │  │  ┌──────────────────────┐  │  │  │
│  │  │  │  4. Pod Security     │  │  │  │
│  │  │  │  ┌────────────────┐  │  │  │  │
│  │  │  │  │  5. Container  │  │  │  │  │
│  │  │  │  │  Security      │  │  │  │  │
│  │  │  │  └────────────────┘  │  │  │  │
│  │  │  └──────────────────────┘  │  │  │
│  │  └────────────────────────────┘  │  │
│  └──────────────────────────────────┘  │
└────────────────────────────────────────┘

Microsoft Defender for Kubernetes

Defender gir trusselbeskyttelse for alle Arc-enabled klynger:

• Runtime-trusselbeskyttelse
• Sarbarhetsskanning av container images
• Sikkerhetskonfigurasjonskontroller
• Integrasjon med Microsoft Sentinel for SIEM

Hemmelighetshaandtering

# Installer Azure Key Vault Secrets Provider
az k8s-extension create \
  --cluster-type connectedClusters \
  --cluster-name my-ai-cluster \
  --resource-group ai-rg \
  --extension-type Microsoft.AzureKeyVaultSecretsProvider \
  --name akvsecretsprovider

---

Relevans for norsk offentlig sektor

Datasuverenitetshensyn

Krav	Arc-losning
Data ma forbli i Norge	On-prem klynge med Arc management
Sentralisert policy	Azure Policy handheves fra Norway East
Auditlog	Azure Monitor med lokal lagring
Kryptering	Key Vault med CMK i Norway East
Tilgangskontroll	Azure RBAC + Kubernetes RBAC

Anbefalte Azure-regioner

Region	Bruk	Data residency
Norway East	Primaer kontrollflate	Norge
Norway West	DR/backup	Norge
West Europe	Fallback, utvidede tjenester	EU/EFTA

NSM-krav og Arc

Nasjonal sikkerhetsmyndighet (NSM) sine grunnprinsipper for IKT-sikkerhet kan mappes mot Arc-kapabiliteter:

NSM-prinsipp	Arc-kontroll
Kartlegg enheter og programvare	Arc inventory og tagging
Ha kontroll pa nettverk og systemer	Azure Policy, Network Policy
Beskytt data	Kryptering, Key Vault
Overlapp/overvak	Azure Monitor, Defender
Styring og kontroll	RBAC, governance hierarki

---

Begrensninger og hensyn

Begrensning	Beskrivelse	Workaround
Outbound connectivity	Arc krever utgaende HTTPS	Proxy-stotte tilgjengelig
Extension-kompatibilitet	Ikke alle extensions stotter alle distribusjoner	Sjekk kompatibilitetsmatrise
GPU-stotte	KAITO pa Arc kun for Azure Local (preview)	Bruk Azure ML extension for andre
Skalering	Ingen auto-scaling for Kubernetes compute i ML	Manuell skalering
Modellkatalog	Model Catalog ikke stottet pa Kubernetes endpoints	Bruk custom modeller

---

For Cosmo

• Azure Arc er brokken mellom lokale AI-klynger og Azures skybaserte administrasjon — alle Kubernetes-klynger blir forsteklasses Azure-ressurser med policy, overvaking og ML-integrasjon.
• KAITO (Kubernetes AI Toolchain Operator) forenkler LLM-deployment pa Arc-enabled klynger, spesielt pa Azure Local med GPU-stotte for Phi-4, Mistral og Qwen-modeller.
• Azure Policy for Kubernetes handhever governance pa tvers av alle klynger — fra on-prem til multicloud — med innebygde og tilpassede policyer for AI-arbeidsbelastninger.
• For norsk offentlig sektor er Arc losningen for "data forblir lokalt, styring fra skyen" — kontrollflaten i Norway East, data pa egne servere, med full auditlog og kryptering.
• Multi-cluster governance med Fleet Manager og GitOps gir skalerbar, deklarativ modell- og konfigurasjonsstyring for distribuerte AI-miljoer.