ms-ai-architect/skills/ms-ai-engineering/references/agent-orchestration/computer-using-agents-cua.md

Computer-Using Agents (CUA)

Last updated: 2026-04 | Verified: MCP 2026-04 Status: Preview (sep 2025 — Foundry Agent Service; mai 2025 — Copilot Studio) Category: Agent Orchestration & Automation

---

Introduksjon

Computer-Using Agents (CUA) er en ny klasse AI-agenter som automatiserer oppgaver ved å se på skjermbilder og betjene mus og tastatur — akkurat som et menneske. I motsetning til tradisjonell automatisering, der agenten kaller API-er eller bruker forhåndsskrevne skript, kan CUA operere på ethvert system med et grafisk grensesnitt (GUI), inkludert legacysystemer uten API-støtte.

Microsoft tilbyr CUA gjennom to primære plattformer:

• Azure AI Foundry Agent Service — computer-use-preview-modellen via Azure OpenAI (preview sep 2025)
• Copilot Studio — Computer Use som verktøy i agenter (public preview mai 2025, GA mai 2026)

Den kritiske verdien: Dersom et menneske kan bruke et program, kan CUA gjøre det samme — uten kodeendringer i målsystemet.

---

Hva er CUA?

CUA kombinerer tre kapabiliteter:

Kapabilitet	Beskrivelse
Computer Vision	Tolker råpikseldata fra skjermbilder — forstår layout, tekst, knapper, ikoner
Resonnering	Bestemmer neste handling basert på nåværende skjermtilstand og mål
Kontrollgenerering	Genererer museaksjon (klikk, dra, scroll) og tastaturbevegelser

Modellen som driver CUA er computer-use-preview — en spesialisert visjonsmodell optimert for GUI-interaksjon. I Copilot Studio støttes også Anthropic Claude Sonnet 4.5 som alternativ modell (preview, regionutrulling pågår).

---

Hvordan det fungerer

Aksjonssløyfen

1. Bruker beskriver oppgave (naturlig språk)
        ↓
2. Agent sender skjermbilde + mål til CUA-modell
        ↓
3. Modell returnerer handling (klikk, skriv, naviger)
        ↓
4. Applikasjonskode utfører handlingen på maskinen
        ↓
5. Nytt skjermbilde captures og sendes tilbake
        ↓
6. Gjenta til oppgaven er fullført eller agenten stopper

Støttede handlingstyper

• screenshot — Hent oppdatert skjermtilstand
• click — Museklikk med X/Y-koordinater
• double_click — Dobbeltklikk
• type — Tekst-input via tastatur
• key — Spesialtaster (Enter, Tab, Escape, piltaster)
• scroll — Rulle i et UI-element
• drag — Dra-og-slipp operasjoner
• navigate — Nettleserstyring (URL-navigasjon)

Eksempel: Foundry Agent Service (Python)

from azure.ai.projects import AIProjectClient
from azure.ai.agents.models import ComputerUseTool
from azure.identity import DefaultAzureCredential

project_client = AIProjectClient(
    endpoint=os.environ["PROJECT_ENDPOINT"],
    credential=DefaultAzureCredential()
)

# Initialiser CUA-verktøy med nettleserstørrelse
computer_use = ComputerUseTool(
    display_width=1026,
    display_height=768,
    environment="browser"  # eller "windows" for desktop
)

# Agenten bruker CUA som verktøy
agent = project_client.agents.create_agent(
    model="computer-use-preview",
    name="CUA Agent",
    instructions="Du er en agent som automatiserer oppgaver via brukergrensesnitt.",
    tools=computer_use.definitions
)

Håndtering av sikkerhetssjekker (Foundry)

# Når pending_safety_checks returneres, kreves brukerbekreftelse
if "pending_safety_checks" in response:
    # Pause og varsle bruker
    user_approval = await request_human_approval(response["pending_safety_checks"])
    if user_approval:
        # Send tilbake som acknowledged_safety_checks
        next_request["acknowledged_safety_checks"] = response["pending_safety_checks"]

---

Copilot Studio-integrasjon

Copilot Studio tilbyr CUA som et lavkode Computer Use Tool — ingen koding nødvendig.

Krav (preview): Tilgjengelig kun for miljøer der regionen er satt til United States. Generativ orkestrering (generative orchestrator) må aktiveres på agenten. (Verified MCP 2026-04)

Oppsett

1. Gå til Tools i agenten → Add tool → New tool → Computer use
2. Velg modell: OpenAI Computer-Using Agent eller Anthropic Claude Sonnet 4.5 (preview, pågående regionutrulling — krever at administrator har aktivert external models)
3. Skriv instruksjoner på naturlig norsk/engelsk (se "Best practices for instructions" under)
4. Konfigurer Machine (hvor CUA kjøres):
   • Velg målmaskin fra listen, eller opprett ny via Power Automate Portal
   • Hosted browser: rask start, kun web — ikke anbefalt for produksjon
   • Dedikert Windows-maskin: gir full desktop-tilgang, anbefalt for produksjon

Merk: Tilgangskontroll (access control) hindrer kun at modellen utfører handlinger på ikke-autoriserte nettsider/apper — ikke at de åpnes. Eksempel: Bing kan åpnes fra Edge-søkebaren selv om kun microsoft.com er på allowlisten, men interaksjon med Bing vil feile.

Credentials og tilgangskontroll

Konfigurasjon	Beskrivelse
Maker-provided credentials	Agenten bruker makerens innloggingsinfo (for autonome agenter)
End user credentials	Brukeren logger inn selv (for konversasjonelle agenter)
Intern Power Platform-lagring	Kryptert intern lagring — ingen forhåndskonfigurasjon nødvendig. Oppgi URL/app-navn + brukernavn + passord; wildcard (*) støttes for subdomener (f.eks. *.contoso.com). (Verified MCP 2026-04)
Azure Key Vault	Passord lagres i Key Vault — anbefalt for produksjonsmiljøer. Krever PowerPlatform resource provider registrert i Azure-abonnementet. (Verified MCP 2026-04)
Access control	Begrens hvilke nettsider/applikasjoner CUA kan operere på. Wildcards støttes (*.contoso.com). Desktop apps angis ved produkt-/prosessnavn (f.eks. "Microsoft Edge" eller "msedge"). (Verified MCP 2026-04)

Lisensiering (Copilot Studio, preview)

Faktureres som Agent action: 5 Copilot Credits per steg (hvert steg kan inneholde én eller flere lavnivå-handlinger som klikk, skriving eller navigering).

Eksempel — utfylling av timeregistreringsskjema (4 steg = 20 Copilot Credits):

1. Åpne nettleser og naviger til URL
2. Klikk "Opprett ny"
3. Fyll inn felter
4. Klikk "Send inn"

GA (mai 2026) — endelig prismodell ikke kunngjort.

Human Supervision

Copilot Studio har innebygd Human Supervision: CUA-agenten kan eskalere til en utpekt person (via Outlook) dersom den oppdager potensielt skadelige instruksjoner. Godkjenner har en definert tidsfrist — løper den ut, stopper agenten.

---

Azure AI Foundry Agent Service

Foundry Agent Service gir CUA via computer-use-preview-modellen:

Tilgang og regioner

• Tilgang krever registrering: https://aka.ms/oai/cuaaccess
• Tilgjengelige regioner: eastus2, swedencentral, southindia
• swedencentral — relevant for norske offentlig sektor-kunder

Innebygde sikkerhetssjekker

Foundry-modellen returnerer pending_safety_checks ved:

Sjekktype	Trigger	Handling
malicious_instructions	Skjermbilde inneholder adversarial innhold	Bruker må bekrefte
irrelevant_domain	Nettstedet er ikke relevant for oppgaven	Bruker må bekrefte
sensitive_domain	Finansielle, helsemessige eller andre sensitive sider	"Watch mode" — aktiv brukermonitorering

---

Browser Automation (Playwright) — relatert kapabilitet

Som et alternativ til full CUA finnes Browser Automation Tool i Foundry Agent Service (public preview august 2025):

CUA vs Browser Automation

Egenskap	Browser Automation	Computer Use Tool
Modellstøtte	Alle GPT-modeller	Kun computer-use-preview
Visuell visning	Nei	Ja (skjermbilder)
Skjermforståelse	Parserer HTML/XML til DOM	Råpikseldata fra skjermbilder
Handlingsmetode	Actionliste fra modellen	Virtuell mus og tastatur
Grensesnitt	Kun nettleser	Nettleser + desktop
Eget ressurskrav	Ja — Microsoft Playwright Workspace	Nei (men sandkasse anbefales)
Multi-steg	Ja	Ja

Browser Automation egner seg best for web-fokuserte oppgaver der du vil bruke eksisterende GPT-modeller og kontrollere kostnaden. Computer Use er nødvendig for desktop-applikasjoner eller når du trenger fullstendig visuell tilbakemelding.

Browser Automation — oppsett (Foundry)

from azure.ai.agents.models import BrowserAutomationTool

browser_tool = BrowserAutomationTool(
    connection_id=os.environ["AZURE_PLAYWRIGHT_CONNECTION_NAME"]
)
# Krever: azure-ai-agents >= 1.2.0b2

---

Bruksområder

Primære use cases

Scenario	Beskrivelse	Plattform
Legacysystem-integrasjon	Automatiser oppgaver i systemer uten API (eldre fagsystemer, mainframe-terminaler)	CUA (desktop)
Skjemautfylling	Overfør data mellom systemer via GUI (fakturaregistrering, saksbehandling)	Copilot Studio CUA
Datautvinning	Trekk ut strukturert data fra nettsider eller applikasjoner som PDF-visere	CUA + Browser Automation
Regresjonstesting	Automatisert UI-testing av webapplikasjoner	Browser Automation
Cross-app arbeidsflyt	Orkestrering på tvers av CRM, ERP, og webportaler uten integrasjonsprosjekt	CUA (desktop)
Rapportgenerering	Generer og eksporter rapporter fra dashbord og BI-verktøy	CUA / Browser Automation

Copilot Studio eksempelinstruksjoner

Fakturaregistrering:
1. Gå til https://fakturasystem.intern/innboks og åpne siste PDF-faktura.
2. I ny fane, åpne https://erp.intern/registrer-faktura.
3. Fyll inn leverandør, beløp, fakturanummer og forfallsdato fra PDF.
4. Klikk "Lagre og send til godkjenning". Ikke spør om bekreftelse.

---

Begrensninger

Funksjonelle begrensninger

Begrensning	Detalj
Variabel suksessrate	Web-oppgaver ~80%, desktop-applikasjoner ~35%
Inkonsistens	Samme oppgave kan gi ulikt resultat avhengig av visuell tilstand og timing
UI-kontroller	Vanskeligheter med ikke-standardiserte elementer: datepickers, custom dropdowns, Citrix
Løkketilstander	Agenten kan henge i løkker når skjerm ikke matcher forventninger
Komplekse oppgaver	Ytelse faller ved komplekse grafiske grensesnitt og flertrinns tekstmanipulasjon
Multi-skjerm	Ikke støttet
Hosted machine groups	Ikke støttet
Noen applikasjonstyper	Electron, Java Swing, Unity, spill, CLI, Citrix — begrenset støtte

Hastighet

CUA er vesentlig tregere enn API-kall:

• Hvert steg tar 2-10 sekunder (modellresonnering + skjermbildeanalyse)
• En fullstendig arbeidsflyt med 10 steg tar typisk 30-120 sekunder
• Ikke egnet for sanntidsscenarier eller høy-volum-automatisering (mange hundre kjøringer/time)

Ikke egnet for

• Finansielle transaksjoner (for høy risiko)
• Helserelaterte beslutninger
• Ansettelse/scoring-systemer
• Deling av data utenfor organisasjonen uten autorisasjon

---

Sikkerhetsmodell

Grunnleggende prinsipper

Viktig: CUA representer en av de høyeste risikoklassene i AI — den kan utføre vilkårlige handlinger på vegne av brukeren. Sikkerhetsarkitektur er kritisk.

Tiltak	Anbefaling
Sandkassemiljø	Dedikerte VM-er uten tilgang til sensitiv data eller kritiske systemer
Least privilege	Brukerkontoen CUA opererer som skal ha minimale tillatelser
Allowlist	Begrens tilgang til forhåndsgodkjente nettsider og applikasjoner
Overvåking	Loggfør alle CUA-sesjoner med skjermbilder og handlingslogg
Human-in-the-loop	For sensitive operasjoner: krev menneskelig godkjenning

Prompt injection-risiko

CUA er spesielt sårbar for prompt injection: skadelige instruksjoner kan være innebygd i nettsider, PDF-er, eller skjermbilder som agenten tolker. Motiltak:

1. Kjør CUA i isolert nettverkssone
2. Bruk access control (allowlist) i Copilot Studio
3. Aktiver malicious instruction detection (Foundry)
4. Aldri gi CUA tilgang til credentials med administrative privilegier
5. Revurder og logg alle handlinger

Credential management

Copilot Studio — preferert rekkefølge:
1. Azure Key Vault (produksjon, enterprise)
2. Power Platform intern lagring (kryptert, enklere oppsett)
3. Aldri hardkodede passord i instruksjoner

---

CUA vs RPA — Sammenligning

Dimensjon	RPA (Power Automate Desktop / UiPath)	CUA (Microsoft)
Automatiseringstype	Regelbasert, deterministisk	LLM-drevet, adaptiv
Interaksjonsmetode	UI-tre (selector-basert)	Visuell tolkning (pikseldata)
Forfattermetode	Skript, opptaksverktøy, kodeblokker	Naturlige språkinstruksjoner
Beslutningstaking	Forhåndsdefinerte regler	Autonome, visuelle beslutninger
Fleksibilitet	Lav — brytes ved UI-endringer	Høy — tilpasser seg endringer
Feilhåndtering	Statisk exception handling	Selvkorrigerende basert på visuell feedback
Hastighet	Høy (ms per steg)	Lav (sekunder per steg)
Kompetansekrav	RPA-utvikler med scripting-erfaring	Domeneekspert med naturlig språk
Modenhet	GA — produksjonsklar	Preview — ikke produksjonsklar (2026)

Når velge RPA

• Kun GA-funksjoner tillatt (produksjon nå)
• Stabilt brukergrensesnitt — felter og selectorer endres sjelden
• Klare regler — beslutninger kan kodes som if/else
• Høyt volum — hastighet er kritisk
• Eksisterende RPA-team og kompetanse

Når velge CUA

• Brukergrensesnitt varierer mye eller endres hyppig
• Rask prototyping — RPA-teamets backlog er full
• Oppgaven avhenger av visuell informasjon (grafer, farger, dynamiske layout)
• Beslutningene er "fuzzy" — agenten må resonnere og selvkorrigere
• Ingen API tilgjengelig og RPA-selectors er ustabile

---

Status og tilgjengelighet

Plattform	Status	Tilgjengelig
Azure AI Foundry Agent Service	Public Preview	Sep 2025
Azure OpenAI (direkte)	Public Preview	Sep 2025
Copilot Studio	Public Preview	Mai 2025 (US-regioner)
Copilot Studio GA	Planlagt	Mai 2026

Tilgang til computer-use-preview-modellen krever registrering: https://aka.ms/oai/cuaaccess

---

Norsk offentlig sektor — Relevans

Modernisering av legacysystemer uten API-utvikling

Norsk offentlig sektor opererer med et stort antall legacysystemer (fagsystemer fra 1990-2000-tallet) som mangler moderne API-lag. CUA åpner for:

• Integrasjon uten systemutvikling — Koble fagsystemer som ellers ville krevd et integrasjonsprosjekt
• Raskere digitalisering — Demper behov for parallell drift av manuelle prosesser
• Lavere inngangsbarriere — Domeneeksperter kan beskrive oppgaver uten teknisk bistand

Aktuelle use cases i offentlig sektor

Scenario	System	Verdi
Automatisk saksinntasting	Sak/arkiv-systemer (Elements, Public 360)	Reduserer manuell dobbeltregistrering
Dataflytt fra etatssystemer	ARENA, Infoeasy, Visma Flyt	Unngå datamigreringsprosjekt
Rapporteksport og distribusjon	KOSTRA, BI-portaler	Automatiser periodiske rapporter
Testautomatisering av GUI	Offentlige selvbetjeningsportaler	Øk testdekning uten API-testhook

GDPR og personvern

Kritiske krav dersom CUA behandler personopplysninger:

Krav	Implementasjon
Dataminimering	CUA skal kun "se" nødvendig data — bruk access control aktivt
Sporbarhet	Loggfør alle CUA-sesjoner med handlingslogg og skjermbilder (GDPR art. 5)
Datalagring	Skjermbilder sendt til modellen — velg swedencentral for EU-residens
Behandlingsgrunnlag	DPIA nødvendig dersom CUA behandler sensitive personopplysninger
Tilgangskontroll	Maskin-credentials skal ikke ha bredere tilgang enn nødvendig

Datalagring — Viktig for offentlig sektor

• Copilot Studio CUA: Kjøres i US-regioner (preview) — ikke egnet for sensitiv persondata ennå
• Foundry Agent Service: swedencentral tilgjengelig — egnet for EU-data
• Skjermbilder sendt til CUA-modellen er transiente — ikke persistert av Microsoft

AI Act-implikasjoner

CUA-systemer som bidrar til saksbehandling kan klassifiseres som høyrisiko-AI under AI Act Annex III (offentlig administrasjon). Krav:

• Human oversight ved autonome vedtaksbidrag
• Full loggføring av agentens handlinger
• DPIA/PVK gjennomføres før produksjonssetting

---

For Cosmo: Beslutningsveiledning

Når anbefale CUA

Grønt lys (CUA er riktig valg):

• "Vi har et legacysystem som mangler API, og vi trenger integrasjon raskt"
• "Vi vil protype en arbeidsflyt — vi har ikke tid til et RPA-prosjekt"
• "Systemets grensesnitt endres jevnlig og bryter RPA-selectors"
• "Oppgaven krever visuell tolkning — grafer, farger, dynamisk innhold"

Rødt flagg (velg noe annet):

• "Vi trenger dette i produksjon innen 3 måneder" → CUA er Preview, bruk RPA
• "Vi trenger å prosessere 500 skjemaer per time" → CUA er for tregt, bruk API/RPA
• "Systemet håndterer helseopplysninger og vi trenger full GDPR-compliance nå" → For tidlig
• "Vi trenger deterministisk oppførsel — samme input, samme output alltid" → Bruk RPA

Beslutningstre

Finnes det en API eller strukturert connector?
├─ Ja → Bruk API-integrasjon (Logic Apps, Power Automate cloud flows)
└─ Nei → Er brukergrensesnittet stabilt?
    ├─ Stabilt → Vurder RPA (Power Automate Desktop)
    └─ Ustabilt/ukjent → Er det kun nettleser?
        ├─ Ja → Browser Automation Tool (enklere, billigere)
        └─ Nei (desktop/mixed) → CUA
            └─ Produksjonsklar nå?
                ├─ Ja → Vent på GA (mai 2026) eller bruk RPA midlertidig
                └─ Nei (POC/pilot) → CUA er riktig

Spørsmål å stille kunden

1. Hvor mange kjøringer per dag?

   • <50: CUA (preview tolerabel)
   • 50-500: Hybridstrategi (CUA + manuell fallback)

   • 500: Trenger RPA eller API

2. Hva er konsekvensen av feil?

   • Lav: CUA akseptabelt
   • Høy (penger, vedtak, helse): Krev human-in-the-loop eller bruk RPA

3. Er systemet kun web eller også desktop?

   • Kun web: Browser Automation (enklere)
   • Desktop: Computer Use Tool

4. Hvilken Microsoft-lisens har de?

   • Copilot Studio-lisens: Bruk Copilot Studio CUA
   • Azure: Bruk Foundry Agent Service

5. Er produksjonsdato etter mai 2026?

   • Ja: CUA kan planlegges
   • Nei: Bruk RPA som primærstrategi, CUA som proof of concept

Hybridarkitektur (anbefalt for offentlig sektor, 2026)

Power Automate Cloud Flow (orkestrator)
    ├─ Strukturerte data → API-kall (Logic Apps, Dataverse)
    ├─ Webbaserte systemer → Browser Automation Tool
    └─ Legacydesktop → CUA (Computer Use Tool)
              ↓
         Azure Key Vault (credentials)
              ↓
         Dedikert Windows VM (sandkasse)
              ↓
         Azure Monitor (audit log + skjermbilder)

---

Kostnadsestimat

Copilot Studio (preview)

Arbeidsflyt	Steg per kjøring	Copilot Credits	NOK per kjøring*
Enkel skjemautfylling (4 steg)	4	20	~1,50 NOK
Fakturaprosessering (8 steg)	8	40	~3,00 NOK
Kompleks kryssystem-arbeidsflyt (20 steg)	20	100	~7,50 NOK

*Estimat basert på Copilot Credits à 0,075 NOK (veiledende).

Azure AI Foundry Agent Service

Kostnader basert på:

• computer-use-preview-modell: Token-forbruk (input = skjermbilder er store)
• Azure VM (sandkasse): Standard B2s (~700 NOK/mnd)
• Azure Monitor (logging): ~50-200 NOK/mnd avhengig av volum

---

Kilder og verifisering

Microsoft Learn (Verified)

1. Foundry Agent Service Computer Use Tool

   • https://learn.microsoft.com/azure/ai-foundry/agents/how-to/tools/computer-use
   • Confidence: Verified (offisiell Foundry-dokumentasjon, sep 2025)

2. Automate web and desktop apps with computer use — Copilot Studio

   • https://learn.microsoft.com/microsoft-copilot-studio/computer-use
   • Confidence: Verified (offisiell Copilot Studio preview-dokumentasjon, oppdatert 2026-04: støttede modeller, credentials intern/Key Vault-detaljer, access control wildcard/desktop, US-only region-krav, generativ orkestrering påkrevd)

3. Configure where computer use runs

   • https://learn.microsoft.com/microsoft-copilot-studio/configure-where-computer-use-runs
   • Confidence: Verified (Copilot Studio docs, 2025)

4. Browser Automation (preview) — Foundry Agent Service

   • https://learn.microsoft.com/azure/ai-foundry/agents/how-to/tools/browser-automation
   • Confidence: Verified (aug 2025, public preview)

5. CUA vs RPA — Use agent tools to extend agents

   • https://learn.microsoft.com/microsoft-copilot-studio/guidance/agent-tools
   • Confidence: Verified (Copilot Studio guidance)

6. FAQ for the computer use tool

   • https://learn.microsoft.com/microsoft-copilot-studio/faqs-computer-use
   • Confidence: Verified (offisiell FAQ, inkl. 80%/35% suksessrater, human supervision-detaljer, oppdatert 2026-04)

7. Computer Use Release Plan (2025 Wave 1)

   • https://learn.microsoft.com/power-platform/release-plan/2025wave1/microsoft-copilot-studio/automate-web-desktop-apps-computer-use
   • Confidence: Verified (GA mai 2026 bekreftet)

8. Announcing Computer Use tool (Preview) in Azure AI Foundry Agent Service

   • https://devblogs.microsoft.com/foundry/announcing-computer-use-tool-preview-in-azure-ai-foundry-agent-service/
   • Confidence: Verified (Microsoft Dev Blog, sep 2025)

Confidence per seksjon

Seksjon	Confidence	Kilde
CUA-konsept og aksjonssløyfe	Verified	MS Learn
Copilot Studio-integrasjon	Verified	MS Learn
Foundry Agent Service	Verified	MS Learn + Dev Blog
Browser Automation vs CUA	Verified	MS Learn (tabelldata)
Begrensninger (suksessrater)	Verified	Offisiell FAQ
Sikkerhetsmodell	Verified	MS Learn transparency note
RPA vs CUA sammenligning	Verified	Copilot Studio guidance
Norsk offentlig sektor	Baseline	LLM-kunnskap + GDPR/AI Act
Kostnadsestimat (NOK)	Estimert	Basert på Copilot Credits-modell

Total sources cited: 8 unike URLs fra MCP-research