ms-ai-architect/skills/ms-ai-engineering/references/agent-orchestration/computer-using-agents-cua.md
Kjell Tore Guttormsen ddce43d8b2 feat(ms-ai-architect): Spor 1 — Port-1-substrat migrert på 4 ikke-advisor-skills (243 Source + 327 Type + 325 TOC + stale-verified poison fjernet) [skip-docs]
Steg 9 (R4): unified migrate-corpus.mjs --write over engineering/governance/
infrastructure/security. 327 filer mutert, verified=null, prosa byte-identisk
(fra første ## seksjon), advisor urørt (0 endringer).

To applier-fixes oppdaget under kjøring (TDD, RED→GREEN):
- insertHeaderFields: anker faller nå tilbake når en meta-linje selv passerer
  500B (2 filer pakket et avsnitt i **Status:** → Type/Source landet utenfor
  scan-vinduet, applierens post-write-assertion fanget + restaurerte).
- normalizeStaleVerified: fjerner nå ALLE stale non-date **Verified:** i
  500B-vinduet, inkl. stray body-dup rett under --- (9 mlops-genaiops-filer var
  ellers falskt "verified"/fresh, droppet fra worklist). Operatør-godkjent
  utvidelse av carve-out; kun stray metadata-linjer, aldri prosa.

test-transform-criterion: precondition oppdatert til post-migrasjons-sannhet
(fila bærer nå Source). Suite 728/728 grønn.
2026-07-04 10:19:11 +02:00

548 lines
25 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Computer-Using Agents (CUA)
**Last updated:** 2026-06-19 | Verified: MCP 2026-06-19
**Status:** Copilot Studio — GA (2026-05-07); Foundry Agent Service — Preview (sep 2025)
**Category:** Agent Orchestration & Automation
**Type:** reference
**Source:** https://learn.microsoft.com/microsoft-copilot-studio/guidance/agent-tools
---
## Innhold
- [Introduksjon](#introduksjon)
- [Hva er CUA?](#hva-er-cua)
- [Hvordan det fungerer](#hvordan-det-fungerer)
- [Copilot Studio-integrasjon](#copilot-studio-integrasjon)
- [Foundry Agent Service](#foundry-agent-service)
- [Browser Automation (Playwright) — relatert kapabilitet](#browser-automation-playwright--relatert-kapabilitet)
- [Bruksområder](#bruksområder)
- [Begrensninger](#begrensninger)
- [Sikkerhetsmodell](#sikkerhetsmodell)
- [CUA vs RPA — Sammenligning](#cua-vs-rpa--sammenligning)
- [Status og tilgjengelighet](#status-og-tilgjengelighet)
- [Norsk offentlig sektor — Relevans](#norsk-offentlig-sektor--relevans)
- [For Cosmo: Beslutningsveiledning](#for-cosmo-beslutningsveiledning)
- [Kostnadsestimat](#kostnadsestimat)
- [Kilder og verifisering](#kilder-og-verifisering)
## Introduksjon
Computer-Using Agents (CUA) er en ny klasse AI-agenter som automatiserer oppgaver ved å **se på skjermbilder og betjene mus og tastatur** — akkurat som et menneske. I motsetning til tradisjonell automatisering, der agenten kaller API-er eller bruker forhåndsskrevne skript, kan CUA operere på *ethvert* system med et grafisk grensesnitt (GUI), inkludert legacysystemer uten API-støtte.
Microsoft tilbyr CUA gjennom to primære plattformer:
- **Foundry Agent Service** — `computer-use-preview`-modellen via Azure OpenAI (preview sep 2025)
- **Copilot Studio** — Computer Use som verktøy i agenter (public preview 2025-05-27, GA 2026-05-07)
Den kritiske verdien: **Dersom et menneske kan bruke et program, kan CUA gjøre det samme** — uten kodeendringer i målsystemet.
---
## Hva er CUA?
CUA kombinerer tre kapabiliteter:
| Kapabilitet | Beskrivelse |
|-------------|-------------|
| **Computer Vision** | Tolker råpikseldata fra skjermbilder — forstår layout, tekst, knapper, ikoner |
| **Resonnering** | Bestemmer neste handling basert på nåværende skjermtilstand og mål |
| **Kontrollgenerering** | Genererer museaksjon (klikk, dra, scroll) og tastaturbevegelser |
Modellen som driver CUA er `computer-use-preview` — en spesialisert visjonsmodell optimert for GUI-interaksjon. I Copilot Studio (GA) kan du velge mellom flere modeller: **OpenAI Computer-Using Agent (CUA)** (GA, standard), **Anthropic Claude Sonnet 4.5** (GA, standard), **Anthropic Claude Sonnet 4.6** (Experimental, standard) og **Anthropic Claude Opus 4.6** (Experimental, premium). *(Verified MCP 2026-06-19)*
---
## Hvordan det fungerer
### Aksjonssløyfen
```
1. Bruker beskriver oppgave (naturlig språk)
2. Agent sender skjermbilde + mål til CUA-modell
3. Modell returnerer handling (klikk, skriv, naviger)
4. Applikasjonskode utfører handlingen på maskinen
5. Nytt skjermbilde captures og sendes tilbake
6. Gjenta til oppgaven er fullført eller agenten stopper
```
### Støttede handlingstyper
- `screenshot` — Hent oppdatert skjermtilstand
- `click` — Museklikk med X/Y-koordinater
- `double_click` — Dobbeltklikk
- `type` — Tekst-input via tastatur
- `key` — Spesialtaster (Enter, Tab, Escape, piltaster)
- `scroll` — Rulle i et UI-element
- `drag` — Dra-og-slipp operasjoner
- `navigate` — Nettleserstyring (URL-navigasjon)
### Eksempel: Foundry Agent Service (Python)
```python
from azure.ai.projects import AIProjectClient
from azure.ai.agents.models import ComputerUseTool
from azure.identity import DefaultAzureCredential
project_client = AIProjectClient(
endpoint=os.environ["PROJECT_ENDPOINT"],
credential=DefaultAzureCredential()
)
# Initialiser CUA-verktøy med nettleserstørrelse
computer_use = ComputerUseTool(
display_width=1026,
display_height=768,
environment="browser" # eller "windows" for desktop
)
# Agenten bruker CUA som verktøy
agent = project_client.agents.create_agent(
model="computer-use-preview",
name="CUA Agent",
instructions="Du er en agent som automatiserer oppgaver via brukergrensesnitt.",
tools=computer_use.definitions
)
```
### Håndtering av sikkerhetssjekker (Foundry)
```python
# Når pending_safety_checks returneres, kreves brukerbekreftelse
if "pending_safety_checks" in response:
# Pause og varsle bruker
user_approval = await request_human_approval(response["pending_safety_checks"])
if user_approval:
# Send tilbake som acknowledged_safety_checks
next_request["acknowledged_safety_checks"] = response["pending_safety_checks"]
```
---
## Copilot Studio-integrasjon
Copilot Studio tilbyr CUA som et lavkode **Computer Use Tool** — ingen koding nødvendig.
**Krav:** Generativ orkestrering (generative orchestration) må være aktivert på agenten. For å bruke Anthropic-modellene må administrator ha aktivert tilgang til eksterne modeller (external models) for miljøet. *(Verified MCP 2026-06-19 — det tidligere preview-kravet om United States-region er ikke lenger oppført i GA-dokumentasjonen)*
### Oppsett
1. Gå til **Tools** i agenten → **Add tool****New tool****Computer use**
2. Velg modell: **OpenAI Computer-Using Agent** (GA), **Anthropic Claude Sonnet 4.5** (GA), **Claude Sonnet 4.6** (Experimental) eller **Claude Opus 4.6** (Experimental, premium) — Anthropic-modeller krever at administrator har aktivert external models
3. Skriv instruksjoner på naturlig norsk/engelsk (se "Best practices for instructions" under)
4. Konfigurer **Machine** (hvor CUA kjøres):
- **Hosted browser (preview)** (drevet av Windows 365 for Agents): rask start uten maskinoppsett, kun web — ikke anbefalt for produksjon
- **Cloud PC pool (preview)** (drevet av Windows 365 for Agents): skalerbar, Entra-joined og Intune-enrollert compute — full governance, ingen egen maskin nødvendig
- **Bring-your-own-machine**: egen Windows-maskin registrert og styrt i Power Automate; gir full desktop-tilgang. *(Verified MCP 2026-06-19)*
**Merk:** Tilgangskontroll (access control) hindrer kun at modellen *utfører handlinger* på ikke-autoriserte nettsider/apper — ikke at de åpnes. Eksempel: Bing kan åpnes fra Edge-søkebaren selv om kun microsoft.com er på allowlisten, men interaksjon med Bing vil feile.
### Credentials og tilgangskontroll
| Konfigurasjon | Beskrivelse |
|---------------|-------------|
| **Maker-provided credentials** | Agenten bruker makerens innloggingsinfo (for autonome agenter) |
| **End user credentials** | Brukeren logger inn selv (for konversasjonelle agenter) |
| **Intern Power Platform-lagring** | Kryptert intern lagring — ingen forhåndskonfigurasjon nødvendig. Oppgi URL/app-navn + brukernavn + passord; wildcard (*) støttes for subdomener (f.eks. *.contoso.com). *(Verified MCP 2026-04)* |
| **Azure Key Vault** | Passord lagres i Key Vault — anbefalt for produksjonsmiljøer. Krever PowerPlatform resource provider registrert i Azure-abonnementet. *(Verified MCP 2026-04)* |
| **Access control** | Begrens hvilke nettsider/applikasjoner CUA kan operere på. Wildcards støttes (*.contoso.com). Desktop apps angis ved produkt-/prosessnavn (f.eks. "Microsoft Edge" eller "msedge"). *(Verified MCP 2026-04)* |
### Lisensiering (Copilot Studio, GA)
Faktureres som Agent action: **5 Copilot Credits per steg** for standardmodeller (OpenAI CUA, Claude Sonnet 4.5/4.6), og **15 Copilot Credits per steg** for premiummodell (Claude Opus 4.6). Hvert steg kan inneholde én eller flere lavnivå-handlinger som klikk, skriving eller navigering. *(Verified MCP 2026-06-19)*
Eksempel — utfylling av timeregistreringsskjema (4 steg): **20 Copilot Credits** med standardmodell, **60 Copilot Credits** med premiummodell:
1. Åpne nettleser og naviger til URL
2. Klikk "Opprett ny"
3. Fyll inn felter
4. Klikk "Send inn"
### Human Supervision
Copilot Studio har innebygd **Human Supervision**: CUA-agenten kan eskalere til en utpekt person (via Outlook) dersom den oppdager potensielt skadelige instruksjoner. Godkjenner har en definert tidsfrist — løper den ut, stopper agenten.
---
## Foundry Agent Service
Foundry Agent Service gir CUA via `computer-use-preview`-modellen:
### Tilgang og regioner
- Tilgang krever registrering: [https://aka.ms/oai/cuaaccess](https://aka.ms/oai/cuaaccess)
- Tilgjengelige regioner: `eastus2`, `swedencentral`, `southindia`
- `swedencentral` — relevant for norske offentlig sektor-kunder
### Innebygde sikkerhetssjekker
Foundry-modellen returnerer `pending_safety_checks` ved:
| Sjekktype | Trigger | Handling |
|-----------|---------|----------|
| `malicious_instructions` | Skjermbilde inneholder adversarial innhold | Bruker må bekrefte |
| `irrelevant_domain` | Nettstedet er ikke relevant for oppgaven | Bruker må bekrefte |
| `sensitive_domain` | Finansielle, helsemessige eller andre sensitive sider | "Watch mode" — aktiv brukermonitorering |
---
## Browser Automation (Playwright) — relatert kapabilitet
Som et alternativ til full CUA finnes **Browser Automation Tool** i Foundry Agent Service (public preview august 2025):
### CUA vs Browser Automation
| Egenskap | Browser Automation | Computer Use Tool |
|----------|--------------------|-------------------|
| **Modellstøtte** | Alle GPT-modeller | Kun `computer-use-preview` |
| **Visuell visning** | Nei | Ja (skjermbilder) |
| **Skjermforståelse** | Parserer HTML/XML til DOM | Råpikseldata fra skjermbilder |
| **Handlingsmetode** | Actionliste fra modellen | Virtuell mus og tastatur |
| **Grensesnitt** | Kun nettleser | Nettleser + desktop |
| **Eget ressurskrav** | Ja — Microsoft Playwright Workspace | Nei (men sandkasse anbefales) |
| **Multi-steg** | Ja | Ja |
**Browser Automation** egner seg best for web-fokuserte oppgaver der du vil bruke eksisterende GPT-modeller og kontrollere kostnaden. **Computer Use** er nødvendig for desktop-applikasjoner eller når du trenger fullstendig visuell tilbakemelding.
### Browser Automation — oppsett (Foundry)
```python
from azure.ai.agents.models import BrowserAutomationTool
browser_tool = BrowserAutomationTool(
connection_id=os.environ["AZURE_PLAYWRIGHT_CONNECTION_NAME"]
)
# Krever: azure-ai-agents >= 1.2.0b2
```
---
## Bruksområder
### Primære use cases
| Scenario | Beskrivelse | Plattform |
|----------|-------------|-----------|
| **Legacysystem-integrasjon** | Automatiser oppgaver i systemer uten API (eldre fagsystemer, mainframe-terminaler) | CUA (desktop) |
| **Skjemautfylling** | Overfør data mellom systemer via GUI (fakturaregistrering, saksbehandling) | Copilot Studio CUA |
| **Datautvinning** | Trekk ut strukturert data fra nettsider eller applikasjoner som PDF-visere | CUA + Browser Automation |
| **Regresjonstesting** | Automatisert UI-testing av webapplikasjoner | Browser Automation |
| **Cross-app arbeidsflyt** | Orkestrering på tvers av CRM, ERP, og webportaler uten integrasjonsprosjekt | CUA (desktop) |
| **Rapportgenerering** | Generer og eksporter rapporter fra dashbord og BI-verktøy | CUA / Browser Automation |
### Copilot Studio eksempelinstruksjoner
```text
Fakturaregistrering:
1. Gå til https://fakturasystem.intern/innboks og åpne siste PDF-faktura.
2. I ny fane, åpne https://erp.intern/registrer-faktura.
3. Fyll inn leverandør, beløp, fakturanummer og forfallsdato fra PDF.
4. Klikk "Lagre og send til godkjenning". Ikke spør om bekreftelse.
```
---
## Begrensninger
### Funksjonelle begrensninger
| Begrensning | Detalj |
|-------------|--------|
| **Variabel suksessrate** | Web-oppgaver ~80%, desktop-applikasjoner ~35% |
| **Inkonsistens** | Samme oppgave kan gi ulikt resultat avhengig av visuell tilstand og timing |
| **UI-kontroller** | Vanskeligheter med ikke-standardiserte elementer: datepickers, custom dropdowns, Citrix |
| **Løkketilstander** | Agenten kan henge i løkker når skjerm ikke matcher forventninger |
| **Komplekse oppgaver** | Ytelse faller ved komplekse grafiske grensesnitt og flertrinns tekstmanipulasjon |
| **Multi-skjerm** | Ikke støttet |
| **Hosted machine groups** | Ikke støttet |
| **Noen applikasjonstyper** | Electron, Java Swing, Unity, spill, CLI, Citrix — begrenset støtte |
### Hastighet
CUA er vesentlig tregere enn API-kall:
- Hvert steg tar 2-10 sekunder (modellresonnering + skjermbildeanalyse)
- En fullstendig arbeidsflyt med 10 steg tar typisk 30-120 sekunder
- Ikke egnet for sanntidsscenarier eller høy-volum-automatisering (mange hundre kjøringer/time)
### Ikke egnet for
- Finansielle transaksjoner (for høy risiko)
- Helserelaterte beslutninger
- Ansettelse/scoring-systemer
- Deling av data utenfor organisasjonen uten autorisasjon
---
## Sikkerhetsmodell
### Grunnleggende prinsipper
**Viktig:** CUA representer en av de høyeste risikoklassene i AI — den kan utføre vilkårlige handlinger på vegne av brukeren. Sikkerhetsarkitektur er kritisk.
| Tiltak | Anbefaling |
|--------|------------|
| **Sandkassemiljø** | Dedikerte VM-er uten tilgang til sensitiv data eller kritiske systemer |
| **Least privilege** | Brukerkontoen CUA opererer som skal ha minimale tillatelser |
| **Allowlist** | Begrens tilgang til forhåndsgodkjente nettsider og applikasjoner |
| **Overvåking** | Loggfør alle CUA-sesjoner med skjermbilder og handlingslogg |
| **Human-in-the-loop** | For sensitive operasjoner: krev menneskelig godkjenning |
### Prompt injection-risiko
CUA er spesielt sårbar for **prompt injection**: skadelige instruksjoner kan være innebygd i nettsider, PDF-er, eller skjermbilder som agenten tolker. Motiltak:
1. Kjør CUA i isolert nettverkssone
2. Bruk access control (allowlist) i Copilot Studio
3. Aktiver malicious instruction detection (Foundry)
4. Aldri gi CUA tilgang til credentials med administrative privilegier
5. Revurder og logg alle handlinger
### Credential management
```
Copilot Studio — preferert rekkefølge:
1. Azure Key Vault (produksjon, enterprise)
2. Power Platform intern lagring (kryptert, enklere oppsett)
3. Aldri hardkodede passord i instruksjoner
```
---
## CUA vs RPA — Sammenligning
| Dimensjon | RPA (Power Automate Desktop / UiPath) | CUA (Microsoft) |
|-----------|---------------------------------------|-----------------|
| **Automatiseringstype** | Regelbasert, deterministisk | LLM-drevet, adaptiv |
| **Interaksjonsmetode** | UI-tre (selector-basert) | Visuell tolkning (pikseldata) |
| **Forfattermetode** | Skript, opptaksverktøy, kodeblokker | Naturlige språkinstruksjoner |
| **Beslutningstaking** | Forhåndsdefinerte regler | Autonome, visuelle beslutninger |
| **Fleksibilitet** | Lav — brytes ved UI-endringer | Høy — tilpasser seg endringer |
| **Feilhåndtering** | Statisk exception handling | Selvkorrigerende basert på visuell feedback |
| **Hastighet** | Høy (ms per steg) | Lav (sekunder per steg) |
| **Kompetansekrav** | RPA-utvikler med scripting-erfaring | Domeneekspert med naturlig språk |
| **Modenhet** | GA — produksjonsklar | Copilot Studio: GA (2026-05-07). Foundry Agent Service: Preview |
### Når velge RPA
- Kun GA-funksjoner tillatt (produksjon nå)
- Stabilt brukergrensesnitt — felter og selectorer endres sjelden
- Klare regler — beslutninger kan kodes som if/else
- Høyt volum — hastighet er kritisk
- Eksisterende RPA-team og kompetanse
### Når velge CUA
- Brukergrensesnitt varierer mye eller endres hyppig
- Rask prototyping — RPA-teamets backlog er full
- Oppgaven avhenger av visuell informasjon (grafer, farger, dynamiske layout)
- Beslutningene er "fuzzy" — agenten må resonnere og selvkorrigere
- Ingen API tilgjengelig og RPA-selectors er ustabile
---
## Status og tilgjengelighet
| Plattform | Status | Tilgjengelig |
|-----------|--------|--------------|
| **Foundry Agent Service** | Public Preview | Sep 2025 |
| **Azure OpenAI (direkte)** | Public Preview | Sep 2025 |
| **Copilot Studio** | Public Preview | 2025-05-27 |
| **Copilot Studio** | GA | 2026-05-07 |
**Tilgang til `computer-use-preview`-modellen** (Foundry/Azure OpenAI) krever registrering: https://aka.ms/oai/cuaaccess
---
## Norsk offentlig sektor — Relevans
### Modernisering av legacysystemer uten API-utvikling
Norsk offentlig sektor opererer med et stort antall legacysystemer (fagsystemer fra 1990-2000-tallet) som mangler moderne API-lag. CUA åpner for:
- **Integrasjon uten systemutvikling** — Koble fagsystemer som ellers ville krevd et integrasjonsprosjekt
- **Raskere digitalisering** — Demper behov for parallell drift av manuelle prosesser
- **Lavere inngangsbarriere** — Domeneeksperter kan beskrive oppgaver uten teknisk bistand
### Aktuelle use cases i offentlig sektor
| Scenario | System | Verdi |
|----------|--------|-------|
| Automatisk saksinntasting | Sak/arkiv-systemer (Elements, Public 360) | Reduserer manuell dobbeltregistrering |
| Dataflytt fra etatssystemer | ARENA, Infoeasy, Visma Flyt | Unngå datamigreringsprosjekt |
| Rapporteksport og distribusjon | KOSTRA, BI-portaler | Automatiser periodiske rapporter |
| Testautomatisering av GUI | Offentlige selvbetjeningsportaler | Øk testdekning uten API-testhook |
### GDPR og personvern
**Kritiske krav** dersom CUA behandler personopplysninger:
| Krav | Implementasjon |
|------|----------------|
| **Dataminimering** | CUA skal kun "se" nødvendig data — bruk access control aktivt |
| **Sporbarhet** | Loggfør alle CUA-sesjoner med handlingslogg og skjermbilder (GDPR art. 5) |
| **Datalagring** | Skjermbilder sendt til modellen — velg `swedencentral` for EU-residens |
| **Behandlingsgrunnlag** | DPIA nødvendig dersom CUA behandler sensitive personopplysninger |
| **Tilgangskontroll** | Maskin-credentials skal ikke ha bredere tilgang enn nødvendig |
### Datalagring — Viktig for offentlig sektor
- **Copilot Studio CUA (GA):** Det tidligere preview-kravet om United States-region er ikke lenger oppført i GA-dokumentasjonen. Maskinvalg inkluderer **Cloud PC pool** (Entra-joined, Intune-enrollert — full governance) for produksjon; vurder geografisk tilgjengelighet via Microsofts «Feature Geographic Availability»-rapport før behandling av sensitiv persondata. *(Verified MCP 2026-06-19)*
- **Foundry Agent Service:** `swedencentral` tilgjengelig — **egnet for EU-data**
- Skjermbilder sendt til CUA-modellen er transiente — ikke persistert av Microsoft
### AI Act-implikasjoner
CUA-systemer som bidrar til saksbehandling kan klassifiseres som **høyrisiko-AI** under AI Act Annex III (offentlig administrasjon). Krav:
- Human oversight ved autonome vedtaksbidrag
- Full loggføring av agentens handlinger
- DPIA/PVK gjennomføres før produksjonssetting
---
## For Cosmo: Beslutningsveiledning
### Når anbefale CUA
**Grønt lys (CUA er riktig valg):**
- "Vi har et legacysystem som mangler API, og vi trenger integrasjon raskt"
- "Vi vil protype en arbeidsflyt — vi har ikke tid til et RPA-prosjekt"
- "Systemets grensesnitt endres jevnlig og bryter RPA-selectors"
- "Oppgaven krever visuell tolkning — grafer, farger, dynamisk innhold"
**Rødt flagg (velg noe annet):**
- "Vi trenger dette i produksjon innen 3 måneder" → CUA er Preview, bruk RPA
- "Vi trenger å prosessere 500 skjemaer per time" → CUA er for tregt, bruk API/RPA
- "Systemet håndterer helseopplysninger og vi trenger full GDPR-compliance nå" → For tidlig
- "Vi trenger deterministisk oppførsel — samme input, samme output alltid" → Bruk RPA
### Beslutningstre
```
Finnes det en API eller strukturert connector?
├─ Ja → Bruk API-integrasjon (Logic Apps, Power Automate cloud flows)
└─ Nei → Er brukergrensesnittet stabilt?
├─ Stabilt → Vurder RPA (Power Automate Desktop)
└─ Ustabilt/ukjent → Er det kun nettleser?
├─ Ja → Browser Automation Tool (enklere, billigere)
└─ Nei (desktop/mixed) → CUA
└─ Produksjonsklar nå?
├─ Ja → Vent på GA (mai 2026) eller bruk RPA midlertidig
└─ Nei (POC/pilot) → CUA er riktig
```
### Spørsmål å stille kunden
1. **Hvor mange kjøringer per dag?**
- <50: CUA (preview tolerabel)
- 50-500: Hybridstrategi (CUA + manuell fallback)
- >500: Trenger RPA eller API
2. **Hva er konsekvensen av feil?**
- Lav: CUA akseptabelt
- Høy (penger, vedtak, helse): Krev human-in-the-loop eller bruk RPA
3. **Er systemet kun web eller også desktop?**
- Kun web: Browser Automation (enklere)
- Desktop: Computer Use Tool
4. **Hvilken Microsoft-lisens har de?**
- Copilot Studio-lisens: Bruk Copilot Studio CUA
- Azure: Bruk Foundry Agent Service
5. **Er produksjonsdato etter mai 2026?**
- Ja: CUA kan planlegges
- Nei: Bruk RPA som primærstrategi, CUA som proof of concept
### Hybridarkitektur (anbefalt for offentlig sektor, 2026)
```
Power Automate Cloud Flow (orkestrator)
├─ Strukturerte data → API-kall (Logic Apps, Dataverse)
├─ Webbaserte systemer → Browser Automation Tool
└─ Legacydesktop → CUA (Computer Use Tool)
Azure Key Vault (credentials)
Dedikert Windows VM (sandkasse)
Azure Monitor (audit log + skjermbilder)
```
---
## Kostnadsestimat
### Copilot Studio (GA, standardmodell — 5 credits/steg)
| Arbeidsflyt | Steg per kjøring | Copilot Credits | NOK per kjøring* |
|-------------|-----------------|-----------------|-----------------|
| Enkel skjemautfylling (4 steg) | 4 | 20 | ~1,50 NOK |
| Fakturaprosessering (8 steg) | 8 | 40 | ~3,00 NOK |
| Kompleks kryssystem-arbeidsflyt (20 steg) | 20 | 100 | ~7,50 NOK |
*Estimat basert på Copilot Credits à 0,075 NOK (veiledende). Premiummodell (Claude Opus 4.6) bruker 15 credits/steg — 3× kreditt-kostnaden over.
### Foundry Agent Service
Kostnader basert på:
- **`computer-use-preview`-modell**: Token-forbruk (input = skjermbilder er store)
- **Azure VM (sandkasse)**: Standard B2s (~700 NOK/mnd)
- **Azure Monitor (logging)**: ~50-200 NOK/mnd avhengig av volum
---
## Kilder og verifisering
### Microsoft Learn (Verified)
1. **Foundry Agent Service Computer Use Tool**
- https://learn.microsoft.com/azure/foundry/agents/how-to/tools/computer-use
- Confidence: **Verified** (offisiell Foundry-dokumentasjon, sep 2025)
2. **Automate web and desktop apps with computer use — Copilot Studio**
- https://learn.microsoft.com/microsoft-copilot-studio/computer-use
- Confidence: **Verified** (offisiell Copilot Studio GA-dokumentasjon, verifisert MCP 2026-06-19: 4 støttede modeller med tier/status — OpenAI CUA + Sonnet 4.5 GA, Sonnet 4.6 + Opus 4.6 Experimental; 5 credits/steg standard, 15 credits/steg premium; credentials intern/Key Vault-detaljer; access control wildcard/desktop; generativ orkestrering påkrevd; external models-krav for Anthropic. US-only region-krav er fjernet i GA-dokumentasjonen.)
3. **Configure where computer use runs**
- https://learn.microsoft.com/microsoft-copilot-studio/configure-where-computer-use-runs
- Confidence: **Verified** (Copilot Studio docs, verifisert MCP 2026-06-19: Hosted browser (preview), Cloud PC pool (preview, Windows 365 for Agents — Entra-joined/Intune-enrollert), Bring-your-own-machine via Power Automate)
4. **Browser Automation (preview) — Foundry Agent Service**
- https://learn.microsoft.com/azure/foundry/agents/how-to/tools/browser-automation
- Confidence: **Verified** (aug 2025, public preview)
5. **CUA vs RPA — Use agent tools to extend agents**
- https://learn.microsoft.com/microsoft-copilot-studio/guidance/agent-tools
- Confidence: **Verified** (Copilot Studio guidance)
6. **FAQ for the computer use tool**
- https://learn.microsoft.com/microsoft-copilot-studio/faqs-computer-use
- Confidence: **Verified** (offisiell FAQ, inkl. 80%/35% suksessrater, perception/reasoning/action-loop, human supervision-detaljer, verifisert MCP 2026-06-19)
7. **Computer Use Release Plan (2025 Wave 1)**
- https://learn.microsoft.com/power-platform/release-plan/2025wave1/microsoft-copilot-studio/automate-web-desktop-apps-computer-use
- Confidence: **Verified** (public preview 2025-05-27, GA 2026-05-07 bekreftet; verifisert MCP 2026-06-19)
8. **Announcing Computer Use tool (Preview) in Foundry Agent Service**
- https://devblogs.microsoft.com/foundry/announcing-computer-use-tool-preview-in-azure-ai-foundry-agent-service/
- Confidence: **Verified** (Microsoft Dev Blog, sep 2025)
### Confidence per seksjon
| Seksjon | Confidence | Kilde |
|---------|-----------|-------|
| CUA-konsept og aksjonssløyfe | Verified | MS Learn |
| Copilot Studio-integrasjon | Verified | MS Learn |
| Foundry Agent Service | Verified | MS Learn + Dev Blog |
| Browser Automation vs CUA | Verified | MS Learn (tabelldata) |
| Begrensninger (suksessrater) | Verified | Offisiell FAQ |
| Sikkerhetsmodell | Verified | MS Learn transparency note |
| RPA vs CUA sammenligning | Verified | Copilot Studio guidance |
| Norsk offentlig sektor | Baseline | LLM-kunnskap + GDPR/AI Act |
| Kostnadsestimat (NOK) | Estimert | Basert på Copilot Credits-modell |
**Total sources cited:** 8 unike URLs fra MCP-research