Key content changes: - MLOps: MLflow 3 scorers expanded (RetrievalRelevance, Fluency, multi-turn judges) - MLflow 3 A/B eval: mirror_traffic GA confirmed, new scorer catalog - CI/CD: OIDC auth replaces deprecated --sdk-auth (Azure ML GitHub Actions) - Agent framework A2A: updated SDK patterns (A2ACardResolver, BearerAuth) - AG-UI backend tool rendering: accurate TOOL_CALL_* event shapes - Computer Use agents: US region requirement, credentials patterns - Purview governance: bulk term edit, expire/delete workflows - CAF AI Secure: 3-phase structure confirmed current - Copilot Studio: Claude Sonnet 4.5/4.6 GA, new orchestration controls - M365 manifest: v1.26 GA (April 2026), copilotAgents node - Power Platform: agent flow capacity enforcement corrected - Azure Monitor: Simple Log Alerts GA, AMBA for policy-based alerting - Security Copilot: SCU capacity model (400 SCU/1000 users) - EU Data Boundary: all EU + EFTA countries confirmed - gateway-multi-backend: added 4th topology, subscription-level quota note Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
530 lines
22 KiB
Markdown
530 lines
22 KiB
Markdown
# Computer-Using Agents (CUA)
|
|
|
|
**Last updated:** 2026-04 | Verified: MCP 2026-04
|
|
**Status:** Preview (sep 2025 — Foundry Agent Service; mai 2025 — Copilot Studio)
|
|
**Category:** Agent Orchestration & Automation
|
|
|
|
---
|
|
|
|
## Introduksjon
|
|
|
|
Computer-Using Agents (CUA) er en ny klasse AI-agenter som automatiserer oppgaver ved å **se på skjermbilder og betjene mus og tastatur** — akkurat som et menneske. I motsetning til tradisjonell automatisering, der agenten kaller API-er eller bruker forhåndsskrevne skript, kan CUA operere på *ethvert* system med et grafisk grensesnitt (GUI), inkludert legacysystemer uten API-støtte.
|
|
|
|
Microsoft tilbyr CUA gjennom to primære plattformer:
|
|
- **Azure AI Foundry Agent Service** — `computer-use-preview`-modellen via Azure OpenAI (preview sep 2025)
|
|
- **Copilot Studio** — Computer Use som verktøy i agenter (public preview mai 2025, GA mai 2026)
|
|
|
|
Den kritiske verdien: **Dersom et menneske kan bruke et program, kan CUA gjøre det samme** — uten kodeendringer i målsystemet.
|
|
|
|
---
|
|
|
|
## Hva er CUA?
|
|
|
|
CUA kombinerer tre kapabiliteter:
|
|
|
|
| Kapabilitet | Beskrivelse |
|
|
|-------------|-------------|
|
|
| **Computer Vision** | Tolker råpikseldata fra skjermbilder — forstår layout, tekst, knapper, ikoner |
|
|
| **Resonnering** | Bestemmer neste handling basert på nåværende skjermtilstand og mål |
|
|
| **Kontrollgenerering** | Genererer museaksjon (klikk, dra, scroll) og tastaturbevegelser |
|
|
|
|
Modellen som driver CUA er `computer-use-preview` — en spesialisert visjonsmodell optimert for GUI-interaksjon. I Copilot Studio støttes også **Anthropic Claude Sonnet 4.5** som alternativ modell (preview, regionutrulling pågår).
|
|
|
|
---
|
|
|
|
## Hvordan det fungerer
|
|
|
|
### Aksjonssløyfen
|
|
|
|
```
|
|
1. Bruker beskriver oppgave (naturlig språk)
|
|
↓
|
|
2. Agent sender skjermbilde + mål til CUA-modell
|
|
↓
|
|
3. Modell returnerer handling (klikk, skriv, naviger)
|
|
↓
|
|
4. Applikasjonskode utfører handlingen på maskinen
|
|
↓
|
|
5. Nytt skjermbilde captures og sendes tilbake
|
|
↓
|
|
6. Gjenta til oppgaven er fullført eller agenten stopper
|
|
```
|
|
|
|
### Støttede handlingstyper
|
|
|
|
- `screenshot` — Hent oppdatert skjermtilstand
|
|
- `click` — Museklikk med X/Y-koordinater
|
|
- `double_click` — Dobbeltklikk
|
|
- `type` — Tekst-input via tastatur
|
|
- `key` — Spesialtaster (Enter, Tab, Escape, piltaster)
|
|
- `scroll` — Rulle i et UI-element
|
|
- `drag` — Dra-og-slipp operasjoner
|
|
- `navigate` — Nettleserstyring (URL-navigasjon)
|
|
|
|
### Eksempel: Foundry Agent Service (Python)
|
|
|
|
```python
|
|
from azure.ai.projects import AIProjectClient
|
|
from azure.ai.agents.models import ComputerUseTool
|
|
from azure.identity import DefaultAzureCredential
|
|
|
|
project_client = AIProjectClient(
|
|
endpoint=os.environ["PROJECT_ENDPOINT"],
|
|
credential=DefaultAzureCredential()
|
|
)
|
|
|
|
# Initialiser CUA-verktøy med nettleserstørrelse
|
|
computer_use = ComputerUseTool(
|
|
display_width=1026,
|
|
display_height=768,
|
|
environment="browser" # eller "windows" for desktop
|
|
)
|
|
|
|
# Agenten bruker CUA som verktøy
|
|
agent = project_client.agents.create_agent(
|
|
model="computer-use-preview",
|
|
name="CUA Agent",
|
|
instructions="Du er en agent som automatiserer oppgaver via brukergrensesnitt.",
|
|
tools=computer_use.definitions
|
|
)
|
|
```
|
|
|
|
### Håndtering av sikkerhetssjekker (Foundry)
|
|
|
|
```python
|
|
# Når pending_safety_checks returneres, kreves brukerbekreftelse
|
|
if "pending_safety_checks" in response:
|
|
# Pause og varsle bruker
|
|
user_approval = await request_human_approval(response["pending_safety_checks"])
|
|
if user_approval:
|
|
# Send tilbake som acknowledged_safety_checks
|
|
next_request["acknowledged_safety_checks"] = response["pending_safety_checks"]
|
|
```
|
|
|
|
---
|
|
|
|
## Copilot Studio-integrasjon
|
|
|
|
Copilot Studio tilbyr CUA som et lavkode **Computer Use Tool** — ingen koding nødvendig.
|
|
|
|
**Krav (preview):** Tilgjengelig kun for miljøer der regionen er satt til **United States**. Generativ orkestrering (generative orchestrator) må aktiveres på agenten. *(Verified MCP 2026-04)*
|
|
|
|
### Oppsett
|
|
|
|
1. Gå til **Tools** i agenten → **Add tool** → **New tool** → **Computer use**
|
|
2. Velg modell: **OpenAI Computer-Using Agent** eller **Anthropic Claude Sonnet 4.5** (preview, pågående regionutrulling — krever at administrator har aktivert external models)
|
|
3. Skriv instruksjoner på naturlig norsk/engelsk (se "Best practices for instructions" under)
|
|
4. Konfigurer **Machine** (hvor CUA kjøres):
|
|
- Velg målmaskin fra listen, eller opprett ny via Power Automate Portal
|
|
- **Hosted browser**: rask start, kun web — ikke anbefalt for produksjon
|
|
- **Dedikert Windows-maskin**: gir full desktop-tilgang, anbefalt for produksjon
|
|
|
|
**Merk:** Tilgangskontroll (access control) hindrer kun at modellen *utfører handlinger* på ikke-autoriserte nettsider/apper — ikke at de åpnes. Eksempel: Bing kan åpnes fra Edge-søkebaren selv om kun microsoft.com er på allowlisten, men interaksjon med Bing vil feile.
|
|
|
|
### Credentials og tilgangskontroll
|
|
|
|
| Konfigurasjon | Beskrivelse |
|
|
|---------------|-------------|
|
|
| **Maker-provided credentials** | Agenten bruker makerens innloggingsinfo (for autonome agenter) |
|
|
| **End user credentials** | Brukeren logger inn selv (for konversasjonelle agenter) |
|
|
| **Intern Power Platform-lagring** | Kryptert intern lagring — ingen forhåndskonfigurasjon nødvendig. Oppgi URL/app-navn + brukernavn + passord; wildcard (*) støttes for subdomener (f.eks. *.contoso.com). *(Verified MCP 2026-04)* |
|
|
| **Azure Key Vault** | Passord lagres i Key Vault — anbefalt for produksjonsmiljøer. Krever PowerPlatform resource provider registrert i Azure-abonnementet. *(Verified MCP 2026-04)* |
|
|
| **Access control** | Begrens hvilke nettsider/applikasjoner CUA kan operere på. Wildcards støttes (*.contoso.com). Desktop apps angis ved produkt-/prosessnavn (f.eks. "Microsoft Edge" eller "msedge"). *(Verified MCP 2026-04)* |
|
|
|
|
### Lisensiering (Copilot Studio, preview)
|
|
|
|
Faktureres som Agent action: **5 Copilot Credits per steg** (hvert steg kan inneholde én eller flere lavnivå-handlinger som klikk, skriving eller navigering).
|
|
|
|
Eksempel — utfylling av timeregistreringsskjema (4 steg = 20 Copilot Credits):
|
|
1. Åpne nettleser og naviger til URL
|
|
2. Klikk "Opprett ny"
|
|
3. Fyll inn felter
|
|
4. Klikk "Send inn"
|
|
|
|
GA (mai 2026) — endelig prismodell ikke kunngjort.
|
|
|
|
### Human Supervision
|
|
|
|
Copilot Studio har innebygd **Human Supervision**: CUA-agenten kan eskalere til en utpekt person (via Outlook) dersom den oppdager potensielt skadelige instruksjoner. Godkjenner har en definert tidsfrist — løper den ut, stopper agenten.
|
|
|
|
---
|
|
|
|
## Azure AI Foundry Agent Service
|
|
|
|
Foundry Agent Service gir CUA via `computer-use-preview`-modellen:
|
|
|
|
### Tilgang og regioner
|
|
|
|
- Tilgang krever registrering: [https://aka.ms/oai/cuaaccess](https://aka.ms/oai/cuaaccess)
|
|
- Tilgjengelige regioner: `eastus2`, `swedencentral`, `southindia`
|
|
- `swedencentral` — relevant for norske offentlig sektor-kunder
|
|
|
|
### Innebygde sikkerhetssjekker
|
|
|
|
Foundry-modellen returnerer `pending_safety_checks` ved:
|
|
|
|
| Sjekktype | Trigger | Handling |
|
|
|-----------|---------|----------|
|
|
| `malicious_instructions` | Skjermbilde inneholder adversarial innhold | Bruker må bekrefte |
|
|
| `irrelevant_domain` | Nettstedet er ikke relevant for oppgaven | Bruker må bekrefte |
|
|
| `sensitive_domain` | Finansielle, helsemessige eller andre sensitive sider | "Watch mode" — aktiv brukermonitorering |
|
|
|
|
---
|
|
|
|
## Browser Automation (Playwright) — relatert kapabilitet
|
|
|
|
Som et alternativ til full CUA finnes **Browser Automation Tool** i Foundry Agent Service (public preview august 2025):
|
|
|
|
### CUA vs Browser Automation
|
|
|
|
| Egenskap | Browser Automation | Computer Use Tool |
|
|
|----------|--------------------|-------------------|
|
|
| **Modellstøtte** | Alle GPT-modeller | Kun `computer-use-preview` |
|
|
| **Visuell visning** | Nei | Ja (skjermbilder) |
|
|
| **Skjermforståelse** | Parserer HTML/XML til DOM | Råpikseldata fra skjermbilder |
|
|
| **Handlingsmetode** | Actionliste fra modellen | Virtuell mus og tastatur |
|
|
| **Grensesnitt** | Kun nettleser | Nettleser + desktop |
|
|
| **Eget ressurskrav** | Ja — Microsoft Playwright Workspace | Nei (men sandkasse anbefales) |
|
|
| **Multi-steg** | Ja | Ja |
|
|
|
|
**Browser Automation** egner seg best for web-fokuserte oppgaver der du vil bruke eksisterende GPT-modeller og kontrollere kostnaden. **Computer Use** er nødvendig for desktop-applikasjoner eller når du trenger fullstendig visuell tilbakemelding.
|
|
|
|
### Browser Automation — oppsett (Foundry)
|
|
|
|
```python
|
|
from azure.ai.agents.models import BrowserAutomationTool
|
|
|
|
browser_tool = BrowserAutomationTool(
|
|
connection_id=os.environ["AZURE_PLAYWRIGHT_CONNECTION_NAME"]
|
|
)
|
|
# Krever: azure-ai-agents >= 1.2.0b2
|
|
```
|
|
|
|
---
|
|
|
|
## Bruksområder
|
|
|
|
### Primære use cases
|
|
|
|
| Scenario | Beskrivelse | Plattform |
|
|
|----------|-------------|-----------|
|
|
| **Legacysystem-integrasjon** | Automatiser oppgaver i systemer uten API (eldre fagsystemer, mainframe-terminaler) | CUA (desktop) |
|
|
| **Skjemautfylling** | Overfør data mellom systemer via GUI (fakturaregistrering, saksbehandling) | Copilot Studio CUA |
|
|
| **Datautvinning** | Trekk ut strukturert data fra nettsider eller applikasjoner som PDF-visere | CUA + Browser Automation |
|
|
| **Regresjonstesting** | Automatisert UI-testing av webapplikasjoner | Browser Automation |
|
|
| **Cross-app arbeidsflyt** | Orkestrering på tvers av CRM, ERP, og webportaler uten integrasjonsprosjekt | CUA (desktop) |
|
|
| **Rapportgenerering** | Generer og eksporter rapporter fra dashbord og BI-verktøy | CUA / Browser Automation |
|
|
|
|
### Copilot Studio eksempelinstruksjoner
|
|
|
|
```text
|
|
Fakturaregistrering:
|
|
1. Gå til https://fakturasystem.intern/innboks og åpne siste PDF-faktura.
|
|
2. I ny fane, åpne https://erp.intern/registrer-faktura.
|
|
3. Fyll inn leverandør, beløp, fakturanummer og forfallsdato fra PDF.
|
|
4. Klikk "Lagre og send til godkjenning". Ikke spør om bekreftelse.
|
|
```
|
|
|
|
---
|
|
|
|
## Begrensninger
|
|
|
|
### Funksjonelle begrensninger
|
|
|
|
| Begrensning | Detalj |
|
|
|-------------|--------|
|
|
| **Variabel suksessrate** | Web-oppgaver ~80%, desktop-applikasjoner ~35% |
|
|
| **Inkonsistens** | Samme oppgave kan gi ulikt resultat avhengig av visuell tilstand og timing |
|
|
| **UI-kontroller** | Vanskeligheter med ikke-standardiserte elementer: datepickers, custom dropdowns, Citrix |
|
|
| **Løkketilstander** | Agenten kan henge i løkker når skjerm ikke matcher forventninger |
|
|
| **Komplekse oppgaver** | Ytelse faller ved komplekse grafiske grensesnitt og flertrinns tekstmanipulasjon |
|
|
| **Multi-skjerm** | Ikke støttet |
|
|
| **Hosted machine groups** | Ikke støttet |
|
|
| **Noen applikasjonstyper** | Electron, Java Swing, Unity, spill, CLI, Citrix — begrenset støtte |
|
|
|
|
### Hastighet
|
|
|
|
CUA er vesentlig tregere enn API-kall:
|
|
- Hvert steg tar 2-10 sekunder (modellresonnering + skjermbildeanalyse)
|
|
- En fullstendig arbeidsflyt med 10 steg tar typisk 30-120 sekunder
|
|
- Ikke egnet for sanntidsscenarier eller høy-volum-automatisering (mange hundre kjøringer/time)
|
|
|
|
### Ikke egnet for
|
|
|
|
- Finansielle transaksjoner (for høy risiko)
|
|
- Helserelaterte beslutninger
|
|
- Ansettelse/scoring-systemer
|
|
- Deling av data utenfor organisasjonen uten autorisasjon
|
|
|
|
---
|
|
|
|
## Sikkerhetsmodell
|
|
|
|
### Grunnleggende prinsipper
|
|
|
|
**Viktig:** CUA representer en av de høyeste risikoklassene i AI — den kan utføre vilkårlige handlinger på vegne av brukeren. Sikkerhetsarkitektur er kritisk.
|
|
|
|
| Tiltak | Anbefaling |
|
|
|--------|------------|
|
|
| **Sandkassemiljø** | Dedikerte VM-er uten tilgang til sensitiv data eller kritiske systemer |
|
|
| **Least privilege** | Brukerkontoen CUA opererer som skal ha minimale tillatelser |
|
|
| **Allowlist** | Begrens tilgang til forhåndsgodkjente nettsider og applikasjoner |
|
|
| **Overvåking** | Loggfør alle CUA-sesjoner med skjermbilder og handlingslogg |
|
|
| **Human-in-the-loop** | For sensitive operasjoner: krev menneskelig godkjenning |
|
|
|
|
### Prompt injection-risiko
|
|
|
|
CUA er spesielt sårbar for **prompt injection**: skadelige instruksjoner kan være innebygd i nettsider, PDF-er, eller skjermbilder som agenten tolker. Motiltak:
|
|
|
|
1. Kjør CUA i isolert nettverkssone
|
|
2. Bruk access control (allowlist) i Copilot Studio
|
|
3. Aktiver malicious instruction detection (Foundry)
|
|
4. Aldri gi CUA tilgang til credentials med administrative privilegier
|
|
5. Revurder og logg alle handlinger
|
|
|
|
### Credential management
|
|
|
|
```
|
|
Copilot Studio — preferert rekkefølge:
|
|
1. Azure Key Vault (produksjon, enterprise)
|
|
2. Power Platform intern lagring (kryptert, enklere oppsett)
|
|
3. Aldri hardkodede passord i instruksjoner
|
|
```
|
|
|
|
---
|
|
|
|
## CUA vs RPA — Sammenligning
|
|
|
|
| Dimensjon | RPA (Power Automate Desktop / UiPath) | CUA (Microsoft) |
|
|
|-----------|---------------------------------------|-----------------|
|
|
| **Automatiseringstype** | Regelbasert, deterministisk | LLM-drevet, adaptiv |
|
|
| **Interaksjonsmetode** | UI-tre (selector-basert) | Visuell tolkning (pikseldata) |
|
|
| **Forfattermetode** | Skript, opptaksverktøy, kodeblokker | Naturlige språkinstruksjoner |
|
|
| **Beslutningstaking** | Forhåndsdefinerte regler | Autonome, visuelle beslutninger |
|
|
| **Fleksibilitet** | Lav — brytes ved UI-endringer | Høy — tilpasser seg endringer |
|
|
| **Feilhåndtering** | Statisk exception handling | Selvkorrigerende basert på visuell feedback |
|
|
| **Hastighet** | Høy (ms per steg) | Lav (sekunder per steg) |
|
|
| **Kompetansekrav** | RPA-utvikler med scripting-erfaring | Domeneekspert med naturlig språk |
|
|
| **Modenhet** | GA — produksjonsklar | Preview — ikke produksjonsklar (2026) |
|
|
|
|
### Når velge RPA
|
|
|
|
- Kun GA-funksjoner tillatt (produksjon nå)
|
|
- Stabilt brukergrensesnitt — felter og selectorer endres sjelden
|
|
- Klare regler — beslutninger kan kodes som if/else
|
|
- Høyt volum — hastighet er kritisk
|
|
- Eksisterende RPA-team og kompetanse
|
|
|
|
### Når velge CUA
|
|
|
|
- Brukergrensesnitt varierer mye eller endres hyppig
|
|
- Rask prototyping — RPA-teamets backlog er full
|
|
- Oppgaven avhenger av visuell informasjon (grafer, farger, dynamiske layout)
|
|
- Beslutningene er "fuzzy" — agenten må resonnere og selvkorrigere
|
|
- Ingen API tilgjengelig og RPA-selectors er ustabile
|
|
|
|
---
|
|
|
|
## Status og tilgjengelighet
|
|
|
|
| Plattform | Status | Tilgjengelig |
|
|
|-----------|--------|--------------|
|
|
| **Azure AI Foundry Agent Service** | Public Preview | Sep 2025 |
|
|
| **Azure OpenAI (direkte)** | Public Preview | Sep 2025 |
|
|
| **Copilot Studio** | Public Preview | Mai 2025 (US-regioner) |
|
|
| **Copilot Studio GA** | Planlagt | Mai 2026 |
|
|
|
|
**Tilgang til `computer-use-preview`-modellen** krever registrering: https://aka.ms/oai/cuaaccess
|
|
|
|
---
|
|
|
|
## Norsk offentlig sektor — Relevans
|
|
|
|
### Modernisering av legacysystemer uten API-utvikling
|
|
|
|
Norsk offentlig sektor opererer med et stort antall legacysystemer (fagsystemer fra 1990-2000-tallet) som mangler moderne API-lag. CUA åpner for:
|
|
|
|
- **Integrasjon uten systemutvikling** — Koble fagsystemer som ellers ville krevd et integrasjonsprosjekt
|
|
- **Raskere digitalisering** — Demper behov for parallell drift av manuelle prosesser
|
|
- **Lavere inngangsbarriere** — Domeneeksperter kan beskrive oppgaver uten teknisk bistand
|
|
|
|
### Aktuelle use cases i offentlig sektor
|
|
|
|
| Scenario | System | Verdi |
|
|
|----------|--------|-------|
|
|
| Automatisk saksinntasting | Sak/arkiv-systemer (Elements, Public 360) | Reduserer manuell dobbeltregistrering |
|
|
| Dataflytt fra etatssystemer | ARENA, Infoeasy, Visma Flyt | Unngå datamigreringsprosjekt |
|
|
| Rapporteksport og distribusjon | KOSTRA, BI-portaler | Automatiser periodiske rapporter |
|
|
| Testautomatisering av GUI | Offentlige selvbetjeningsportaler | Øk testdekning uten API-testhook |
|
|
|
|
### GDPR og personvern
|
|
|
|
**Kritiske krav** dersom CUA behandler personopplysninger:
|
|
|
|
| Krav | Implementasjon |
|
|
|------|----------------|
|
|
| **Dataminimering** | CUA skal kun "se" nødvendig data — bruk access control aktivt |
|
|
| **Sporbarhet** | Loggfør alle CUA-sesjoner med handlingslogg og skjermbilder (GDPR art. 5) |
|
|
| **Datalagring** | Skjermbilder sendt til modellen — velg `swedencentral` for EU-residens |
|
|
| **Behandlingsgrunnlag** | DPIA nødvendig dersom CUA behandler sensitive personopplysninger |
|
|
| **Tilgangskontroll** | Maskin-credentials skal ikke ha bredere tilgang enn nødvendig |
|
|
|
|
### Datalagring — Viktig for offentlig sektor
|
|
|
|
- **Copilot Studio CUA:** Kjøres i US-regioner (preview) — **ikke egnet for sensitiv persondata** ennå
|
|
- **Foundry Agent Service:** `swedencentral` tilgjengelig — **egnet for EU-data**
|
|
- Skjermbilder sendt til CUA-modellen er transiente — ikke persistert av Microsoft
|
|
|
|
### AI Act-implikasjoner
|
|
|
|
CUA-systemer som bidrar til saksbehandling kan klassifiseres som **høyrisiko-AI** under AI Act Annex III (offentlig administrasjon). Krav:
|
|
|
|
- Human oversight ved autonome vedtaksbidrag
|
|
- Full loggføring av agentens handlinger
|
|
- DPIA/PVK gjennomføres før produksjonssetting
|
|
|
|
---
|
|
|
|
## For Cosmo: Beslutningsveiledning
|
|
|
|
### Når anbefale CUA
|
|
|
|
**Grønt lys (CUA er riktig valg):**
|
|
- "Vi har et legacysystem som mangler API, og vi trenger integrasjon raskt"
|
|
- "Vi vil protype en arbeidsflyt — vi har ikke tid til et RPA-prosjekt"
|
|
- "Systemets grensesnitt endres jevnlig og bryter RPA-selectors"
|
|
- "Oppgaven krever visuell tolkning — grafer, farger, dynamisk innhold"
|
|
|
|
**Rødt flagg (velg noe annet):**
|
|
- "Vi trenger dette i produksjon innen 3 måneder" → CUA er Preview, bruk RPA
|
|
- "Vi trenger å prosessere 500 skjemaer per time" → CUA er for tregt, bruk API/RPA
|
|
- "Systemet håndterer helseopplysninger og vi trenger full GDPR-compliance nå" → For tidlig
|
|
- "Vi trenger deterministisk oppførsel — samme input, samme output alltid" → Bruk RPA
|
|
|
|
### Beslutningstre
|
|
|
|
```
|
|
Finnes det en API eller strukturert connector?
|
|
├─ Ja → Bruk API-integrasjon (Logic Apps, Power Automate cloud flows)
|
|
└─ Nei → Er brukergrensesnittet stabilt?
|
|
├─ Stabilt → Vurder RPA (Power Automate Desktop)
|
|
└─ Ustabilt/ukjent → Er det kun nettleser?
|
|
├─ Ja → Browser Automation Tool (enklere, billigere)
|
|
└─ Nei (desktop/mixed) → CUA
|
|
└─ Produksjonsklar nå?
|
|
├─ Ja → Vent på GA (mai 2026) eller bruk RPA midlertidig
|
|
└─ Nei (POC/pilot) → CUA er riktig
|
|
```
|
|
|
|
### Spørsmål å stille kunden
|
|
|
|
1. **Hvor mange kjøringer per dag?**
|
|
- <50: CUA (preview tolerabel)
|
|
- 50-500: Hybridstrategi (CUA + manuell fallback)
|
|
- >500: Trenger RPA eller API
|
|
|
|
2. **Hva er konsekvensen av feil?**
|
|
- Lav: CUA akseptabelt
|
|
- Høy (penger, vedtak, helse): Krev human-in-the-loop eller bruk RPA
|
|
|
|
3. **Er systemet kun web eller også desktop?**
|
|
- Kun web: Browser Automation (enklere)
|
|
- Desktop: Computer Use Tool
|
|
|
|
4. **Hvilken Microsoft-lisens har de?**
|
|
- Copilot Studio-lisens: Bruk Copilot Studio CUA
|
|
- Azure: Bruk Foundry Agent Service
|
|
|
|
5. **Er produksjonsdato etter mai 2026?**
|
|
- Ja: CUA kan planlegges
|
|
- Nei: Bruk RPA som primærstrategi, CUA som proof of concept
|
|
|
|
### Hybridarkitektur (anbefalt for offentlig sektor, 2026)
|
|
|
|
```
|
|
Power Automate Cloud Flow (orkestrator)
|
|
├─ Strukturerte data → API-kall (Logic Apps, Dataverse)
|
|
├─ Webbaserte systemer → Browser Automation Tool
|
|
└─ Legacydesktop → CUA (Computer Use Tool)
|
|
↓
|
|
Azure Key Vault (credentials)
|
|
↓
|
|
Dedikert Windows VM (sandkasse)
|
|
↓
|
|
Azure Monitor (audit log + skjermbilder)
|
|
```
|
|
|
|
---
|
|
|
|
## Kostnadsestimat
|
|
|
|
### Copilot Studio (preview)
|
|
|
|
| Arbeidsflyt | Steg per kjøring | Copilot Credits | NOK per kjøring* |
|
|
|-------------|-----------------|-----------------|-----------------|
|
|
| Enkel skjemautfylling (4 steg) | 4 | 20 | ~1,50 NOK |
|
|
| Fakturaprosessering (8 steg) | 8 | 40 | ~3,00 NOK |
|
|
| Kompleks kryssystem-arbeidsflyt (20 steg) | 20 | 100 | ~7,50 NOK |
|
|
|
|
*Estimat basert på Copilot Credits à 0,075 NOK (veiledende).
|
|
|
|
### Azure AI Foundry Agent Service
|
|
|
|
Kostnader basert på:
|
|
- **`computer-use-preview`-modell**: Token-forbruk (input = skjermbilder er store)
|
|
- **Azure VM (sandkasse)**: Standard B2s (~700 NOK/mnd)
|
|
- **Azure Monitor (logging)**: ~50-200 NOK/mnd avhengig av volum
|
|
|
|
---
|
|
|
|
## Kilder og verifisering
|
|
|
|
### Microsoft Learn (Verified)
|
|
|
|
1. **Foundry Agent Service Computer Use Tool**
|
|
- https://learn.microsoft.com/azure/ai-foundry/agents/how-to/tools/computer-use
|
|
- Confidence: **Verified** (offisiell Foundry-dokumentasjon, sep 2025)
|
|
|
|
2. **Automate web and desktop apps with computer use — Copilot Studio**
|
|
- https://learn.microsoft.com/microsoft-copilot-studio/computer-use
|
|
- Confidence: **Verified** (offisiell Copilot Studio preview-dokumentasjon, oppdatert 2026-04: støttede modeller, credentials intern/Key Vault-detaljer, access control wildcard/desktop, US-only region-krav, generativ orkestrering påkrevd)
|
|
|
|
3. **Configure where computer use runs**
|
|
- https://learn.microsoft.com/microsoft-copilot-studio/configure-where-computer-use-runs
|
|
- Confidence: **Verified** (Copilot Studio docs, 2025)
|
|
|
|
4. **Browser Automation (preview) — Foundry Agent Service**
|
|
- https://learn.microsoft.com/azure/ai-foundry/agents/how-to/tools/browser-automation
|
|
- Confidence: **Verified** (aug 2025, public preview)
|
|
|
|
5. **CUA vs RPA — Use agent tools to extend agents**
|
|
- https://learn.microsoft.com/microsoft-copilot-studio/guidance/agent-tools
|
|
- Confidence: **Verified** (Copilot Studio guidance)
|
|
|
|
6. **FAQ for the computer use tool**
|
|
- https://learn.microsoft.com/microsoft-copilot-studio/faqs-computer-use
|
|
- Confidence: **Verified** (offisiell FAQ, inkl. 80%/35% suksessrater, human supervision-detaljer, oppdatert 2026-04)
|
|
|
|
7. **Computer Use Release Plan (2025 Wave 1)**
|
|
- https://learn.microsoft.com/power-platform/release-plan/2025wave1/microsoft-copilot-studio/automate-web-desktop-apps-computer-use
|
|
- Confidence: **Verified** (GA mai 2026 bekreftet)
|
|
|
|
8. **Announcing Computer Use tool (Preview) in Azure AI Foundry Agent Service**
|
|
- https://devblogs.microsoft.com/foundry/announcing-computer-use-tool-preview-in-azure-ai-foundry-agent-service/
|
|
- Confidence: **Verified** (Microsoft Dev Blog, sep 2025)
|
|
|
|
### Confidence per seksjon
|
|
|
|
| Seksjon | Confidence | Kilde |
|
|
|---------|-----------|-------|
|
|
| CUA-konsept og aksjonssløyfe | Verified | MS Learn |
|
|
| Copilot Studio-integrasjon | Verified | MS Learn |
|
|
| Foundry Agent Service | Verified | MS Learn + Dev Blog |
|
|
| Browser Automation vs CUA | Verified | MS Learn (tabelldata) |
|
|
| Begrensninger (suksessrater) | Verified | Offisiell FAQ |
|
|
| Sikkerhetsmodell | Verified | MS Learn transparency note |
|
|
| RPA vs CUA sammenligning | Verified | Copilot Studio guidance |
|
|
| Norsk offentlig sektor | Baseline | LLM-kunnskap + GDPR/AI Act |
|
|
| Kostnadsestimat (NOK) | Estimert | Basert på Copilot Credits-modell |
|
|
|
|
**Total sources cited:** 8 unike URLs fra MCP-research
|