Steg 9 (R4): unified migrate-corpus.mjs --write over engineering/governance/ infrastructure/security. 327 filer mutert, verified=null, prosa byte-identisk (fra første ## seksjon), advisor urørt (0 endringer). To applier-fixes oppdaget under kjøring (TDD, RED→GREEN): - insertHeaderFields: anker faller nå tilbake når en meta-linje selv passerer 500B (2 filer pakket et avsnitt i **Status:** → Type/Source landet utenfor scan-vinduet, applierens post-write-assertion fanget + restaurerte). - normalizeStaleVerified: fjerner nå ALLE stale non-date **Verified:** i 500B-vinduet, inkl. stray body-dup rett under --- (9 mlops-genaiops-filer var ellers falskt "verified"/fresh, droppet fra worklist). Operatør-godkjent utvidelse av carve-out; kun stray metadata-linjer, aldri prosa. test-transform-criterion: precondition oppdatert til post-migrasjons-sannhet (fila bærer nå Source). Suite 728/728 grønn.
548 lines
25 KiB
Markdown
548 lines
25 KiB
Markdown
# Computer-Using Agents (CUA)
|
||
|
||
**Last updated:** 2026-06-19 | Verified: MCP 2026-06-19
|
||
**Status:** Copilot Studio — GA (2026-05-07); Foundry Agent Service — Preview (sep 2025)
|
||
**Category:** Agent Orchestration & Automation
|
||
**Type:** reference
|
||
**Source:** https://learn.microsoft.com/microsoft-copilot-studio/guidance/agent-tools
|
||
|
||
---
|
||
|
||
## Innhold
|
||
|
||
- [Introduksjon](#introduksjon)
|
||
- [Hva er CUA?](#hva-er-cua)
|
||
- [Hvordan det fungerer](#hvordan-det-fungerer)
|
||
- [Copilot Studio-integrasjon](#copilot-studio-integrasjon)
|
||
- [Foundry Agent Service](#foundry-agent-service)
|
||
- [Browser Automation (Playwright) — relatert kapabilitet](#browser-automation-playwright--relatert-kapabilitet)
|
||
- [Bruksområder](#bruksområder)
|
||
- [Begrensninger](#begrensninger)
|
||
- [Sikkerhetsmodell](#sikkerhetsmodell)
|
||
- [CUA vs RPA — Sammenligning](#cua-vs-rpa--sammenligning)
|
||
- [Status og tilgjengelighet](#status-og-tilgjengelighet)
|
||
- [Norsk offentlig sektor — Relevans](#norsk-offentlig-sektor--relevans)
|
||
- [For Cosmo: Beslutningsveiledning](#for-cosmo-beslutningsveiledning)
|
||
- [Kostnadsestimat](#kostnadsestimat)
|
||
- [Kilder og verifisering](#kilder-og-verifisering)
|
||
|
||
## Introduksjon
|
||
|
||
Computer-Using Agents (CUA) er en ny klasse AI-agenter som automatiserer oppgaver ved å **se på skjermbilder og betjene mus og tastatur** — akkurat som et menneske. I motsetning til tradisjonell automatisering, der agenten kaller API-er eller bruker forhåndsskrevne skript, kan CUA operere på *ethvert* system med et grafisk grensesnitt (GUI), inkludert legacysystemer uten API-støtte.
|
||
|
||
Microsoft tilbyr CUA gjennom to primære plattformer:
|
||
- **Foundry Agent Service** — `computer-use-preview`-modellen via Azure OpenAI (preview sep 2025)
|
||
- **Copilot Studio** — Computer Use som verktøy i agenter (public preview 2025-05-27, GA 2026-05-07)
|
||
|
||
Den kritiske verdien: **Dersom et menneske kan bruke et program, kan CUA gjøre det samme** — uten kodeendringer i målsystemet.
|
||
|
||
---
|
||
|
||
## Hva er CUA?
|
||
|
||
CUA kombinerer tre kapabiliteter:
|
||
|
||
| Kapabilitet | Beskrivelse |
|
||
|-------------|-------------|
|
||
| **Computer Vision** | Tolker råpikseldata fra skjermbilder — forstår layout, tekst, knapper, ikoner |
|
||
| **Resonnering** | Bestemmer neste handling basert på nåværende skjermtilstand og mål |
|
||
| **Kontrollgenerering** | Genererer museaksjon (klikk, dra, scroll) og tastaturbevegelser |
|
||
|
||
Modellen som driver CUA er `computer-use-preview` — en spesialisert visjonsmodell optimert for GUI-interaksjon. I Copilot Studio (GA) kan du velge mellom flere modeller: **OpenAI Computer-Using Agent (CUA)** (GA, standard), **Anthropic Claude Sonnet 4.5** (GA, standard), **Anthropic Claude Sonnet 4.6** (Experimental, standard) og **Anthropic Claude Opus 4.6** (Experimental, premium). *(Verified MCP 2026-06-19)*
|
||
|
||
---
|
||
|
||
## Hvordan det fungerer
|
||
|
||
### Aksjonssløyfen
|
||
|
||
```
|
||
1. Bruker beskriver oppgave (naturlig språk)
|
||
↓
|
||
2. Agent sender skjermbilde + mål til CUA-modell
|
||
↓
|
||
3. Modell returnerer handling (klikk, skriv, naviger)
|
||
↓
|
||
4. Applikasjonskode utfører handlingen på maskinen
|
||
↓
|
||
5. Nytt skjermbilde captures og sendes tilbake
|
||
↓
|
||
6. Gjenta til oppgaven er fullført eller agenten stopper
|
||
```
|
||
|
||
### Støttede handlingstyper
|
||
|
||
- `screenshot` — Hent oppdatert skjermtilstand
|
||
- `click` — Museklikk med X/Y-koordinater
|
||
- `double_click` — Dobbeltklikk
|
||
- `type` — Tekst-input via tastatur
|
||
- `key` — Spesialtaster (Enter, Tab, Escape, piltaster)
|
||
- `scroll` — Rulle i et UI-element
|
||
- `drag` — Dra-og-slipp operasjoner
|
||
- `navigate` — Nettleserstyring (URL-navigasjon)
|
||
|
||
### Eksempel: Foundry Agent Service (Python)
|
||
|
||
```python
|
||
from azure.ai.projects import AIProjectClient
|
||
from azure.ai.agents.models import ComputerUseTool
|
||
from azure.identity import DefaultAzureCredential
|
||
|
||
project_client = AIProjectClient(
|
||
endpoint=os.environ["PROJECT_ENDPOINT"],
|
||
credential=DefaultAzureCredential()
|
||
)
|
||
|
||
# Initialiser CUA-verktøy med nettleserstørrelse
|
||
computer_use = ComputerUseTool(
|
||
display_width=1026,
|
||
display_height=768,
|
||
environment="browser" # eller "windows" for desktop
|
||
)
|
||
|
||
# Agenten bruker CUA som verktøy
|
||
agent = project_client.agents.create_agent(
|
||
model="computer-use-preview",
|
||
name="CUA Agent",
|
||
instructions="Du er en agent som automatiserer oppgaver via brukergrensesnitt.",
|
||
tools=computer_use.definitions
|
||
)
|
||
```
|
||
|
||
### Håndtering av sikkerhetssjekker (Foundry)
|
||
|
||
```python
|
||
# Når pending_safety_checks returneres, kreves brukerbekreftelse
|
||
if "pending_safety_checks" in response:
|
||
# Pause og varsle bruker
|
||
user_approval = await request_human_approval(response["pending_safety_checks"])
|
||
if user_approval:
|
||
# Send tilbake som acknowledged_safety_checks
|
||
next_request["acknowledged_safety_checks"] = response["pending_safety_checks"]
|
||
```
|
||
|
||
---
|
||
|
||
## Copilot Studio-integrasjon
|
||
|
||
Copilot Studio tilbyr CUA som et lavkode **Computer Use Tool** — ingen koding nødvendig.
|
||
|
||
**Krav:** Generativ orkestrering (generative orchestration) må være aktivert på agenten. For å bruke Anthropic-modellene må administrator ha aktivert tilgang til eksterne modeller (external models) for miljøet. *(Verified MCP 2026-06-19 — det tidligere preview-kravet om United States-region er ikke lenger oppført i GA-dokumentasjonen)*
|
||
|
||
### Oppsett
|
||
|
||
1. Gå til **Tools** i agenten → **Add tool** → **New tool** → **Computer use**
|
||
2. Velg modell: **OpenAI Computer-Using Agent** (GA), **Anthropic Claude Sonnet 4.5** (GA), **Claude Sonnet 4.6** (Experimental) eller **Claude Opus 4.6** (Experimental, premium) — Anthropic-modeller krever at administrator har aktivert external models
|
||
3. Skriv instruksjoner på naturlig norsk/engelsk (se "Best practices for instructions" under)
|
||
4. Konfigurer **Machine** (hvor CUA kjøres):
|
||
- **Hosted browser (preview)** (drevet av Windows 365 for Agents): rask start uten maskinoppsett, kun web — ikke anbefalt for produksjon
|
||
- **Cloud PC pool (preview)** (drevet av Windows 365 for Agents): skalerbar, Entra-joined og Intune-enrollert compute — full governance, ingen egen maskin nødvendig
|
||
- **Bring-your-own-machine**: egen Windows-maskin registrert og styrt i Power Automate; gir full desktop-tilgang. *(Verified MCP 2026-06-19)*
|
||
|
||
**Merk:** Tilgangskontroll (access control) hindrer kun at modellen *utfører handlinger* på ikke-autoriserte nettsider/apper — ikke at de åpnes. Eksempel: Bing kan åpnes fra Edge-søkebaren selv om kun microsoft.com er på allowlisten, men interaksjon med Bing vil feile.
|
||
|
||
### Credentials og tilgangskontroll
|
||
|
||
| Konfigurasjon | Beskrivelse |
|
||
|---------------|-------------|
|
||
| **Maker-provided credentials** | Agenten bruker makerens innloggingsinfo (for autonome agenter) |
|
||
| **End user credentials** | Brukeren logger inn selv (for konversasjonelle agenter) |
|
||
| **Intern Power Platform-lagring** | Kryptert intern lagring — ingen forhåndskonfigurasjon nødvendig. Oppgi URL/app-navn + brukernavn + passord; wildcard (*) støttes for subdomener (f.eks. *.contoso.com). *(Verified MCP 2026-04)* |
|
||
| **Azure Key Vault** | Passord lagres i Key Vault — anbefalt for produksjonsmiljøer. Krever PowerPlatform resource provider registrert i Azure-abonnementet. *(Verified MCP 2026-04)* |
|
||
| **Access control** | Begrens hvilke nettsider/applikasjoner CUA kan operere på. Wildcards støttes (*.contoso.com). Desktop apps angis ved produkt-/prosessnavn (f.eks. "Microsoft Edge" eller "msedge"). *(Verified MCP 2026-04)* |
|
||
|
||
### Lisensiering (Copilot Studio, GA)
|
||
|
||
Faktureres som Agent action: **5 Copilot Credits per steg** for standardmodeller (OpenAI CUA, Claude Sonnet 4.5/4.6), og **15 Copilot Credits per steg** for premiummodell (Claude Opus 4.6). Hvert steg kan inneholde én eller flere lavnivå-handlinger som klikk, skriving eller navigering. *(Verified MCP 2026-06-19)*
|
||
|
||
Eksempel — utfylling av timeregistreringsskjema (4 steg): **20 Copilot Credits** med standardmodell, **60 Copilot Credits** med premiummodell:
|
||
1. Åpne nettleser og naviger til URL
|
||
2. Klikk "Opprett ny"
|
||
3. Fyll inn felter
|
||
4. Klikk "Send inn"
|
||
|
||
### Human Supervision
|
||
|
||
Copilot Studio har innebygd **Human Supervision**: CUA-agenten kan eskalere til en utpekt person (via Outlook) dersom den oppdager potensielt skadelige instruksjoner. Godkjenner har en definert tidsfrist — løper den ut, stopper agenten.
|
||
|
||
---
|
||
|
||
## Foundry Agent Service
|
||
|
||
Foundry Agent Service gir CUA via `computer-use-preview`-modellen:
|
||
|
||
### Tilgang og regioner
|
||
|
||
- Tilgang krever registrering: [https://aka.ms/oai/cuaaccess](https://aka.ms/oai/cuaaccess)
|
||
- Tilgjengelige regioner: `eastus2`, `swedencentral`, `southindia`
|
||
- `swedencentral` — relevant for norske offentlig sektor-kunder
|
||
|
||
### Innebygde sikkerhetssjekker
|
||
|
||
Foundry-modellen returnerer `pending_safety_checks` ved:
|
||
|
||
| Sjekktype | Trigger | Handling |
|
||
|-----------|---------|----------|
|
||
| `malicious_instructions` | Skjermbilde inneholder adversarial innhold | Bruker må bekrefte |
|
||
| `irrelevant_domain` | Nettstedet er ikke relevant for oppgaven | Bruker må bekrefte |
|
||
| `sensitive_domain` | Finansielle, helsemessige eller andre sensitive sider | "Watch mode" — aktiv brukermonitorering |
|
||
|
||
---
|
||
|
||
## Browser Automation (Playwright) — relatert kapabilitet
|
||
|
||
Som et alternativ til full CUA finnes **Browser Automation Tool** i Foundry Agent Service (public preview august 2025):
|
||
|
||
### CUA vs Browser Automation
|
||
|
||
| Egenskap | Browser Automation | Computer Use Tool |
|
||
|----------|--------------------|-------------------|
|
||
| **Modellstøtte** | Alle GPT-modeller | Kun `computer-use-preview` |
|
||
| **Visuell visning** | Nei | Ja (skjermbilder) |
|
||
| **Skjermforståelse** | Parserer HTML/XML til DOM | Råpikseldata fra skjermbilder |
|
||
| **Handlingsmetode** | Actionliste fra modellen | Virtuell mus og tastatur |
|
||
| **Grensesnitt** | Kun nettleser | Nettleser + desktop |
|
||
| **Eget ressurskrav** | Ja — Microsoft Playwright Workspace | Nei (men sandkasse anbefales) |
|
||
| **Multi-steg** | Ja | Ja |
|
||
|
||
**Browser Automation** egner seg best for web-fokuserte oppgaver der du vil bruke eksisterende GPT-modeller og kontrollere kostnaden. **Computer Use** er nødvendig for desktop-applikasjoner eller når du trenger fullstendig visuell tilbakemelding.
|
||
|
||
### Browser Automation — oppsett (Foundry)
|
||
|
||
```python
|
||
from azure.ai.agents.models import BrowserAutomationTool
|
||
|
||
browser_tool = BrowserAutomationTool(
|
||
connection_id=os.environ["AZURE_PLAYWRIGHT_CONNECTION_NAME"]
|
||
)
|
||
# Krever: azure-ai-agents >= 1.2.0b2
|
||
```
|
||
|
||
---
|
||
|
||
## Bruksområder
|
||
|
||
### Primære use cases
|
||
|
||
| Scenario | Beskrivelse | Plattform |
|
||
|----------|-------------|-----------|
|
||
| **Legacysystem-integrasjon** | Automatiser oppgaver i systemer uten API (eldre fagsystemer, mainframe-terminaler) | CUA (desktop) |
|
||
| **Skjemautfylling** | Overfør data mellom systemer via GUI (fakturaregistrering, saksbehandling) | Copilot Studio CUA |
|
||
| **Datautvinning** | Trekk ut strukturert data fra nettsider eller applikasjoner som PDF-visere | CUA + Browser Automation |
|
||
| **Regresjonstesting** | Automatisert UI-testing av webapplikasjoner | Browser Automation |
|
||
| **Cross-app arbeidsflyt** | Orkestrering på tvers av CRM, ERP, og webportaler uten integrasjonsprosjekt | CUA (desktop) |
|
||
| **Rapportgenerering** | Generer og eksporter rapporter fra dashbord og BI-verktøy | CUA / Browser Automation |
|
||
|
||
### Copilot Studio eksempelinstruksjoner
|
||
|
||
```text
|
||
Fakturaregistrering:
|
||
1. Gå til https://fakturasystem.intern/innboks og åpne siste PDF-faktura.
|
||
2. I ny fane, åpne https://erp.intern/registrer-faktura.
|
||
3. Fyll inn leverandør, beløp, fakturanummer og forfallsdato fra PDF.
|
||
4. Klikk "Lagre og send til godkjenning". Ikke spør om bekreftelse.
|
||
```
|
||
|
||
---
|
||
|
||
## Begrensninger
|
||
|
||
### Funksjonelle begrensninger
|
||
|
||
| Begrensning | Detalj |
|
||
|-------------|--------|
|
||
| **Variabel suksessrate** | Web-oppgaver ~80%, desktop-applikasjoner ~35% |
|
||
| **Inkonsistens** | Samme oppgave kan gi ulikt resultat avhengig av visuell tilstand og timing |
|
||
| **UI-kontroller** | Vanskeligheter med ikke-standardiserte elementer: datepickers, custom dropdowns, Citrix |
|
||
| **Løkketilstander** | Agenten kan henge i løkker når skjerm ikke matcher forventninger |
|
||
| **Komplekse oppgaver** | Ytelse faller ved komplekse grafiske grensesnitt og flertrinns tekstmanipulasjon |
|
||
| **Multi-skjerm** | Ikke støttet |
|
||
| **Hosted machine groups** | Ikke støttet |
|
||
| **Noen applikasjonstyper** | Electron, Java Swing, Unity, spill, CLI, Citrix — begrenset støtte |
|
||
|
||
### Hastighet
|
||
|
||
CUA er vesentlig tregere enn API-kall:
|
||
- Hvert steg tar 2-10 sekunder (modellresonnering + skjermbildeanalyse)
|
||
- En fullstendig arbeidsflyt med 10 steg tar typisk 30-120 sekunder
|
||
- Ikke egnet for sanntidsscenarier eller høy-volum-automatisering (mange hundre kjøringer/time)
|
||
|
||
### Ikke egnet for
|
||
|
||
- Finansielle transaksjoner (for høy risiko)
|
||
- Helserelaterte beslutninger
|
||
- Ansettelse/scoring-systemer
|
||
- Deling av data utenfor organisasjonen uten autorisasjon
|
||
|
||
---
|
||
|
||
## Sikkerhetsmodell
|
||
|
||
### Grunnleggende prinsipper
|
||
|
||
**Viktig:** CUA representer en av de høyeste risikoklassene i AI — den kan utføre vilkårlige handlinger på vegne av brukeren. Sikkerhetsarkitektur er kritisk.
|
||
|
||
| Tiltak | Anbefaling |
|
||
|--------|------------|
|
||
| **Sandkassemiljø** | Dedikerte VM-er uten tilgang til sensitiv data eller kritiske systemer |
|
||
| **Least privilege** | Brukerkontoen CUA opererer som skal ha minimale tillatelser |
|
||
| **Allowlist** | Begrens tilgang til forhåndsgodkjente nettsider og applikasjoner |
|
||
| **Overvåking** | Loggfør alle CUA-sesjoner med skjermbilder og handlingslogg |
|
||
| **Human-in-the-loop** | For sensitive operasjoner: krev menneskelig godkjenning |
|
||
|
||
### Prompt injection-risiko
|
||
|
||
CUA er spesielt sårbar for **prompt injection**: skadelige instruksjoner kan være innebygd i nettsider, PDF-er, eller skjermbilder som agenten tolker. Motiltak:
|
||
|
||
1. Kjør CUA i isolert nettverkssone
|
||
2. Bruk access control (allowlist) i Copilot Studio
|
||
3. Aktiver malicious instruction detection (Foundry)
|
||
4. Aldri gi CUA tilgang til credentials med administrative privilegier
|
||
5. Revurder og logg alle handlinger
|
||
|
||
### Credential management
|
||
|
||
```
|
||
Copilot Studio — preferert rekkefølge:
|
||
1. Azure Key Vault (produksjon, enterprise)
|
||
2. Power Platform intern lagring (kryptert, enklere oppsett)
|
||
3. Aldri hardkodede passord i instruksjoner
|
||
```
|
||
|
||
---
|
||
|
||
## CUA vs RPA — Sammenligning
|
||
|
||
| Dimensjon | RPA (Power Automate Desktop / UiPath) | CUA (Microsoft) |
|
||
|-----------|---------------------------------------|-----------------|
|
||
| **Automatiseringstype** | Regelbasert, deterministisk | LLM-drevet, adaptiv |
|
||
| **Interaksjonsmetode** | UI-tre (selector-basert) | Visuell tolkning (pikseldata) |
|
||
| **Forfattermetode** | Skript, opptaksverktøy, kodeblokker | Naturlige språkinstruksjoner |
|
||
| **Beslutningstaking** | Forhåndsdefinerte regler | Autonome, visuelle beslutninger |
|
||
| **Fleksibilitet** | Lav — brytes ved UI-endringer | Høy — tilpasser seg endringer |
|
||
| **Feilhåndtering** | Statisk exception handling | Selvkorrigerende basert på visuell feedback |
|
||
| **Hastighet** | Høy (ms per steg) | Lav (sekunder per steg) |
|
||
| **Kompetansekrav** | RPA-utvikler med scripting-erfaring | Domeneekspert med naturlig språk |
|
||
| **Modenhet** | GA — produksjonsklar | Copilot Studio: GA (2026-05-07). Foundry Agent Service: Preview |
|
||
|
||
### Når velge RPA
|
||
|
||
- Kun GA-funksjoner tillatt (produksjon nå)
|
||
- Stabilt brukergrensesnitt — felter og selectorer endres sjelden
|
||
- Klare regler — beslutninger kan kodes som if/else
|
||
- Høyt volum — hastighet er kritisk
|
||
- Eksisterende RPA-team og kompetanse
|
||
|
||
### Når velge CUA
|
||
|
||
- Brukergrensesnitt varierer mye eller endres hyppig
|
||
- Rask prototyping — RPA-teamets backlog er full
|
||
- Oppgaven avhenger av visuell informasjon (grafer, farger, dynamiske layout)
|
||
- Beslutningene er "fuzzy" — agenten må resonnere og selvkorrigere
|
||
- Ingen API tilgjengelig og RPA-selectors er ustabile
|
||
|
||
---
|
||
|
||
## Status og tilgjengelighet
|
||
|
||
| Plattform | Status | Tilgjengelig |
|
||
|-----------|--------|--------------|
|
||
| **Foundry Agent Service** | Public Preview | Sep 2025 |
|
||
| **Azure OpenAI (direkte)** | Public Preview | Sep 2025 |
|
||
| **Copilot Studio** | Public Preview | 2025-05-27 |
|
||
| **Copilot Studio** | GA | 2026-05-07 |
|
||
|
||
**Tilgang til `computer-use-preview`-modellen** (Foundry/Azure OpenAI) krever registrering: https://aka.ms/oai/cuaaccess
|
||
|
||
---
|
||
|
||
## Norsk offentlig sektor — Relevans
|
||
|
||
### Modernisering av legacysystemer uten API-utvikling
|
||
|
||
Norsk offentlig sektor opererer med et stort antall legacysystemer (fagsystemer fra 1990-2000-tallet) som mangler moderne API-lag. CUA åpner for:
|
||
|
||
- **Integrasjon uten systemutvikling** — Koble fagsystemer som ellers ville krevd et integrasjonsprosjekt
|
||
- **Raskere digitalisering** — Demper behov for parallell drift av manuelle prosesser
|
||
- **Lavere inngangsbarriere** — Domeneeksperter kan beskrive oppgaver uten teknisk bistand
|
||
|
||
### Aktuelle use cases i offentlig sektor
|
||
|
||
| Scenario | System | Verdi |
|
||
|----------|--------|-------|
|
||
| Automatisk saksinntasting | Sak/arkiv-systemer (Elements, Public 360) | Reduserer manuell dobbeltregistrering |
|
||
| Dataflytt fra etatssystemer | ARENA, Infoeasy, Visma Flyt | Unngå datamigreringsprosjekt |
|
||
| Rapporteksport og distribusjon | KOSTRA, BI-portaler | Automatiser periodiske rapporter |
|
||
| Testautomatisering av GUI | Offentlige selvbetjeningsportaler | Øk testdekning uten API-testhook |
|
||
|
||
### GDPR og personvern
|
||
|
||
**Kritiske krav** dersom CUA behandler personopplysninger:
|
||
|
||
| Krav | Implementasjon |
|
||
|------|----------------|
|
||
| **Dataminimering** | CUA skal kun "se" nødvendig data — bruk access control aktivt |
|
||
| **Sporbarhet** | Loggfør alle CUA-sesjoner med handlingslogg og skjermbilder (GDPR art. 5) |
|
||
| **Datalagring** | Skjermbilder sendt til modellen — velg `swedencentral` for EU-residens |
|
||
| **Behandlingsgrunnlag** | DPIA nødvendig dersom CUA behandler sensitive personopplysninger |
|
||
| **Tilgangskontroll** | Maskin-credentials skal ikke ha bredere tilgang enn nødvendig |
|
||
|
||
### Datalagring — Viktig for offentlig sektor
|
||
|
||
- **Copilot Studio CUA (GA):** Det tidligere preview-kravet om United States-region er ikke lenger oppført i GA-dokumentasjonen. Maskinvalg inkluderer **Cloud PC pool** (Entra-joined, Intune-enrollert — full governance) for produksjon; vurder geografisk tilgjengelighet via Microsofts «Feature Geographic Availability»-rapport før behandling av sensitiv persondata. *(Verified MCP 2026-06-19)*
|
||
- **Foundry Agent Service:** `swedencentral` tilgjengelig — **egnet for EU-data**
|
||
- Skjermbilder sendt til CUA-modellen er transiente — ikke persistert av Microsoft
|
||
|
||
### AI Act-implikasjoner
|
||
|
||
CUA-systemer som bidrar til saksbehandling kan klassifiseres som **høyrisiko-AI** under AI Act Annex III (offentlig administrasjon). Krav:
|
||
|
||
- Human oversight ved autonome vedtaksbidrag
|
||
- Full loggføring av agentens handlinger
|
||
- DPIA/PVK gjennomføres før produksjonssetting
|
||
|
||
---
|
||
|
||
## For Cosmo: Beslutningsveiledning
|
||
|
||
### Når anbefale CUA
|
||
|
||
**Grønt lys (CUA er riktig valg):**
|
||
- "Vi har et legacysystem som mangler API, og vi trenger integrasjon raskt"
|
||
- "Vi vil protype en arbeidsflyt — vi har ikke tid til et RPA-prosjekt"
|
||
- "Systemets grensesnitt endres jevnlig og bryter RPA-selectors"
|
||
- "Oppgaven krever visuell tolkning — grafer, farger, dynamisk innhold"
|
||
|
||
**Rødt flagg (velg noe annet):**
|
||
- "Vi trenger dette i produksjon innen 3 måneder" → CUA er Preview, bruk RPA
|
||
- "Vi trenger å prosessere 500 skjemaer per time" → CUA er for tregt, bruk API/RPA
|
||
- "Systemet håndterer helseopplysninger og vi trenger full GDPR-compliance nå" → For tidlig
|
||
- "Vi trenger deterministisk oppførsel — samme input, samme output alltid" → Bruk RPA
|
||
|
||
### Beslutningstre
|
||
|
||
```
|
||
Finnes det en API eller strukturert connector?
|
||
├─ Ja → Bruk API-integrasjon (Logic Apps, Power Automate cloud flows)
|
||
└─ Nei → Er brukergrensesnittet stabilt?
|
||
├─ Stabilt → Vurder RPA (Power Automate Desktop)
|
||
└─ Ustabilt/ukjent → Er det kun nettleser?
|
||
├─ Ja → Browser Automation Tool (enklere, billigere)
|
||
└─ Nei (desktop/mixed) → CUA
|
||
└─ Produksjonsklar nå?
|
||
├─ Ja → Vent på GA (mai 2026) eller bruk RPA midlertidig
|
||
└─ Nei (POC/pilot) → CUA er riktig
|
||
```
|
||
|
||
### Spørsmål å stille kunden
|
||
|
||
1. **Hvor mange kjøringer per dag?**
|
||
- <50: CUA (preview tolerabel)
|
||
- 50-500: Hybridstrategi (CUA + manuell fallback)
|
||
- >500: Trenger RPA eller API
|
||
|
||
2. **Hva er konsekvensen av feil?**
|
||
- Lav: CUA akseptabelt
|
||
- Høy (penger, vedtak, helse): Krev human-in-the-loop eller bruk RPA
|
||
|
||
3. **Er systemet kun web eller også desktop?**
|
||
- Kun web: Browser Automation (enklere)
|
||
- Desktop: Computer Use Tool
|
||
|
||
4. **Hvilken Microsoft-lisens har de?**
|
||
- Copilot Studio-lisens: Bruk Copilot Studio CUA
|
||
- Azure: Bruk Foundry Agent Service
|
||
|
||
5. **Er produksjonsdato etter mai 2026?**
|
||
- Ja: CUA kan planlegges
|
||
- Nei: Bruk RPA som primærstrategi, CUA som proof of concept
|
||
|
||
### Hybridarkitektur (anbefalt for offentlig sektor, 2026)
|
||
|
||
```
|
||
Power Automate Cloud Flow (orkestrator)
|
||
├─ Strukturerte data → API-kall (Logic Apps, Dataverse)
|
||
├─ Webbaserte systemer → Browser Automation Tool
|
||
└─ Legacydesktop → CUA (Computer Use Tool)
|
||
↓
|
||
Azure Key Vault (credentials)
|
||
↓
|
||
Dedikert Windows VM (sandkasse)
|
||
↓
|
||
Azure Monitor (audit log + skjermbilder)
|
||
```
|
||
|
||
---
|
||
|
||
## Kostnadsestimat
|
||
|
||
### Copilot Studio (GA, standardmodell — 5 credits/steg)
|
||
|
||
| Arbeidsflyt | Steg per kjøring | Copilot Credits | NOK per kjøring* |
|
||
|-------------|-----------------|-----------------|-----------------|
|
||
| Enkel skjemautfylling (4 steg) | 4 | 20 | ~1,50 NOK |
|
||
| Fakturaprosessering (8 steg) | 8 | 40 | ~3,00 NOK |
|
||
| Kompleks kryssystem-arbeidsflyt (20 steg) | 20 | 100 | ~7,50 NOK |
|
||
|
||
*Estimat basert på Copilot Credits à 0,075 NOK (veiledende). Premiummodell (Claude Opus 4.6) bruker 15 credits/steg — 3× kreditt-kostnaden over.
|
||
|
||
### Foundry Agent Service
|
||
|
||
Kostnader basert på:
|
||
- **`computer-use-preview`-modell**: Token-forbruk (input = skjermbilder er store)
|
||
- **Azure VM (sandkasse)**: Standard B2s (~700 NOK/mnd)
|
||
- **Azure Monitor (logging)**: ~50-200 NOK/mnd avhengig av volum
|
||
|
||
---
|
||
|
||
## Kilder og verifisering
|
||
|
||
### Microsoft Learn (Verified)
|
||
|
||
1. **Foundry Agent Service Computer Use Tool**
|
||
- https://learn.microsoft.com/azure/foundry/agents/how-to/tools/computer-use
|
||
- Confidence: **Verified** (offisiell Foundry-dokumentasjon, sep 2025)
|
||
|
||
2. **Automate web and desktop apps with computer use — Copilot Studio**
|
||
- https://learn.microsoft.com/microsoft-copilot-studio/computer-use
|
||
- Confidence: **Verified** (offisiell Copilot Studio GA-dokumentasjon, verifisert MCP 2026-06-19: 4 støttede modeller med tier/status — OpenAI CUA + Sonnet 4.5 GA, Sonnet 4.6 + Opus 4.6 Experimental; 5 credits/steg standard, 15 credits/steg premium; credentials intern/Key Vault-detaljer; access control wildcard/desktop; generativ orkestrering påkrevd; external models-krav for Anthropic. US-only region-krav er fjernet i GA-dokumentasjonen.)
|
||
|
||
3. **Configure where computer use runs**
|
||
- https://learn.microsoft.com/microsoft-copilot-studio/configure-where-computer-use-runs
|
||
- Confidence: **Verified** (Copilot Studio docs, verifisert MCP 2026-06-19: Hosted browser (preview), Cloud PC pool (preview, Windows 365 for Agents — Entra-joined/Intune-enrollert), Bring-your-own-machine via Power Automate)
|
||
|
||
4. **Browser Automation (preview) — Foundry Agent Service**
|
||
- https://learn.microsoft.com/azure/foundry/agents/how-to/tools/browser-automation
|
||
- Confidence: **Verified** (aug 2025, public preview)
|
||
|
||
5. **CUA vs RPA — Use agent tools to extend agents**
|
||
- https://learn.microsoft.com/microsoft-copilot-studio/guidance/agent-tools
|
||
- Confidence: **Verified** (Copilot Studio guidance)
|
||
|
||
6. **FAQ for the computer use tool**
|
||
- https://learn.microsoft.com/microsoft-copilot-studio/faqs-computer-use
|
||
- Confidence: **Verified** (offisiell FAQ, inkl. 80%/35% suksessrater, perception/reasoning/action-loop, human supervision-detaljer, verifisert MCP 2026-06-19)
|
||
|
||
7. **Computer Use Release Plan (2025 Wave 1)**
|
||
- https://learn.microsoft.com/power-platform/release-plan/2025wave1/microsoft-copilot-studio/automate-web-desktop-apps-computer-use
|
||
- Confidence: **Verified** (public preview 2025-05-27, GA 2026-05-07 bekreftet; verifisert MCP 2026-06-19)
|
||
|
||
8. **Announcing Computer Use tool (Preview) in Foundry Agent Service**
|
||
- https://devblogs.microsoft.com/foundry/announcing-computer-use-tool-preview-in-azure-ai-foundry-agent-service/
|
||
- Confidence: **Verified** (Microsoft Dev Blog, sep 2025)
|
||
|
||
### Confidence per seksjon
|
||
|
||
| Seksjon | Confidence | Kilde |
|
||
|---------|-----------|-------|
|
||
| CUA-konsept og aksjonssløyfe | Verified | MS Learn |
|
||
| Copilot Studio-integrasjon | Verified | MS Learn |
|
||
| Foundry Agent Service | Verified | MS Learn + Dev Blog |
|
||
| Browser Automation vs CUA | Verified | MS Learn (tabelldata) |
|
||
| Begrensninger (suksessrater) | Verified | Offisiell FAQ |
|
||
| Sikkerhetsmodell | Verified | MS Learn transparency note |
|
||
| RPA vs CUA sammenligning | Verified | Copilot Studio guidance |
|
||
| Norsk offentlig sektor | Baseline | LLM-kunnskap + GDPR/AI Act |
|
||
| Kostnadsestimat (NOK) | Estimert | Basert på Copilot Credits-modell |
|
||
|
||
**Total sources cited:** 8 unike URLs fra MCP-research
|