chore(ms-ai-architect): refresh KB medium-bucket — 74 files [skip-docs]
KB-currency refresh (medium priority, 2026-06-19) via /architect:kb-update. 74 medium-prioritets filer re-verifisert mot Microsoft Learn (MCP) — delegert til 15 parallelle Opus-subagenter (3 bølger) gruppert etter delt kilde, med disjunkte fil-sett. Verifisert i hovedkontekst (scope-sjekk + diff-review av de faktatunge gruppene + tester). Hovedendringer (faktuelle korreksjoner + currency): - Azure AI Search semantic ranker: TILGJENGELIG PÅ ALLE TIERS (også Free/Basic m/ gratis månedlig kvote) — gammel KB sa feilaktig "kun S1+". Korrigert i tier-tabell, anti-patterns og beslutningstabell (azure-ai-search-setup). - APIM score-threshold = DISTANSE (lavere = strengere): tuning-tabellen i rag-caching-optimization hadde retningen baklengs — invertert til korrekt. - Agentic retrieval GA/preview-nyanse presisert (hovedkontekst-korreksjon mot agentic-retrieval-how-to-migrate): GA via REST 2026-04-01 returnerer EKSTRAKTIV grounding (references + activity), IKKE syntetiserte svar. Answer synthesis, ikke-minimal reasoning effort (LLM query planning) og multi-turn messages forblir preview (2026-05-01-preview). Subagent hadde overforenklet til "hele kjernepipelinen GA"; rettet i agentic-rag-patterns + citation-tracking. - Copilot Studio modell-tabeller (platforms/copilot-studio): fjernet Claude Opus 4.5 + GPT-5.2 (borte fra kilde), lagt til Claude Sonnet 4.6/Opus 4.6 (GA), Opus 4.7 + Mistral Medium 3.5 (experimental); GPT-5 Reasoning/Auto = preview; A2A GA (apr 2026). - Computer Use (CUA): Copilot Studio GA 2026-05-07; 4 modeller m/ tier/status (OpenAI CUA + Sonnet 4.5 GA, Sonnet 4.6 + Opus 4.6 experimental); 5 credits/ steg standard, 15 premium; US-only region-krav FJERNET i GA-dok; Cloud PC pool + Hosted browser + bring-your-own-machine. - Azure AI Search REST API-versjoner bumpet: 2025-09-01 -> 2026-04-01 (stabil), 2025-11-01-preview -> 2026-05-01-preview (hybrid-search, rag-security-rbac, chunking). - Power Automate-integrasjon: trigger "Run a flow from Copilot" -> "When an agent calls the flow"; App Service innebygd MCP (preview) lagt til. - M365 Copilot-manifest v1.26 -> v1.28 (GA, mai) / v1.29 dokumentert (juni); "Tenant graph grounding" -> "Work IQ". - Speech fast transcription 2t/300MB -> 5t/500MB; multilingual 14 -> 15 locales (+ pt-BR). Content Understanding reasoning preview -> GA (v1.0, 2025-11-01). - Security Copilot E5 -> E5+E7. Død Databricks-URL ci-cd/best-practices -> ci-cd/flows. Prompt Flow retirement (2027-04-20 -> MAF) notert der den presenteres som go-forward. Gateway-topologi-tabell-feil rettet. - Alle 74 Last updated -> 2026-06-19. Discovery ikke kjørt (historisk kun Databricks-støy) -> 389-telling uendret, ingen resync. validate 239 PASS, kb-integrity 115/115 (262 orphan-warnings uendret), gitleaks clean. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
This commit is contained in:
parent
1228b35d81
commit
070141f06b
74 changed files with 403 additions and 384 deletions
|
|
@ -1,7 +1,7 @@
|
|||
# Computer-Using Agents (CUA)
|
||||
|
||||
**Last updated:** 2026-04 | Verified: MCP 2026-04
|
||||
**Status:** Preview (sep 2025 — Foundry Agent Service; mai 2025 — Copilot Studio)
|
||||
**Last updated:** 2026-06-19 | Verified: MCP 2026-06-19
|
||||
**Status:** Copilot Studio — GA (2026-05-07); Foundry Agent Service — Preview (sep 2025)
|
||||
**Category:** Agent Orchestration & Automation
|
||||
|
||||
---
|
||||
|
|
@ -12,7 +12,7 @@ Computer-Using Agents (CUA) er en ny klasse AI-agenter som automatiserer oppgave
|
|||
|
||||
Microsoft tilbyr CUA gjennom to primære plattformer:
|
||||
- **Azure AI Foundry Agent Service** — `computer-use-preview`-modellen via Azure OpenAI (preview sep 2025)
|
||||
- **Copilot Studio** — Computer Use som verktøy i agenter (public preview mai 2025, GA mai 2026)
|
||||
- **Copilot Studio** — Computer Use som verktøy i agenter (public preview 2025-05-27, GA 2026-05-07)
|
||||
|
||||
Den kritiske verdien: **Dersom et menneske kan bruke et program, kan CUA gjøre det samme** — uten kodeendringer i målsystemet.
|
||||
|
||||
|
|
@ -28,7 +28,7 @@ CUA kombinerer tre kapabiliteter:
|
|||
| **Resonnering** | Bestemmer neste handling basert på nåværende skjermtilstand og mål |
|
||||
| **Kontrollgenerering** | Genererer museaksjon (klikk, dra, scroll) og tastaturbevegelser |
|
||||
|
||||
Modellen som driver CUA er `computer-use-preview` — en spesialisert visjonsmodell optimert for GUI-interaksjon. I Copilot Studio støttes også **Anthropic Claude Sonnet 4.5** som alternativ modell (preview, regionutrulling pågår).
|
||||
Modellen som driver CUA er `computer-use-preview` — en spesialisert visjonsmodell optimert for GUI-interaksjon. I Copilot Studio (GA) kan du velge mellom flere modeller: **OpenAI Computer-Using Agent (CUA)** (GA, standard), **Anthropic Claude Sonnet 4.5** (GA, standard), **Anthropic Claude Sonnet 4.6** (Experimental, standard) og **Anthropic Claude Opus 4.6** (Experimental, premium). *(Verified MCP 2026-06-19)*
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -107,17 +107,17 @@ if "pending_safety_checks" in response:
|
|||
|
||||
Copilot Studio tilbyr CUA som et lavkode **Computer Use Tool** — ingen koding nødvendig.
|
||||
|
||||
**Krav (preview):** Tilgjengelig kun for miljøer der regionen er satt til **United States**. Generativ orkestrering (generative orchestrator) må aktiveres på agenten. *(Verified MCP 2026-04)*
|
||||
**Krav:** Generativ orkestrering (generative orchestration) må være aktivert på agenten. For å bruke Anthropic-modellene må administrator ha aktivert tilgang til eksterne modeller (external models) for miljøet. *(Verified MCP 2026-06-19 — det tidligere preview-kravet om United States-region er ikke lenger oppført i GA-dokumentasjonen)*
|
||||
|
||||
### Oppsett
|
||||
|
||||
1. Gå til **Tools** i agenten → **Add tool** → **New tool** → **Computer use**
|
||||
2. Velg modell: **OpenAI Computer-Using Agent** eller **Anthropic Claude Sonnet 4.5** (preview, pågående regionutrulling — krever at administrator har aktivert external models)
|
||||
2. Velg modell: **OpenAI Computer-Using Agent** (GA), **Anthropic Claude Sonnet 4.5** (GA), **Claude Sonnet 4.6** (Experimental) eller **Claude Opus 4.6** (Experimental, premium) — Anthropic-modeller krever at administrator har aktivert external models
|
||||
3. Skriv instruksjoner på naturlig norsk/engelsk (se "Best practices for instructions" under)
|
||||
4. Konfigurer **Machine** (hvor CUA kjøres):
|
||||
- Velg målmaskin fra listen, eller opprett ny via Power Automate Portal
|
||||
- **Hosted browser**: rask start, kun web — ikke anbefalt for produksjon
|
||||
- **Dedikert Windows-maskin**: gir full desktop-tilgang, anbefalt for produksjon
|
||||
- **Hosted browser (preview)** (drevet av Windows 365 for Agents): rask start uten maskinoppsett, kun web — ikke anbefalt for produksjon
|
||||
- **Cloud PC pool (preview)** (drevet av Windows 365 for Agents): skalerbar, Entra-joined og Intune-enrollert compute — full governance, ingen egen maskin nødvendig
|
||||
- **Bring-your-own-machine**: egen Windows-maskin registrert og styrt i Power Automate; gir full desktop-tilgang. *(Verified MCP 2026-06-19)*
|
||||
|
||||
**Merk:** Tilgangskontroll (access control) hindrer kun at modellen *utfører handlinger* på ikke-autoriserte nettsider/apper — ikke at de åpnes. Eksempel: Bing kan åpnes fra Edge-søkebaren selv om kun microsoft.com er på allowlisten, men interaksjon med Bing vil feile.
|
||||
|
||||
|
|
@ -131,18 +131,16 @@ Copilot Studio tilbyr CUA som et lavkode **Computer Use Tool** — ingen koding
|
|||
| **Azure Key Vault** | Passord lagres i Key Vault — anbefalt for produksjonsmiljøer. Krever PowerPlatform resource provider registrert i Azure-abonnementet. *(Verified MCP 2026-04)* |
|
||||
| **Access control** | Begrens hvilke nettsider/applikasjoner CUA kan operere på. Wildcards støttes (*.contoso.com). Desktop apps angis ved produkt-/prosessnavn (f.eks. "Microsoft Edge" eller "msedge"). *(Verified MCP 2026-04)* |
|
||||
|
||||
### Lisensiering (Copilot Studio, preview)
|
||||
### Lisensiering (Copilot Studio, GA)
|
||||
|
||||
Faktureres som Agent action: **5 Copilot Credits per steg** (hvert steg kan inneholde én eller flere lavnivå-handlinger som klikk, skriving eller navigering).
|
||||
Faktureres som Agent action: **5 Copilot Credits per steg** for standardmodeller (OpenAI CUA, Claude Sonnet 4.5/4.6), og **15 Copilot Credits per steg** for premiummodell (Claude Opus 4.6). Hvert steg kan inneholde én eller flere lavnivå-handlinger som klikk, skriving eller navigering. *(Verified MCP 2026-06-19)*
|
||||
|
||||
Eksempel — utfylling av timeregistreringsskjema (4 steg = 20 Copilot Credits):
|
||||
Eksempel — utfylling av timeregistreringsskjema (4 steg): **20 Copilot Credits** med standardmodell, **60 Copilot Credits** med premiummodell:
|
||||
1. Åpne nettleser og naviger til URL
|
||||
2. Klikk "Opprett ny"
|
||||
3. Fyll inn felter
|
||||
4. Klikk "Send inn"
|
||||
|
||||
GA (mai 2026) — endelig prismodell ikke kunngjort.
|
||||
|
||||
### Human Supervision
|
||||
|
||||
Copilot Studio har innebygd **Human Supervision**: CUA-agenten kan eskalere til en utpekt person (via Outlook) dersom den oppdager potensielt skadelige instruksjoner. Godkjenner har en definert tidsfrist — løper den ut, stopper agenten.
|
||||
|
|
@ -305,7 +303,7 @@ Copilot Studio — preferert rekkefølge:
|
|||
| **Feilhåndtering** | Statisk exception handling | Selvkorrigerende basert på visuell feedback |
|
||||
| **Hastighet** | Høy (ms per steg) | Lav (sekunder per steg) |
|
||||
| **Kompetansekrav** | RPA-utvikler med scripting-erfaring | Domeneekspert med naturlig språk |
|
||||
| **Modenhet** | GA — produksjonsklar | Preview — ikke produksjonsklar (2026) |
|
||||
| **Modenhet** | GA — produksjonsklar | Copilot Studio: GA (2026-05-07). Foundry Agent Service: Preview |
|
||||
|
||||
### Når velge RPA
|
||||
|
||||
|
|
@ -331,10 +329,10 @@ Copilot Studio — preferert rekkefølge:
|
|||
|-----------|--------|--------------|
|
||||
| **Azure AI Foundry Agent Service** | Public Preview | Sep 2025 |
|
||||
| **Azure OpenAI (direkte)** | Public Preview | Sep 2025 |
|
||||
| **Copilot Studio** | Public Preview | Mai 2025 (US-regioner) |
|
||||
| **Copilot Studio GA** | Planlagt | Mai 2026 |
|
||||
| **Copilot Studio** | Public Preview | 2025-05-27 |
|
||||
| **Copilot Studio** | GA | 2026-05-07 |
|
||||
|
||||
**Tilgang til `computer-use-preview`-modellen** krever registrering: https://aka.ms/oai/cuaaccess
|
||||
**Tilgang til `computer-use-preview`-modellen** (Foundry/Azure OpenAI) krever registrering: https://aka.ms/oai/cuaaccess
|
||||
|
||||
---
|
||||
|
||||
|
|
@ -371,7 +369,7 @@ Norsk offentlig sektor opererer med et stort antall legacysystemer (fagsystemer
|
|||
|
||||
### Datalagring — Viktig for offentlig sektor
|
||||
|
||||
- **Copilot Studio CUA:** Kjøres i US-regioner (preview) — **ikke egnet for sensitiv persondata** ennå
|
||||
- **Copilot Studio CUA (GA):** Det tidligere preview-kravet om United States-region er ikke lenger oppført i GA-dokumentasjonen. Maskinvalg inkluderer **Cloud PC pool** (Entra-joined, Intune-enrollert — full governance) for produksjon; vurder geografisk tilgjengelighet via Microsofts «Feature Geographic Availability»-rapport før behandling av sensitiv persondata. *(Verified MCP 2026-06-19)*
|
||||
- **Foundry Agent Service:** `swedencentral` tilgjengelig — **egnet for EU-data**
|
||||
- Skjermbilder sendt til CUA-modellen er transiente — ikke persistert av Microsoft
|
||||
|
||||
|
|
@ -458,7 +456,7 @@ Power Automate Cloud Flow (orkestrator)
|
|||
|
||||
## Kostnadsestimat
|
||||
|
||||
### Copilot Studio (preview)
|
||||
### Copilot Studio (GA, standardmodell — 5 credits/steg)
|
||||
|
||||
| Arbeidsflyt | Steg per kjøring | Copilot Credits | NOK per kjøring* |
|
||||
|-------------|-----------------|-----------------|-----------------|
|
||||
|
|
@ -466,7 +464,7 @@ Power Automate Cloud Flow (orkestrator)
|
|||
| Fakturaprosessering (8 steg) | 8 | 40 | ~3,00 NOK |
|
||||
| Kompleks kryssystem-arbeidsflyt (20 steg) | 20 | 100 | ~7,50 NOK |
|
||||
|
||||
*Estimat basert på Copilot Credits à 0,075 NOK (veiledende).
|
||||
*Estimat basert på Copilot Credits à 0,075 NOK (veiledende). Premiummodell (Claude Opus 4.6) bruker 15 credits/steg — 3× kreditt-kostnaden over.
|
||||
|
||||
### Azure AI Foundry Agent Service
|
||||
|
||||
|
|
@ -487,11 +485,11 @@ Kostnader basert på:
|
|||
|
||||
2. **Automate web and desktop apps with computer use — Copilot Studio**
|
||||
- https://learn.microsoft.com/microsoft-copilot-studio/computer-use
|
||||
- Confidence: **Verified** (offisiell Copilot Studio preview-dokumentasjon, oppdatert 2026-04: støttede modeller, credentials intern/Key Vault-detaljer, access control wildcard/desktop, US-only region-krav, generativ orkestrering påkrevd)
|
||||
- Confidence: **Verified** (offisiell Copilot Studio GA-dokumentasjon, verifisert MCP 2026-06-19: 4 støttede modeller med tier/status — OpenAI CUA + Sonnet 4.5 GA, Sonnet 4.6 + Opus 4.6 Experimental; 5 credits/steg standard, 15 credits/steg premium; credentials intern/Key Vault-detaljer; access control wildcard/desktop; generativ orkestrering påkrevd; external models-krav for Anthropic. US-only region-krav er fjernet i GA-dokumentasjonen.)
|
||||
|
||||
3. **Configure where computer use runs**
|
||||
- https://learn.microsoft.com/microsoft-copilot-studio/configure-where-computer-use-runs
|
||||
- Confidence: **Verified** (Copilot Studio docs, 2025)
|
||||
- Confidence: **Verified** (Copilot Studio docs, verifisert MCP 2026-06-19: Hosted browser (preview), Cloud PC pool (preview, Windows 365 for Agents — Entra-joined/Intune-enrollert), Bring-your-own-machine via Power Automate)
|
||||
|
||||
4. **Browser Automation (preview) — Foundry Agent Service**
|
||||
- https://learn.microsoft.com/azure/foundry/agents/how-to/tools/browser-automation
|
||||
|
|
@ -503,11 +501,11 @@ Kostnader basert på:
|
|||
|
||||
6. **FAQ for the computer use tool**
|
||||
- https://learn.microsoft.com/microsoft-copilot-studio/faqs-computer-use
|
||||
- Confidence: **Verified** (offisiell FAQ, inkl. 80%/35% suksessrater, human supervision-detaljer, oppdatert 2026-04)
|
||||
- Confidence: **Verified** (offisiell FAQ, inkl. 80%/35% suksessrater, perception/reasoning/action-loop, human supervision-detaljer, verifisert MCP 2026-06-19)
|
||||
|
||||
7. **Computer Use Release Plan (2025 Wave 1)**
|
||||
- https://learn.microsoft.com/power-platform/release-plan/2025wave1/microsoft-copilot-studio/automate-web-desktop-apps-computer-use
|
||||
- Confidence: **Verified** (GA mai 2026 bekreftet)
|
||||
- Confidence: **Verified** (public preview 2025-05-27, GA 2026-05-07 bekreftet; verifisert MCP 2026-06-19)
|
||||
|
||||
8. **Announcing Computer Use tool (Preview) in Azure AI Foundry Agent Service**
|
||||
- https://devblogs.microsoft.com/foundry/announcing-computer-use-tool-preview-in-azure-ai-foundry-agent-service/
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue