KB-currency refresh (medium priority, 2026-06-19) via /architect:kb-update. 74 medium-prioritets filer re-verifisert mot Microsoft Learn (MCP) — delegert til 15 parallelle Opus-subagenter (3 bølger) gruppert etter delt kilde, med disjunkte fil-sett. Verifisert i hovedkontekst (scope-sjekk + diff-review av de faktatunge gruppene + tester). Hovedendringer (faktuelle korreksjoner + currency): - Azure AI Search semantic ranker: TILGJENGELIG PÅ ALLE TIERS (også Free/Basic m/ gratis månedlig kvote) — gammel KB sa feilaktig "kun S1+". Korrigert i tier-tabell, anti-patterns og beslutningstabell (azure-ai-search-setup). - APIM score-threshold = DISTANSE (lavere = strengere): tuning-tabellen i rag-caching-optimization hadde retningen baklengs — invertert til korrekt. - Agentic retrieval GA/preview-nyanse presisert (hovedkontekst-korreksjon mot agentic-retrieval-how-to-migrate): GA via REST 2026-04-01 returnerer EKSTRAKTIV grounding (references + activity), IKKE syntetiserte svar. Answer synthesis, ikke-minimal reasoning effort (LLM query planning) og multi-turn messages forblir preview (2026-05-01-preview). Subagent hadde overforenklet til "hele kjernepipelinen GA"; rettet i agentic-rag-patterns + citation-tracking. - Copilot Studio modell-tabeller (platforms/copilot-studio): fjernet Claude Opus 4.5 + GPT-5.2 (borte fra kilde), lagt til Claude Sonnet 4.6/Opus 4.6 (GA), Opus 4.7 + Mistral Medium 3.5 (experimental); GPT-5 Reasoning/Auto = preview; A2A GA (apr 2026). - Computer Use (CUA): Copilot Studio GA 2026-05-07; 4 modeller m/ tier/status (OpenAI CUA + Sonnet 4.5 GA, Sonnet 4.6 + Opus 4.6 experimental); 5 credits/ steg standard, 15 premium; US-only region-krav FJERNET i GA-dok; Cloud PC pool + Hosted browser + bring-your-own-machine. - Azure AI Search REST API-versjoner bumpet: 2025-09-01 -> 2026-04-01 (stabil), 2025-11-01-preview -> 2026-05-01-preview (hybrid-search, rag-security-rbac, chunking). - Power Automate-integrasjon: trigger "Run a flow from Copilot" -> "When an agent calls the flow"; App Service innebygd MCP (preview) lagt til. - M365 Copilot-manifest v1.26 -> v1.28 (GA, mai) / v1.29 dokumentert (juni); "Tenant graph grounding" -> "Work IQ". - Speech fast transcription 2t/300MB -> 5t/500MB; multilingual 14 -> 15 locales (+ pt-BR). Content Understanding reasoning preview -> GA (v1.0, 2025-11-01). - Security Copilot E5 -> E5+E7. Død Databricks-URL ci-cd/best-practices -> ci-cd/flows. Prompt Flow retirement (2027-04-20 -> MAF) notert der den presenteres som go-forward. Gateway-topologi-tabell-feil rettet. - Alle 74 Last updated -> 2026-06-19. Discovery ikke kjørt (historisk kun Databricks-støy) -> 389-telling uendret, ingen resync. validate 239 PASS, kb-integrity 115/115 (262 orphan-warnings uendret), gitleaks clean. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
496 lines
24 KiB
Markdown
496 lines
24 KiB
Markdown
# Copilot Analytics and Usage Monitoring
|
||
|
||
**Last updated:** 2026-06-19
|
||
**Status:** GA
|
||
**Category:** Copilot Extensibility & Integration
|
||
|
||
---
|
||
|
||
## Introduksjon
|
||
|
||
Microsoft 365 Copilot analytics og usage monitoring gir organisasjoner innsikt i hvordan Copilot brukes, adopteres og skaper verdi på tvers av Microsoft 365-økosystemet. Med fire hovedkilder for rapportering – Microsoft 365 admin center, Viva Insights Copilot Dashboard, Microsoft Purview audit logs og Power Platform Analytics – kan organisasjoner måle alt fra grunnleggende lisensieringsstatus til produktivitetsimpakt og ROI.
|
||
|
||
For norske offentlige organisasjoner er systematisk måling av AI-adopsjonen kritisk for å dokumentere nytte, identifisere opplæringsbehov og sikre compliance. Analytics-verktøyene fra Microsoft tilbyr både strategiske dashboards for lederskap og operative rapporter for IT-administratorer, med innebygget personvern gjennom aggregering og minimum group sizes.
|
||
|
||
Rapportering av Copilot-bruk skiller seg fra tradisjonell Microsoft 365-rapportering ved at den kombinerer usage metrics med produktivitetsimpakt-forskning, estimert tidsbesparing og sentiment-data fra brukerundersøkelser. Dette gir et helhetlig bilde av AI-adopsjon som går utover rene aktivitetstall.
|
||
|
||
## Kjernekomponenter
|
||
|
||
### Rapporteringspilarer
|
||
|
||
| Pilar | Verktøy | Primær målgruppe | Tilgangskrav |
|
||
|-------|---------|------------------|--------------|
|
||
| **Operational Reports** | Microsoft 365 admin center | IT-administratorer | AI Administrator |
|
||
| **Strategic Insights** | Viva Insights Copilot Dashboard | Toppledelse, team managers | AI Administrator (enable), delegert tilgang |
|
||
| **Audit & Compliance** | Microsoft Purview audit logs | Compliance officers, security | Audit Reader |
|
||
| **Agent Analytics** | Power Platform & Copilot Studio | Agent-utviklere | Copilot Studio Author |
|
||
|
||
### Microsoft 365 Admin Center Reports
|
||
|
||
**Readiness Report:**
|
||
- License eligibility (hvem oppfyller tekniske krav)
|
||
- App readiness (bruk av M365-apper som integrerer med Copilot)
|
||
- Technical requirements (potensielle deployment-blokkere)
|
||
|
||
**Usage Report:**
|
||
- Enabled Users vs. Active Users (licensiert vs. faktisk bruk)
|
||
- Active users rate (prosentandel av lisensierede som bruker)
|
||
- Agent usage (bruk av custom agents)
|
||
- Prompts submitted (totalt og gjennomsnitt per bruker)
|
||
- Adoption by app (Teams, Outlook, Word, Excel, PowerPoint, OneNote, Loop)
|
||
- Last activity date per bruker per app
|
||
- **Copilot Chat adoption:** Viser bruk av Copilot Chat (work) og Copilot Chat (web) separat (Verified 2026-06-19)
|
||
- **Agent adoption:** Viser aktive brukere av agenter bygget av din organisasjon (inkl. admin-godkjente og brukeropprettede agenter; agentbruk tilgjengelig fra 1. november 2024) (Verified 2026-06-19)
|
||
|
||
**Oppdateringsfrekvens:** Data tilgjengelig innen 72 timer etter aktivitet (UTC).
|
||
|
||
### Viva Insights Copilot Dashboard
|
||
|
||
Tilgjengelig for alle med Microsoft 365-abonnement (krever ikke Viva Insights-lisens, men full funksjonalitet krever ≥50 Copilot-lisenser).
|
||
|
||
**Readiness-seksjonen:**
|
||
- Copilot activation progress (lisenser kjøpt, tildelt, aktive)
|
||
- Microsoft 365 app usage (Teams meetings/chat, Outlook email, Office apps)
|
||
|
||
**Adoption & Impact-seksjonen:**
|
||
|
||
| Metrikk-kategori | Eksempel-metrics | Verdi |
|
||
|------------------|------------------|-------|
|
||
| **Adoption by group** | Active users, returning users, usage intensity | Identifisere laggards og champions |
|
||
| **Usage intensity** | Frequent users (11+ actions), consistent users | Forståelse av adopsjonsmodenhet |
|
||
| **App breakdown** | Teams, Outlook, Word, Excel, PowerPoint, Copilot Chat | App-spesifikk adopsjonsrate |
|
||
| **Feature usage** | Summarize meeting, draft email, create presentation | Populære use cases |
|
||
| **Copilot assisted hours** | Estimert tidsbesparing basert på Microsoft-forskning | ROI-argumentasjon |
|
||
| **Copilot assisted value** | Tidsbesparing × hourly rate (default $72/time) | Økonomisk impact |
|
||
|
||
**Sentiment-seksjonen:**
|
||
- Viva Pulse surveys
|
||
- Viva Glint surveys
|
||
- Custom CSV-upload
|
||
- Microsoft benchmark-sammenligninger
|
||
|
||
**Datadelay:** Inntil 6 dager fra aktivitet.
|
||
|
||
### Microsoft Purview Audit Logs
|
||
|
||
For compliance og security auditing:
|
||
|
||
- Complete activity tracking (alle Copilot-interaksjoner)
|
||
- Prompt auditing (faktiske prompts fra brukere – krever hensyn til personvern)
|
||
- Filtering by user, date, action type, workload
|
||
- AIApp og Copilot workload-filtre
|
||
|
||
**Merk:** Microsoft Purview audit logs inneholder faktiske prompts brukere sender til Copilot. For offentlig sektor er dette særlig sensitivt — implementer access controls for hvem som kan lese audit logs.
|
||
|
||
**Nytt (Verified 2026-06-19):** Audit logs for **ikke-Microsoft AI-applikasjoner** bruker nå pay-as-you-go billing (180 dagers oppbevaring, fakturert per antall audit records; logges under recordType *AIAppInteraction*/*AIApp* eller enkelte *ConnectedAiAppInteraction*-scenarier). Microsoft 365 Copilot, Copilot Studio og Microsoft Foundry er fortsatt inkludert i Audit Standard uten ekstra kostnad.
|
||
|
||
**Søk:**
|
||
```plaintext
|
||
Purview portal > Solutions > Audit > Workloads: AIApp + Copilot
|
||
```
|
||
|
||
### Power Platform Analytics
|
||
|
||
**Power Platform Admin Center:**
|
||
- Message consumption (consumption-based agents)
|
||
- Session metrics (session count, duration)
|
||
- Capacity management (billing oversight)
|
||
- Tenant-wide agent visibility
|
||
|
||
**Copilot Studio Analytics (oppdatert 2026):**
|
||
- Datatilgjengelighet: analytics-data opptil 360 dager; sesjonsdetaljer og transcripts kun siste 28 dager (nedlasting innen siste 29 dager). Alle tidsstempler i UTC. Test-panelaktivitet vises ikke. (Verified 2026-06-19)
|
||
- Aktive brukere (DAU/MAU): krever at agenten er satt til å kreve autentisering (Settings → Security → Authentication) (Verified 2026-06-19)
|
||
- Agent performance (respons-effektivitet)
|
||
- User satisfaction ratings (thumbs up/down med kommentarer, GA aug 2025)
|
||
- Session metrics (completion rate, abandonment)
|
||
- Topic effectiveness
|
||
- Trace data (troubleshooting) — unified activity og transcript-visning
|
||
- **Agent evaluations (GA mar 2026):** Valider agentytelse med tilpassbare testsett, inkl. multi-turn conversation tests
|
||
- **Question themes (GA mar 2026):** Grupper relaterte brukerspørsmål i temaer for dypere innsikt
|
||
- **ROI analytics:** Spor tids- og kostnadsbesparinger for autonome agenter (GA jul 2025)
|
||
- **Download filtered questions/reactions** til CSV for videre analyse
|
||
|
||
## Arkitekturmønstre
|
||
|
||
### Mønster 1: Hybrid Rapportering for Multi-Stakeholder Organisasjoner
|
||
|
||
**Kontekst:** Store organisasjoner med ulike behov for innsikt (IT ops, lederskap, compliance, HR).
|
||
|
||
**Implementering:**
|
||
1. **Admin center reports** → IT-team (daily operational monitoring)
|
||
2. **Copilot Dashboard** → Ledelse (weekly adoption reviews)
|
||
3. **Purview audit logs** → Compliance (triggered investigations)
|
||
4. **Viva Insights Advanced Reporting** → Analysts (quarterly deep dives)
|
||
|
||
**Dataflyt:**
|
||
```
|
||
Microsoft 365 → Telemetry pipeline
|
||
├─> Admin Center (operational dashboards)
|
||
├─> Viva Insights backend (aggregation + privacy controls)
|
||
├─> Purview audit storage (compliance logs)
|
||
└─> Power Platform analytics (agent-specific metrics)
|
||
```
|
||
|
||
**Fordeler:**
|
||
- Separation of concerns (rett innsikt til rett rolle)
|
||
- Privacy by design (aggregering i Viva Insights)
|
||
- Compliance-ready (audit trail i Purview)
|
||
|
||
**Ulemper:**
|
||
- Krever koordinering mellom flere admin-roller
|
||
- Potensielt overlapp i metrics (ulike definisjoner av "active user")
|
||
- Datadelay varierer per plattform
|
||
|
||
**Best for:** Enterprise-organisasjoner med dedikert team for hver pilar.
|
||
|
||
---
|
||
|
||
### Mønster 2: Survey-Drevet Adopsjonsoptimalisering
|
||
|
||
**Kontekst:** Organisasjoner som ønsker å kombinere kvantitative usage metrics med kvalitativ sentiment-data.
|
||
|
||
**Implementering:**
|
||
1. **Baseline measurement** (måned 1): Admin center usage report
|
||
2. **Pulse surveys** (månedlig): Viva Pulse 4-spørsmåls survey til aktive brukere
|
||
3. **Dashboard analysis** (ukentlig): Copilot Dashboard med survey-overlay
|
||
4. **Intervention** (ved lav sentiment): Targeted opplæring for grupper med lav satisfaction
|
||
5. **Repeat** (månedlig syklus)
|
||
|
||
**Survey-spørsmål (Microsoft anbefalt):**
|
||
- "Using Copilot helps improve the quality of my work or output"
|
||
- "Using Copilot helps me spend less mental effort on mundane or repetitive tasks"
|
||
- "Using Copilot allows me to complete tasks faster"
|
||
- "When using Copilot I am more productive"
|
||
|
||
**Skalering:** 5-punkt Likert → normalisert til 100-punkt skala (Strongly Agree = 100, Strongly Disagree = 0).
|
||
|
||
**Fordeler:**
|
||
- Kombinerer "hva" (usage) med "hvorfor" (sentiment)
|
||
- Identifiserer gap mellom bruk og opplevd verdi
|
||
- Closed-loop feedback for kontinuerlig forbedring
|
||
|
||
**Ulemper:**
|
||
- Survey fatigue (krever balanse mellom frekvens og respons rate)
|
||
- Ikke alle brukere svarer → selection bias
|
||
- Kvalitativ data vanskeligere å aggregere
|
||
|
||
**Best for:** Organisasjoner i tidlig adopsjons-fase som trenger feedback for opplæring.
|
||
|
||
---
|
||
|
||
### Mønster 3: Power BI Custom Reporting med Advanced Insights
|
||
|
||
**Kontekst:** Analytikere som trenger granular analyse utover standard dashboards.
|
||
|
||
**Implementering:**
|
||
1. **Setup:** Viva Insights Advanced Insights Analyst Workbench
|
||
2. **Data source:** Microsoft 365 Copilot metrics (100+ metrics tilgjengelig)
|
||
3. **Power BI templates:**
|
||
- Microsoft 365 Copilot Adoption Report
|
||
- Microsoft 365 Copilot Impact Report
|
||
4. **Custom queries:** Combine Copilot metrics med organisasjons-data (HR, sales, etc.)
|
||
5. **Visualization:** Power BI dashboards med org-spesifikke KPIer
|
||
|
||
**Eksempel-query:**
|
||
```plaintext
|
||
Copilot usage × sales team × deal closure rate → correlation analysis
|
||
```
|
||
|
||
**Fordeler:**
|
||
- Full fleksibilitet i analyse
|
||
- Cross-data analysis (Copilot + business metrics)
|
||
- Tilpassede KPIer for spesifikke roller
|
||
|
||
**Ulemper:**
|
||
- Krever Insights Analyst-lisens (dyrt)
|
||
- Teknisk kompetanse nødvendig (Power BI, query design)
|
||
- Lengre time-to-insight (setup overhead)
|
||
|
||
**Best for:** Data-driven organisasjoner med dedikerte analytikere.
|
||
|
||
## Beslutningsveiledning
|
||
|
||
### Valg av rapporteringsverktøy
|
||
|
||
| Scenario | Anbefalt verktøy | Hvorfor |
|
||
|----------|------------------|---------|
|
||
| IT-admin trenger lisens-oversikt | **Admin center Readiness Report** | Direkte tilgang til license eligibility |
|
||
| Lederskap ønsker adopsjons-trend | **Copilot Dashboard Adoption page** | Visualisering av 6-måneders trend, benchmarking |
|
||
| Compliance trenger audit trail | **Purview audit logs** | Complete activity tracking med filtering |
|
||
| ROI-beregning til CFO | **Copilot Dashboard Impact page (Assisted Value)** | Estimert økonomisk verdi (timebesparing × rate) |
|
||
| Agent-utvikler ønsker performance-metrics | **Copilot Studio Analytics** | Agent-spesifikk satisfaction og session metrics |
|
||
| Analyst vil korrelere Copilot-bruk med business outcomes | **Viva Insights Advanced Reporting** | Custom queries, Power BI templates |
|
||
|
||
### Vanlige feil
|
||
|
||
| Feil | Konsekvens | Løsning |
|
||
|------|-----------|---------|
|
||
| **Forvente umiddelbar data** | Frustrasjon når data ikke vises | Forstå datadelay: Admin center (72h), Dashboard (6 dager) |
|
||
| **Sammenligne metrics på tvers av verktøy** | Forvirring når tall ikke matcher | Ulike definisjoner av "active user", timeframes, privacy aggregering |
|
||
| **Ignorere minimum group size** | Misforstå hvorfor data mangler | Dashboard skjuler data for grupper <10 brukere (privacy) |
|
||
| **Survey overload** | Lav respons rate | Begrens til månedlig eller kvartalsvis survey |
|
||
| **Glemme optional diagnostic data** | Underrapportering av assisted hours | Enable optional diagnostic data for full coverage |
|
||
|
||
### Røde flagg
|
||
|
||
- **0% active users etter 2 uker:** Mulig teknisk blocker (lisenser ikke aktivert, app-versjon for gammel)
|
||
- **Høy enabled/lav active rate:** Indikerer opplæringsbehov eller manglende use case-klarhet
|
||
- **Lav sentiment til tross for høy bruk:** Brukere føler seg tvunget, ikke assisted
|
||
- **Agent usage = 0:** Custom agents ikke delt eller discoverable
|
||
- **Purview logs viser prompt leakage:** Sensitive data i prompts → trenger data loss prevention (DLP) policies
|
||
|
||
## Integrasjon med Microsoft-stakken
|
||
|
||
### Dataflyt
|
||
|
||
```
|
||
Microsoft 365 Apps (Teams, Outlook, Word, etc.)
|
||
└─> Copilot telemetry events
|
||
├─> Microsoft 365 admin center (aggregation)
|
||
├─> Viva Insights backend (privacy + enrichment)
|
||
├─> Purview audit storage (compliance logs)
|
||
└─> Power Platform Dataverse (agent metrics)
|
||
|
||
Viva Insights backend
|
||
├─> Copilot Dashboard (web app)
|
||
├─> Advanced Insights Analyst Workbench
|
||
└─> Power BI templates
|
||
|
||
Microsoft Entra ID
|
||
└─> Manager hierarchy → Dashboard group filters
|
||
└─> User attributes → Organizational segmentation
|
||
```
|
||
|
||
### Integrasjonspunkter
|
||
|
||
| Microsoft-tjeneste | Integrasjon | Verdi |
|
||
|--------------------|-------------|-------|
|
||
| **Microsoft Entra ID** | Manager hierarchy → Dashboard filters | Automatisk organisasjonssegmentering |
|
||
| **Viva Pulse** | Survey deployment → Dashboard sentiment | Seamless survey-til-innsikt workflow |
|
||
| **Viva Glint** | Copilot Impact Survey template → Dashboard | Pre-configured sentiment tracking |
|
||
| **Power Automate** | Export admin center reports → SharePoint | Automated reporting workflows |
|
||
| **Microsoft Graph API** | Programmatic access to Copilot usage data | Custom integrations (PowerShell, Python) |
|
||
| **Microsoft Purview** | Audit logs → SIEM integration | Security monitoring pipelines |
|
||
|
||
### Microsoft Graph API for Copilot Reporting
|
||
|
||
**PowerShell eksempel:**
|
||
|
||
```powershell
|
||
# Hent Copilot usage user detail (siste 7 dager)
|
||
Import-Module Microsoft.Graph.Beta.Reports
|
||
|
||
Get-MgBetaReportMicrosoft365CopilotUsageUserDetail `
|
||
-Format "application/json" `
|
||
-Period "D7"
|
||
|
||
# Hent trend i aktive brukere (siste 30 dager)
|
||
Get-MgBetaReportMicrosoft365CopilotUserCountTrend `
|
||
-Format "text/csv" `
|
||
-Period "D30"
|
||
|
||
# Aggregert sammendrag (siste 90 dager)
|
||
Get-MgBetaReportMicrosoft365CopilotUserCountSummary `
|
||
-Format "application/json" `
|
||
-Period "D90"
|
||
```
|
||
|
||
**API-scopes:**
|
||
- `Reports.Read.All` (application permission)
|
||
- `Reports.ReadWrite.All` (for export)
|
||
|
||
## Offentlig sektor (Norge)
|
||
|
||
### GDPR og personvern
|
||
|
||
**Persondata i rapporter:**
|
||
- **Admin center:** User-level data (email, navn) for IT-admins – krever hensyn til dataminimering
|
||
- **Copilot Dashboard:** Aggregert data med minimum group size 10 (privacy by design)
|
||
- **Purview audit logs:** Inkluderer prompts (potensielt sensitive) – krever access controls
|
||
|
||
**Compliance-krav:**
|
||
- **DPIA (Data Protection Impact Assessment):** Påkrevd for systematic monitoring av Copilot usage
|
||
- **Legal basis:** Typically "legitimate interest" (arbeidsgiveransvar) – krever balansevurdering
|
||
- **Transparency:** Informer ansatte om at Copilot-bruk monitoreres
|
||
- **Data retention:** Purview audit logs default 90 dager (kan utvides til 1 år) – følg Arkivloven
|
||
|
||
**Norsk særskilt:**
|
||
- **Forvaltningsloven § 18:** Taushetsplikt ved sensitiv informasjon i prompts
|
||
- **Personopplysningsloven:** Right to access – ansatte kan kreve innsyn i egen Copilot-bruksdata
|
||
|
||
### Schrems II og datasuverenitet
|
||
|
||
**Microsoft 365 Copilot analytics-data:**
|
||
- Lagres i Microsoft 365 tenant region (typisk EU for norske organisasjoner)
|
||
- **Unntakt:** Purview audit logs kan replikeres til US-baserte storage (Optional)
|
||
|
||
**Mitigating controls:**
|
||
- Velg EU-region for Purview audit log retention
|
||
- Bruk Microsoft EU Data Boundary (tilgjengelig for offentlig sektor)
|
||
- Vurder on-premises Power BI Gateway for Viva Insights eksport
|
||
|
||
### AI Act (EU)
|
||
|
||
**Copilot analytics som "monitoring system":**
|
||
- **Risk level:** Lav (ikke high-risk AI system)
|
||
- **Transparency krav:** Informer ansatte om at AI brukes til productivity monitoring
|
||
- **Human oversight:** Ikke automatiserte HR-decisions basert på Copilot metrics alene
|
||
|
||
**Best practice:**
|
||
- Bruk Copilot metrics til opplæring og support, ikke performance reviews
|
||
- Kombiner med kvalitativ feedback (surveys, 1-on-1s)
|
||
|
||
## Kostnad og lisensiering
|
||
|
||
### Lisenskrav
|
||
|
||
| Funksjonalitet | Lisenskrav | Merknad |
|
||
|----------------|------------|---------|
|
||
| **Admin center reports** | Microsoft 365 E3/E5 + AI Administrator role | Inkludert i base-lisens |
|
||
| **Copilot Dashboard (limited)** | <50 Copilot-lisenser | Kun tenant-level metrics |
|
||
| **Copilot Dashboard (full)** | ≥50 Copilot-lisenser OR ≥50 Viva Insights-lisenser | Group-level metrics, filters, benchmarking |
|
||
| **Viva Insights Advanced Reporting** | Viva Insights-lisens (Insights Analyst role) | Dyrt (≈$20/user/måned for analyst) |
|
||
| **Purview audit logs** | Microsoft 365 E5 Compliance OR Audit Reader role | E3 har basic audit (90 dager) |
|
||
| **Copilot Studio Analytics** | Copilot Studio-lisens (inkludert i M365 Copilot) | Per agent-utvikler |
|
||
|
||
### Prismodell-oversikt
|
||
|
||
**Microsoft 365 Copilot:**
|
||
- $30/user/måned (enterprise)
|
||
- Inkluderer Viva Insights service plan (automatisk tildelt)
|
||
|
||
**Viva Insights:**
|
||
- Inkludert i Viva Suite ($12/user/måned)
|
||
- Standalone: ≈$6-12/user/måned (varierer)
|
||
|
||
**Microsoft Purview:**
|
||
- E5 Compliance: $12/user/måned (inkluderer advanced audit)
|
||
- E3 kun: Basic audit (90 dager)
|
||
|
||
### Optimaliseringstips
|
||
|
||
1. **Start med gratis verktøy:**
|
||
- Admin center reports (ingen ekstra kostnad)
|
||
- Copilot Dashboard basic (under 50 lisenser)
|
||
|
||
2. **Scale opp strategisk:**
|
||
- Ved ≥50 Copilot-lisenser: Full Copilot Dashboard aktiveres automatisk
|
||
- Ved behov for advanced analytics: Viva Insights for analytiker-team (ikke alle brukere)
|
||
|
||
3. **Avoid over-licensing:**
|
||
- Ikke kjøp Viva Insights for alle hvis kun noen trenger Advanced Reporting
|
||
- Bruk delegated access i Copilot Dashboard for å dele innsikt uten lisens
|
||
|
||
4. **Purview audit retention:**
|
||
- E3: 90 dager gratis → nok for de fleste compliance-behov
|
||
- E5: 1 år retention → kun nødvendig for sensitive sektorer (finans, helse)
|
||
|
||
## For arkitekten (Cosmo)
|
||
|
||
### Spørsmål å stille kunden
|
||
|
||
1. **Hvem trenger innsikt i Copilot-bruk?**
|
||
- IT-admins (operational) → Admin center reports
|
||
- Lederskap (strategic) → Copilot Dashboard
|
||
- Compliance (audit) → Purview
|
||
- Analytikere (deep dive) → Viva Insights Advanced
|
||
|
||
2. **Har dere eksisterende Viva Insights-lisenser?**
|
||
- Ja → Full Copilot Dashboard tilgjengelig umiddelbart
|
||
- Nei → Vurder om ≥50 Copilot-lisenser gir nok funksjonalitet
|
||
|
||
3. **Hva er deres primære mål med monitoring?**
|
||
- Adoption tracking → Focus on active user rate, returning users
|
||
- ROI-dokumentasjon → Focus on assisted hours/value
|
||
- Compliance → Focus on Purview audit logs
|
||
- Opplæringsbehov → Focus on sentiment surveys + feature usage
|
||
|
||
4. **Har dere behov for cross-data analysis?**
|
||
- Ja (f.eks. Copilot usage × sales performance) → Viva Insights Advanced + Power BI
|
||
- Nei → Copilot Dashboard er nok
|
||
|
||
5. **Hva er deres personvernpolicy for ansattmonitorering?**
|
||
- Streng → Kun aggregert data (Copilot Dashboard)
|
||
- Moderat → User-level for IT-support (Admin center)
|
||
- Compliance-driven → Purview audit logs med access controls
|
||
|
||
6. **Bruker dere custom agents?**
|
||
- Ja → Power Platform Analytics og Copilot Studio Analytics nødvendig
|
||
- Nei → Admin center + Copilot Dashboard dekker behovet
|
||
|
||
7. **Hvilken region lagres dataene i?**
|
||
- EU → OK for de fleste norske organisasjoner
|
||
- US → Vurder EU Data Boundary for offentlig sektor
|
||
|
||
8. **Har dere SIEM-integrasjon for security monitoring?**
|
||
- Ja → Purview audit logs kan integreres via Azure Sentinel
|
||
- Nei → Vurder om Purview alone er nok for compliance
|
||
|
||
### Fallgruver
|
||
|
||
| Fallgruve | Impact | Mitigering |
|
||
|-----------|--------|------------|
|
||
| **Prompt leakage i audit logs** | Sensitive data eksponert | DLP policies, access controls, retention limits |
|
||
| **Survey fatigue** | Lav respons rate → dårlig sentiment-data | Begrens til kvartalsvis eller månedlig survey |
|
||
| **Metrics mismatch** | Forvirring når Admin center ≠ Dashboard | Forklar datadelay og aggregering-logikk |
|
||
| **Over-reliance på ROI-estimat** | "Assisted value" er estimat, ikke faktisk besparelse | Kombiner med qualitative feedback |
|
||
| **Ignoring inactive users** | Fokus kun på active → glemmer de som trenger hjelp | Track inactive users for targeted opplæring |
|
||
| **No baseline** | Kan ikke måle fremgang uten før-data | Start monitoring FØR pilot er ferdig |
|
||
|
||
### Anbefalinger per modenhetsnivå
|
||
|
||
**Beginner (0-3 måneder post-launch):**
|
||
- **Focus:** Adoption rate, active users, basic usage metrics
|
||
- **Tools:** Admin center Usage Report + Copilot Dashboard Adoption page
|
||
- **KPIs:** Active user rate >50% innen Q1, Returning users >30%
|
||
- **Actions:** Identifiser inactive users → targeted opplæring
|
||
|
||
**Intermediate (3-6 måneder):**
|
||
- **Focus:** Feature adoption, sentiment, usage intensity
|
||
- **Tools:** Copilot Dashboard full (med surveys) + Purview audit logs
|
||
- **KPIs:** Positive sentiment >70%, Frequent users >40%, Top 3 features identified
|
||
- **Actions:** Feature-specific opplæring, case studies fra power users
|
||
|
||
**Advanced (6+ måneder):**
|
||
- **Focus:** ROI, productivity impact, cross-data analysis
|
||
- **Tools:** Viva Insights Advanced Reporting + Power BI templates + Purview integration
|
||
- **KPIs:** Assisted value >$100K/month, Productivity lift documented, Compliance audit-ready
|
||
- **Actions:** Business case for expansion, continuous optimization, benchmarking mot industry
|
||
|
||
**Enterprise-scale:**
|
||
- **Focus:** Multi-tenant analytics, custom KPIs, SIEM integration
|
||
- **Tools:** Microsoft Graph API + Power Automate workflows + Azure Sentinel
|
||
- **KPIs:** Custom per-division KPIs, Real-time alerting, Executive dashboards
|
||
- **Actions:** Federated analytics team, Automated reporting pipelines, AI Center of Excellence
|
||
|
||
## Kilder og verifisering
|
||
|
||
**Microsoft Learn (Verified – MCP research 2026-06-19):**
|
||
- [Microsoft 365 Copilot reporting options for admins](https://learn.microsoft.com/en-us/copilot/microsoft-365/microsoft-365-copilot-reports-for-admins)
|
||
- [Microsoft 365 Copilot usage report](https://learn.microsoft.com/en-us/microsoft-365/admin/activity-reports/microsoft-365-copilot-usage) — Inkluderer nå Agent adoption-seksjon og Copilot Chat (work/web) split (Verified 2026-06-19)
|
||
- [Microsoft 365 Copilot readiness report](https://learn.microsoft.com/en-us/microsoft-365/admin/activity-reports/microsoft-365-copilot-readiness) — Viser 'Suggested candidate for Copilot' (topp 25% ikke-lisensierte brukere basert på M365-bruk) (Verified 2026-06-19)
|
||
- [Connect to the Microsoft Copilot Dashboard](https://learn.microsoft.com/en-us/viva/insights/org-team-insights/copilot-dashboard)
|
||
- [Copilot Analytics introduction](https://learn.microsoft.com/en-us/viva/insights/copilot-analytics-introduction)
|
||
- [Microsoft Purview audit logs for Copilot](https://learn.microsoft.com/en-us/purview/audit-copilot)
|
||
- [Copilot Studio Analytics overview](https://learn.microsoft.com/en-us/microsoft-copilot-studio/analytics-overview)
|
||
|
||
**Microsoft Graph API (Verified – Code samples):**
|
||
- [Get-MgBetaReportMicrosoft365CopilotUsageUserDetail](https://learn.microsoft.com/en-us/powershell/module/microsoft.graph.beta.reports/get-mgbetareportmicrosoft365copilotusageuserdetail)
|
||
- [Get-MgBetaReportMicrosoft365CopilotUserCountTrend](https://learn.microsoft.com/en-us/powershell/module/microsoft.graph.beta.reports/get-mgbetareportmicrosoft365copilotusercounttrend)
|
||
- [Get-MgBetaReportMicrosoft365CopilotUserCountSummary](https://learn.microsoft.com/en-us/powershell/module/microsoft.graph.beta.reports/get-mgbetareportmicrosoft365copilotusercountsummary)
|
||
|
||
**Microsoft Research (Baseline – modellkunnskap, bekreftet av MCP-kilder):**
|
||
- Work Trend Index: Copilot's earliest users (6 min/action research)
|
||
- ROI methodology: [How we measure the value of AI at work](https://www.microsoft.com/worklab/how-we-measure-the-value-of-ai-at-work)
|
||
|
||
**Confidence-nivå per seksjon:**
|
||
- **Kjernekomponenter:** Verified (100% – direkte fra Microsoft Learn 2026-06-19)
|
||
- **Arkitekturmønstre:** Baseline (80% – best practices basert på Microsoft-anbefalinger)
|
||
- **Beslutningsveiledning:** Verified (95% – bekreftet av MCP-dokumentasjon)
|
||
- **Integrasjon med Microsoft-stakken:** Verified (100% – API-dokumentasjon og dataflyt-diagrammer)
|
||
- **Offentlig sektor (Norge):** Baseline (70% – GDPR/AI Act-krav er generelle, ikke Copilot-spesifikke)
|
||
- **Kostnad og lisensiering:** Verified (90% – lisenskrav bekreftet, priser er estimater per 2026-02)
|
||
|
||
---
|
||
|
||
**For Cosmo:** Når kunde spør om "hvordan måle Copilot-bruk", start med deres primary goal (adoption vs. ROI vs. compliance). De fleste trenger IKKE Viva Insights Advanced – Copilot Dashboard + Admin center dekker 80% av use cases. Sentiment surveys er gull for early-stage adoption. Aldri lov ROI-estimatet alene – kombiner med qualitative feedback. Offentlig sektor: vær krystallklar på at Purview audit logs kan inneholde sensitive prompts → access controls er kritisk.
|