ms-ai-architect/skills/ms-ai-advisor/references/copilot-extensibility/copilot-analytics-and-usage-insights.md
Kjell Tore Guttormsen 070141f06b chore(ms-ai-architect): refresh KB medium-bucket — 74 files [skip-docs]
KB-currency refresh (medium priority, 2026-06-19) via /architect:kb-update.
74 medium-prioritets filer re-verifisert mot Microsoft Learn (MCP) — delegert
til 15 parallelle Opus-subagenter (3 bølger) gruppert etter delt kilde, med
disjunkte fil-sett. Verifisert i hovedkontekst (scope-sjekk + diff-review av
de faktatunge gruppene + tester).

Hovedendringer (faktuelle korreksjoner + currency):
- Azure AI Search semantic ranker: TILGJENGELIG PÅ ALLE TIERS (også Free/Basic
  m/ gratis månedlig kvote) — gammel KB sa feilaktig "kun S1+". Korrigert i
  tier-tabell, anti-patterns og beslutningstabell (azure-ai-search-setup).
- APIM score-threshold = DISTANSE (lavere = strengere): tuning-tabellen i
  rag-caching-optimization hadde retningen baklengs — invertert til korrekt.
- Agentic retrieval GA/preview-nyanse presisert (hovedkontekst-korreksjon mot
  agentic-retrieval-how-to-migrate): GA via REST 2026-04-01 returnerer EKSTRAKTIV
  grounding (references + activity), IKKE syntetiserte svar. Answer synthesis,
  ikke-minimal reasoning effort (LLM query planning) og multi-turn messages
  forblir preview (2026-05-01-preview). Subagent hadde overforenklet til "hele
  kjernepipelinen GA"; rettet i agentic-rag-patterns + citation-tracking.
- Copilot Studio modell-tabeller (platforms/copilot-studio): fjernet Claude Opus
  4.5 + GPT-5.2 (borte fra kilde), lagt til Claude Sonnet 4.6/Opus 4.6 (GA),
  Opus 4.7 + Mistral Medium 3.5 (experimental); GPT-5 Reasoning/Auto = preview;
  A2A GA (apr 2026).
- Computer Use (CUA): Copilot Studio GA 2026-05-07; 4 modeller m/ tier/status
  (OpenAI CUA + Sonnet 4.5 GA, Sonnet 4.6 + Opus 4.6 experimental); 5 credits/
  steg standard, 15 premium; US-only region-krav FJERNET i GA-dok; Cloud PC pool
  + Hosted browser + bring-your-own-machine.
- Azure AI Search REST API-versjoner bumpet: 2025-09-01 -> 2026-04-01 (stabil),
  2025-11-01-preview -> 2026-05-01-preview (hybrid-search, rag-security-rbac,
  chunking).
- Power Automate-integrasjon: trigger "Run a flow from Copilot" -> "When an agent
  calls the flow"; App Service innebygd MCP (preview) lagt til.
- M365 Copilot-manifest v1.26 -> v1.28 (GA, mai) / v1.29 dokumentert (juni);
  "Tenant graph grounding" -> "Work IQ".
- Speech fast transcription 2t/300MB -> 5t/500MB; multilingual 14 -> 15 locales
  (+ pt-BR). Content Understanding reasoning preview -> GA (v1.0, 2025-11-01).
- Security Copilot E5 -> E5+E7. Død Databricks-URL ci-cd/best-practices ->
  ci-cd/flows. Prompt Flow retirement (2027-04-20 -> MAF) notert der den
  presenteres som go-forward. Gateway-topologi-tabell-feil rettet.
- Alle 74 Last updated -> 2026-06-19.

Discovery ikke kjørt (historisk kun Databricks-støy) -> 389-telling uendret,
ingen resync. validate 239 PASS, kb-integrity 115/115 (262 orphan-warnings
uendret), gitleaks clean.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
2026-06-19 14:02:18 +02:00

496 lines
24 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Copilot Analytics and Usage Monitoring
**Last updated:** 2026-06-19
**Status:** GA
**Category:** Copilot Extensibility & Integration
---
## Introduksjon
Microsoft 365 Copilot analytics og usage monitoring gir organisasjoner innsikt i hvordan Copilot brukes, adopteres og skaper verdi på tvers av Microsoft 365-økosystemet. Med fire hovedkilder for rapportering Microsoft 365 admin center, Viva Insights Copilot Dashboard, Microsoft Purview audit logs og Power Platform Analytics kan organisasjoner måle alt fra grunnleggende lisensieringsstatus til produktivitetsimpakt og ROI.
For norske offentlige organisasjoner er systematisk måling av AI-adopsjonen kritisk for å dokumentere nytte, identifisere opplæringsbehov og sikre compliance. Analytics-verktøyene fra Microsoft tilbyr både strategiske dashboards for lederskap og operative rapporter for IT-administratorer, med innebygget personvern gjennom aggregering og minimum group sizes.
Rapportering av Copilot-bruk skiller seg fra tradisjonell Microsoft 365-rapportering ved at den kombinerer usage metrics med produktivitetsimpakt-forskning, estimert tidsbesparing og sentiment-data fra brukerundersøkelser. Dette gir et helhetlig bilde av AI-adopsjon som går utover rene aktivitetstall.
## Kjernekomponenter
### Rapporteringspilarer
| Pilar | Verktøy | Primær målgruppe | Tilgangskrav |
|-------|---------|------------------|--------------|
| **Operational Reports** | Microsoft 365 admin center | IT-administratorer | AI Administrator |
| **Strategic Insights** | Viva Insights Copilot Dashboard | Toppledelse, team managers | AI Administrator (enable), delegert tilgang |
| **Audit & Compliance** | Microsoft Purview audit logs | Compliance officers, security | Audit Reader |
| **Agent Analytics** | Power Platform & Copilot Studio | Agent-utviklere | Copilot Studio Author |
### Microsoft 365 Admin Center Reports
**Readiness Report:**
- License eligibility (hvem oppfyller tekniske krav)
- App readiness (bruk av M365-apper som integrerer med Copilot)
- Technical requirements (potensielle deployment-blokkere)
**Usage Report:**
- Enabled Users vs. Active Users (licensiert vs. faktisk bruk)
- Active users rate (prosentandel av lisensierede som bruker)
- Agent usage (bruk av custom agents)
- Prompts submitted (totalt og gjennomsnitt per bruker)
- Adoption by app (Teams, Outlook, Word, Excel, PowerPoint, OneNote, Loop)
- Last activity date per bruker per app
- **Copilot Chat adoption:** Viser bruk av Copilot Chat (work) og Copilot Chat (web) separat (Verified 2026-06-19)
- **Agent adoption:** Viser aktive brukere av agenter bygget av din organisasjon (inkl. admin-godkjente og brukeropprettede agenter; agentbruk tilgjengelig fra 1. november 2024) (Verified 2026-06-19)
**Oppdateringsfrekvens:** Data tilgjengelig innen 72 timer etter aktivitet (UTC).
### Viva Insights Copilot Dashboard
Tilgjengelig for alle med Microsoft 365-abonnement (krever ikke Viva Insights-lisens, men full funksjonalitet krever ≥50 Copilot-lisenser).
**Readiness-seksjonen:**
- Copilot activation progress (lisenser kjøpt, tildelt, aktive)
- Microsoft 365 app usage (Teams meetings/chat, Outlook email, Office apps)
**Adoption & Impact-seksjonen:**
| Metrikk-kategori | Eksempel-metrics | Verdi |
|------------------|------------------|-------|
| **Adoption by group** | Active users, returning users, usage intensity | Identifisere laggards og champions |
| **Usage intensity** | Frequent users (11+ actions), consistent users | Forståelse av adopsjonsmodenhet |
| **App breakdown** | Teams, Outlook, Word, Excel, PowerPoint, Copilot Chat | App-spesifikk adopsjonsrate |
| **Feature usage** | Summarize meeting, draft email, create presentation | Populære use cases |
| **Copilot assisted hours** | Estimert tidsbesparing basert på Microsoft-forskning | ROI-argumentasjon |
| **Copilot assisted value** | Tidsbesparing × hourly rate (default $72/time) | Økonomisk impact |
**Sentiment-seksjonen:**
- Viva Pulse surveys
- Viva Glint surveys
- Custom CSV-upload
- Microsoft benchmark-sammenligninger
**Datadelay:** Inntil 6 dager fra aktivitet.
### Microsoft Purview Audit Logs
For compliance og security auditing:
- Complete activity tracking (alle Copilot-interaksjoner)
- Prompt auditing (faktiske prompts fra brukere krever hensyn til personvern)
- Filtering by user, date, action type, workload
- AIApp og Copilot workload-filtre
**Merk:** Microsoft Purview audit logs inneholder faktiske prompts brukere sender til Copilot. For offentlig sektor er dette særlig sensitivt — implementer access controls for hvem som kan lese audit logs.
**Nytt (Verified 2026-06-19):** Audit logs for **ikke-Microsoft AI-applikasjoner** bruker nå pay-as-you-go billing (180 dagers oppbevaring, fakturert per antall audit records; logges under recordType *AIAppInteraction*/*AIApp* eller enkelte *ConnectedAiAppInteraction*-scenarier). Microsoft 365 Copilot, Copilot Studio og Microsoft Foundry er fortsatt inkludert i Audit Standard uten ekstra kostnad.
**Søk:**
```plaintext
Purview portal > Solutions > Audit > Workloads: AIApp + Copilot
```
### Power Platform Analytics
**Power Platform Admin Center:**
- Message consumption (consumption-based agents)
- Session metrics (session count, duration)
- Capacity management (billing oversight)
- Tenant-wide agent visibility
**Copilot Studio Analytics (oppdatert 2026):**
- Datatilgjengelighet: analytics-data opptil 360 dager; sesjonsdetaljer og transcripts kun siste 28 dager (nedlasting innen siste 29 dager). Alle tidsstempler i UTC. Test-panelaktivitet vises ikke. (Verified 2026-06-19)
- Aktive brukere (DAU/MAU): krever at agenten er satt til å kreve autentisering (Settings → Security → Authentication) (Verified 2026-06-19)
- Agent performance (respons-effektivitet)
- User satisfaction ratings (thumbs up/down med kommentarer, GA aug 2025)
- Session metrics (completion rate, abandonment)
- Topic effectiveness
- Trace data (troubleshooting) — unified activity og transcript-visning
- **Agent evaluations (GA mar 2026):** Valider agentytelse med tilpassbare testsett, inkl. multi-turn conversation tests
- **Question themes (GA mar 2026):** Grupper relaterte brukerspørsmål i temaer for dypere innsikt
- **ROI analytics:** Spor tids- og kostnadsbesparinger for autonome agenter (GA jul 2025)
- **Download filtered questions/reactions** til CSV for videre analyse
## Arkitekturmønstre
### Mønster 1: Hybrid Rapportering for Multi-Stakeholder Organisasjoner
**Kontekst:** Store organisasjoner med ulike behov for innsikt (IT ops, lederskap, compliance, HR).
**Implementering:**
1. **Admin center reports** → IT-team (daily operational monitoring)
2. **Copilot Dashboard** → Ledelse (weekly adoption reviews)
3. **Purview audit logs** → Compliance (triggered investigations)
4. **Viva Insights Advanced Reporting** → Analysts (quarterly deep dives)
**Dataflyt:**
```
Microsoft 365 → Telemetry pipeline
├─> Admin Center (operational dashboards)
├─> Viva Insights backend (aggregation + privacy controls)
├─> Purview audit storage (compliance logs)
└─> Power Platform analytics (agent-specific metrics)
```
**Fordeler:**
- Separation of concerns (rett innsikt til rett rolle)
- Privacy by design (aggregering i Viva Insights)
- Compliance-ready (audit trail i Purview)
**Ulemper:**
- Krever koordinering mellom flere admin-roller
- Potensielt overlapp i metrics (ulike definisjoner av "active user")
- Datadelay varierer per plattform
**Best for:** Enterprise-organisasjoner med dedikert team for hver pilar.
---
### Mønster 2: Survey-Drevet Adopsjonsoptimalisering
**Kontekst:** Organisasjoner som ønsker å kombinere kvantitative usage metrics med kvalitativ sentiment-data.
**Implementering:**
1. **Baseline measurement** (måned 1): Admin center usage report
2. **Pulse surveys** (månedlig): Viva Pulse 4-spørsmåls survey til aktive brukere
3. **Dashboard analysis** (ukentlig): Copilot Dashboard med survey-overlay
4. **Intervention** (ved lav sentiment): Targeted opplæring for grupper med lav satisfaction
5. **Repeat** (månedlig syklus)
**Survey-spørsmål (Microsoft anbefalt):**
- "Using Copilot helps improve the quality of my work or output"
- "Using Copilot helps me spend less mental effort on mundane or repetitive tasks"
- "Using Copilot allows me to complete tasks faster"
- "When using Copilot I am more productive"
**Skalering:** 5-punkt Likert → normalisert til 100-punkt skala (Strongly Agree = 100, Strongly Disagree = 0).
**Fordeler:**
- Kombinerer "hva" (usage) med "hvorfor" (sentiment)
- Identifiserer gap mellom bruk og opplevd verdi
- Closed-loop feedback for kontinuerlig forbedring
**Ulemper:**
- Survey fatigue (krever balanse mellom frekvens og respons rate)
- Ikke alle brukere svarer → selection bias
- Kvalitativ data vanskeligere å aggregere
**Best for:** Organisasjoner i tidlig adopsjons-fase som trenger feedback for opplæring.
---
### Mønster 3: Power BI Custom Reporting med Advanced Insights
**Kontekst:** Analytikere som trenger granular analyse utover standard dashboards.
**Implementering:**
1. **Setup:** Viva Insights Advanced Insights Analyst Workbench
2. **Data source:** Microsoft 365 Copilot metrics (100+ metrics tilgjengelig)
3. **Power BI templates:**
- Microsoft 365 Copilot Adoption Report
- Microsoft 365 Copilot Impact Report
4. **Custom queries:** Combine Copilot metrics med organisasjons-data (HR, sales, etc.)
5. **Visualization:** Power BI dashboards med org-spesifikke KPIer
**Eksempel-query:**
```plaintext
Copilot usage × sales team × deal closure rate → correlation analysis
```
**Fordeler:**
- Full fleksibilitet i analyse
- Cross-data analysis (Copilot + business metrics)
- Tilpassede KPIer for spesifikke roller
**Ulemper:**
- Krever Insights Analyst-lisens (dyrt)
- Teknisk kompetanse nødvendig (Power BI, query design)
- Lengre time-to-insight (setup overhead)
**Best for:** Data-driven organisasjoner med dedikerte analytikere.
## Beslutningsveiledning
### Valg av rapporteringsverktøy
| Scenario | Anbefalt verktøy | Hvorfor |
|----------|------------------|---------|
| IT-admin trenger lisens-oversikt | **Admin center Readiness Report** | Direkte tilgang til license eligibility |
| Lederskap ønsker adopsjons-trend | **Copilot Dashboard Adoption page** | Visualisering av 6-måneders trend, benchmarking |
| Compliance trenger audit trail | **Purview audit logs** | Complete activity tracking med filtering |
| ROI-beregning til CFO | **Copilot Dashboard Impact page (Assisted Value)** | Estimert økonomisk verdi (timebesparing × rate) |
| Agent-utvikler ønsker performance-metrics | **Copilot Studio Analytics** | Agent-spesifikk satisfaction og session metrics |
| Analyst vil korrelere Copilot-bruk med business outcomes | **Viva Insights Advanced Reporting** | Custom queries, Power BI templates |
### Vanlige feil
| Feil | Konsekvens | Løsning |
|------|-----------|---------|
| **Forvente umiddelbar data** | Frustrasjon når data ikke vises | Forstå datadelay: Admin center (72h), Dashboard (6 dager) |
| **Sammenligne metrics på tvers av verktøy** | Forvirring når tall ikke matcher | Ulike definisjoner av "active user", timeframes, privacy aggregering |
| **Ignorere minimum group size** | Misforstå hvorfor data mangler | Dashboard skjuler data for grupper <10 brukere (privacy) |
| **Survey overload** | Lav respons rate | Begrens til månedlig eller kvartalsvis survey |
| **Glemme optional diagnostic data** | Underrapportering av assisted hours | Enable optional diagnostic data for full coverage |
### Røde flagg
- **0% active users etter 2 uker:** Mulig teknisk blocker (lisenser ikke aktivert, app-versjon for gammel)
- **Høy enabled/lav active rate:** Indikerer opplæringsbehov eller manglende use case-klarhet
- **Lav sentiment til tross for høy bruk:** Brukere føler seg tvunget, ikke assisted
- **Agent usage = 0:** Custom agents ikke delt eller discoverable
- **Purview logs viser prompt leakage:** Sensitive data i prompts → trenger data loss prevention (DLP) policies
## Integrasjon med Microsoft-stakken
### Dataflyt
```
Microsoft 365 Apps (Teams, Outlook, Word, etc.)
└─> Copilot telemetry events
├─> Microsoft 365 admin center (aggregation)
├─> Viva Insights backend (privacy + enrichment)
├─> Purview audit storage (compliance logs)
└─> Power Platform Dataverse (agent metrics)
Viva Insights backend
├─> Copilot Dashboard (web app)
├─> Advanced Insights Analyst Workbench
└─> Power BI templates
Microsoft Entra ID
└─> Manager hierarchy → Dashboard group filters
└─> User attributes → Organizational segmentation
```
### Integrasjonspunkter
| Microsoft-tjeneste | Integrasjon | Verdi |
|--------------------|-------------|-------|
| **Microsoft Entra ID** | Manager hierarchy → Dashboard filters | Automatisk organisasjonssegmentering |
| **Viva Pulse** | Survey deployment → Dashboard sentiment | Seamless survey-til-innsikt workflow |
| **Viva Glint** | Copilot Impact Survey template → Dashboard | Pre-configured sentiment tracking |
| **Power Automate** | Export admin center reports → SharePoint | Automated reporting workflows |
| **Microsoft Graph API** | Programmatic access to Copilot usage data | Custom integrations (PowerShell, Python) |
| **Microsoft Purview** | Audit logs → SIEM integration | Security monitoring pipelines |
### Microsoft Graph API for Copilot Reporting
**PowerShell eksempel:**
```powershell
# Hent Copilot usage user detail (siste 7 dager)
Import-Module Microsoft.Graph.Beta.Reports
Get-MgBetaReportMicrosoft365CopilotUsageUserDetail `
-Format "application/json" `
-Period "D7"
# Hent trend i aktive brukere (siste 30 dager)
Get-MgBetaReportMicrosoft365CopilotUserCountTrend `
-Format "text/csv" `
-Period "D30"
# Aggregert sammendrag (siste 90 dager)
Get-MgBetaReportMicrosoft365CopilotUserCountSummary `
-Format "application/json" `
-Period "D90"
```
**API-scopes:**
- `Reports.Read.All` (application permission)
- `Reports.ReadWrite.All` (for export)
## Offentlig sektor (Norge)
### GDPR og personvern
**Persondata i rapporter:**
- **Admin center:** User-level data (email, navn) for IT-admins krever hensyn til dataminimering
- **Copilot Dashboard:** Aggregert data med minimum group size 10 (privacy by design)
- **Purview audit logs:** Inkluderer prompts (potensielt sensitive) krever access controls
**Compliance-krav:**
- **DPIA (Data Protection Impact Assessment):** Påkrevd for systematic monitoring av Copilot usage
- **Legal basis:** Typically "legitimate interest" (arbeidsgiveransvar) krever balansevurdering
- **Transparency:** Informer ansatte om at Copilot-bruk monitoreres
- **Data retention:** Purview audit logs default 90 dager (kan utvides til 1 år) følg Arkivloven
**Norsk særskilt:**
- **Forvaltningsloven § 18:** Taushetsplikt ved sensitiv informasjon i prompts
- **Personopplysningsloven:** Right to access ansatte kan kreve innsyn i egen Copilot-bruksdata
### Schrems II og datasuverenitet
**Microsoft 365 Copilot analytics-data:**
- Lagres i Microsoft 365 tenant region (typisk EU for norske organisasjoner)
- **Unntakt:** Purview audit logs kan replikeres til US-baserte storage (Optional)
**Mitigating controls:**
- Velg EU-region for Purview audit log retention
- Bruk Microsoft EU Data Boundary (tilgjengelig for offentlig sektor)
- Vurder on-premises Power BI Gateway for Viva Insights eksport
### AI Act (EU)
**Copilot analytics som "monitoring system":**
- **Risk level:** Lav (ikke high-risk AI system)
- **Transparency krav:** Informer ansatte om at AI brukes til productivity monitoring
- **Human oversight:** Ikke automatiserte HR-decisions basert på Copilot metrics alene
**Best practice:**
- Bruk Copilot metrics til opplæring og support, ikke performance reviews
- Kombiner med kvalitativ feedback (surveys, 1-on-1s)
## Kostnad og lisensiering
### Lisenskrav
| Funksjonalitet | Lisenskrav | Merknad |
|----------------|------------|---------|
| **Admin center reports** | Microsoft 365 E3/E5 + AI Administrator role | Inkludert i base-lisens |
| **Copilot Dashboard (limited)** | <50 Copilot-lisenser | Kun tenant-level metrics |
| **Copilot Dashboard (full)** | ≥50 Copilot-lisenser OR ≥50 Viva Insights-lisenser | Group-level metrics, filters, benchmarking |
| **Viva Insights Advanced Reporting** | Viva Insights-lisens (Insights Analyst role) | Dyrt (≈$20/user/måned for analyst) |
| **Purview audit logs** | Microsoft 365 E5 Compliance OR Audit Reader role | E3 har basic audit (90 dager) |
| **Copilot Studio Analytics** | Copilot Studio-lisens (inkludert i M365 Copilot) | Per agent-utvikler |
### Prismodell-oversikt
**Microsoft 365 Copilot:**
- $30/user/måned (enterprise)
- Inkluderer Viva Insights service plan (automatisk tildelt)
**Viva Insights:**
- Inkludert i Viva Suite ($12/user/måned)
- Standalone: ≈$6-12/user/måned (varierer)
**Microsoft Purview:**
- E5 Compliance: $12/user/måned (inkluderer advanced audit)
- E3 kun: Basic audit (90 dager)
### Optimaliseringstips
1. **Start med gratis verktøy:**
- Admin center reports (ingen ekstra kostnad)
- Copilot Dashboard basic (under 50 lisenser)
2. **Scale opp strategisk:**
- Ved ≥50 Copilot-lisenser: Full Copilot Dashboard aktiveres automatisk
- Ved behov for advanced analytics: Viva Insights for analytiker-team (ikke alle brukere)
3. **Avoid over-licensing:**
- Ikke kjøp Viva Insights for alle hvis kun noen trenger Advanced Reporting
- Bruk delegated access i Copilot Dashboard for å dele innsikt uten lisens
4. **Purview audit retention:**
- E3: 90 dager gratis → nok for de fleste compliance-behov
- E5: 1 år retention → kun nødvendig for sensitive sektorer (finans, helse)
## For arkitekten (Cosmo)
### Spørsmål å stille kunden
1. **Hvem trenger innsikt i Copilot-bruk?**
- IT-admins (operational) → Admin center reports
- Lederskap (strategic) → Copilot Dashboard
- Compliance (audit) → Purview
- Analytikere (deep dive) → Viva Insights Advanced
2. **Har dere eksisterende Viva Insights-lisenser?**
- Ja → Full Copilot Dashboard tilgjengelig umiddelbart
- Nei → Vurder om ≥50 Copilot-lisenser gir nok funksjonalitet
3. **Hva er deres primære mål med monitoring?**
- Adoption tracking → Focus on active user rate, returning users
- ROI-dokumentasjon → Focus on assisted hours/value
- Compliance → Focus on Purview audit logs
- Opplæringsbehov → Focus on sentiment surveys + feature usage
4. **Har dere behov for cross-data analysis?**
- Ja (f.eks. Copilot usage × sales performance) → Viva Insights Advanced + Power BI
- Nei → Copilot Dashboard er nok
5. **Hva er deres personvernpolicy for ansattmonitorering?**
- Streng → Kun aggregert data (Copilot Dashboard)
- Moderat → User-level for IT-support (Admin center)
- Compliance-driven → Purview audit logs med access controls
6. **Bruker dere custom agents?**
- Ja → Power Platform Analytics og Copilot Studio Analytics nødvendig
- Nei → Admin center + Copilot Dashboard dekker behovet
7. **Hvilken region lagres dataene i?**
- EU → OK for de fleste norske organisasjoner
- US → Vurder EU Data Boundary for offentlig sektor
8. **Har dere SIEM-integrasjon for security monitoring?**
- Ja → Purview audit logs kan integreres via Azure Sentinel
- Nei → Vurder om Purview alone er nok for compliance
### Fallgruver
| Fallgruve | Impact | Mitigering |
|-----------|--------|------------|
| **Prompt leakage i audit logs** | Sensitive data eksponert | DLP policies, access controls, retention limits |
| **Survey fatigue** | Lav respons rate → dårlig sentiment-data | Begrens til kvartalsvis eller månedlig survey |
| **Metrics mismatch** | Forvirring når Admin center ≠ Dashboard | Forklar datadelay og aggregering-logikk |
| **Over-reliance på ROI-estimat** | "Assisted value" er estimat, ikke faktisk besparelse | Kombiner med qualitative feedback |
| **Ignoring inactive users** | Fokus kun på active → glemmer de som trenger hjelp | Track inactive users for targeted opplæring |
| **No baseline** | Kan ikke måle fremgang uten før-data | Start monitoring FØR pilot er ferdig |
### Anbefalinger per modenhetsnivå
**Beginner (0-3 måneder post-launch):**
- **Focus:** Adoption rate, active users, basic usage metrics
- **Tools:** Admin center Usage Report + Copilot Dashboard Adoption page
- **KPIs:** Active user rate >50% innen Q1, Returning users >30%
- **Actions:** Identifiser inactive users → targeted opplæring
**Intermediate (3-6 måneder):**
- **Focus:** Feature adoption, sentiment, usage intensity
- **Tools:** Copilot Dashboard full (med surveys) + Purview audit logs
- **KPIs:** Positive sentiment >70%, Frequent users >40%, Top 3 features identified
- **Actions:** Feature-specific opplæring, case studies fra power users
**Advanced (6+ måneder):**
- **Focus:** ROI, productivity impact, cross-data analysis
- **Tools:** Viva Insights Advanced Reporting + Power BI templates + Purview integration
- **KPIs:** Assisted value >$100K/month, Productivity lift documented, Compliance audit-ready
- **Actions:** Business case for expansion, continuous optimization, benchmarking mot industry
**Enterprise-scale:**
- **Focus:** Multi-tenant analytics, custom KPIs, SIEM integration
- **Tools:** Microsoft Graph API + Power Automate workflows + Azure Sentinel
- **KPIs:** Custom per-division KPIs, Real-time alerting, Executive dashboards
- **Actions:** Federated analytics team, Automated reporting pipelines, AI Center of Excellence
## Kilder og verifisering
**Microsoft Learn (Verified MCP research 2026-06-19):**
- [Microsoft 365 Copilot reporting options for admins](https://learn.microsoft.com/en-us/copilot/microsoft-365/microsoft-365-copilot-reports-for-admins)
- [Microsoft 365 Copilot usage report](https://learn.microsoft.com/en-us/microsoft-365/admin/activity-reports/microsoft-365-copilot-usage) — Inkluderer nå Agent adoption-seksjon og Copilot Chat (work/web) split (Verified 2026-06-19)
- [Microsoft 365 Copilot readiness report](https://learn.microsoft.com/en-us/microsoft-365/admin/activity-reports/microsoft-365-copilot-readiness) — Viser 'Suggested candidate for Copilot' (topp 25% ikke-lisensierte brukere basert på M365-bruk) (Verified 2026-06-19)
- [Connect to the Microsoft Copilot Dashboard](https://learn.microsoft.com/en-us/viva/insights/org-team-insights/copilot-dashboard)
- [Copilot Analytics introduction](https://learn.microsoft.com/en-us/viva/insights/copilot-analytics-introduction)
- [Microsoft Purview audit logs for Copilot](https://learn.microsoft.com/en-us/purview/audit-copilot)
- [Copilot Studio Analytics overview](https://learn.microsoft.com/en-us/microsoft-copilot-studio/analytics-overview)
**Microsoft Graph API (Verified Code samples):**
- [Get-MgBetaReportMicrosoft365CopilotUsageUserDetail](https://learn.microsoft.com/en-us/powershell/module/microsoft.graph.beta.reports/get-mgbetareportmicrosoft365copilotusageuserdetail)
- [Get-MgBetaReportMicrosoft365CopilotUserCountTrend](https://learn.microsoft.com/en-us/powershell/module/microsoft.graph.beta.reports/get-mgbetareportmicrosoft365copilotusercounttrend)
- [Get-MgBetaReportMicrosoft365CopilotUserCountSummary](https://learn.microsoft.com/en-us/powershell/module/microsoft.graph.beta.reports/get-mgbetareportmicrosoft365copilotusercountsummary)
**Microsoft Research (Baseline modellkunnskap, bekreftet av MCP-kilder):**
- Work Trend Index: Copilot's earliest users (6 min/action research)
- ROI methodology: [How we measure the value of AI at work](https://www.microsoft.com/worklab/how-we-measure-the-value-of-ai-at-work)
**Confidence-nivå per seksjon:**
- **Kjernekomponenter:** Verified (100% direkte fra Microsoft Learn 2026-06-19)
- **Arkitekturmønstre:** Baseline (80% best practices basert på Microsoft-anbefalinger)
- **Beslutningsveiledning:** Verified (95% bekreftet av MCP-dokumentasjon)
- **Integrasjon med Microsoft-stakken:** Verified (100% API-dokumentasjon og dataflyt-diagrammer)
- **Offentlig sektor (Norge):** Baseline (70% GDPR/AI Act-krav er generelle, ikke Copilot-spesifikke)
- **Kostnad og lisensiering:** Verified (90% lisenskrav bekreftet, priser er estimater per 2026-02)
---
**For Cosmo:** Når kunde spør om "hvordan måle Copilot-bruk", start med deres primary goal (adoption vs. ROI vs. compliance). De fleste trenger IKKE Viva Insights Advanced Copilot Dashboard + Admin center dekker 80% av use cases. Sentiment surveys er gull for early-stage adoption. Aldri lov ROI-estimatet alene kombiner med qualitative feedback. Offentlig sektor: vær krystallklar på at Purview audit logs kan inneholde sensitive prompts → access controls er kritisk.