ms-ai-architect/skills/ms-ai-advisor/references/copilot-extensibility/copilot-analytics-and-usage-insights.md

Copilot Analytics and Usage Monitoring

Last updated: 2026-06-19 Status: GA Category: Copilot Extensibility & Integration

---

Introduksjon

Microsoft 365 Copilot analytics og usage monitoring gir organisasjoner innsikt i hvordan Copilot brukes, adopteres og skaper verdi på tvers av Microsoft 365-økosystemet. Med fire hovedkilder for rapportering – Microsoft 365 admin center, Viva Insights Copilot Dashboard, Microsoft Purview audit logs og Power Platform Analytics – kan organisasjoner måle alt fra grunnleggende lisensieringsstatus til produktivitetsimpakt og ROI.

For norske offentlige organisasjoner er systematisk måling av AI-adopsjonen kritisk for å dokumentere nytte, identifisere opplæringsbehov og sikre compliance. Analytics-verktøyene fra Microsoft tilbyr både strategiske dashboards for lederskap og operative rapporter for IT-administratorer, med innebygget personvern gjennom aggregering og minimum group sizes.

Rapportering av Copilot-bruk skiller seg fra tradisjonell Microsoft 365-rapportering ved at den kombinerer usage metrics med produktivitetsimpakt-forskning, estimert tidsbesparing og sentiment-data fra brukerundersøkelser. Dette gir et helhetlig bilde av AI-adopsjon som går utover rene aktivitetstall.

Kjernekomponenter

Rapporteringspilarer

Pilar	Verktøy	Primær målgruppe	Tilgangskrav
Operational Reports	Microsoft 365 admin center	IT-administratorer	AI Administrator
Strategic Insights	Viva Insights Copilot Dashboard	Toppledelse, team managers	AI Administrator (enable), delegert tilgang
Audit & Compliance	Microsoft Purview audit logs	Compliance officers, security	Audit Reader
Agent Analytics	Power Platform & Copilot Studio	Agent-utviklere	Copilot Studio Author

Microsoft 365 Admin Center Reports

Readiness Report:

• License eligibility (hvem oppfyller tekniske krav)
• App readiness (bruk av M365-apper som integrerer med Copilot)
• Technical requirements (potensielle deployment-blokkere)

Usage Report:

• Enabled Users vs. Active Users (licensiert vs. faktisk bruk)
• Active users rate (prosentandel av lisensierede som bruker)
• Agent usage (bruk av custom agents)
• Prompts submitted (totalt og gjennomsnitt per bruker)
• Adoption by app (Teams, Outlook, Word, Excel, PowerPoint, OneNote, Loop)
• Last activity date per bruker per app
• Copilot Chat adoption: Viser bruk av Copilot Chat (work) og Copilot Chat (web) separat (Verified 2026-06-19)
• Agent adoption: Viser aktive brukere av agenter bygget av din organisasjon (inkl. admin-godkjente og brukeropprettede agenter; agentbruk tilgjengelig fra 1. november 2024) (Verified 2026-06-19)

Oppdateringsfrekvens: Data tilgjengelig innen 72 timer etter aktivitet (UTC).

Viva Insights Copilot Dashboard

Tilgjengelig for alle med Microsoft 365-abonnement (krever ikke Viva Insights-lisens, men full funksjonalitet krever ≥50 Copilot-lisenser).

Readiness-seksjonen:

• Copilot activation progress (lisenser kjøpt, tildelt, aktive)
• Microsoft 365 app usage (Teams meetings/chat, Outlook email, Office apps)

Adoption & Impact-seksjonen:

Metrikk-kategori	Eksempel-metrics	Verdi
Adoption by group	Active users, returning users, usage intensity	Identifisere laggards og champions
Usage intensity	Frequent users (11+ actions), consistent users	Forståelse av adopsjonsmodenhet
App breakdown	Teams, Outlook, Word, Excel, PowerPoint, Copilot Chat	App-spesifikk adopsjonsrate
Feature usage	Summarize meeting, draft email, create presentation	Populære use cases
Copilot assisted hours	Estimert tidsbesparing basert på Microsoft-forskning	ROI-argumentasjon
Copilot assisted value	Tidsbesparing × hourly rate (default $72/time)	Økonomisk impact

Sentiment-seksjonen:

• Viva Pulse surveys
• Viva Glint surveys
• Custom CSV-upload
• Microsoft benchmark-sammenligninger

Datadelay: Inntil 6 dager fra aktivitet.

Microsoft Purview Audit Logs

For compliance og security auditing:

• Complete activity tracking (alle Copilot-interaksjoner)
• Prompt auditing (faktiske prompts fra brukere – krever hensyn til personvern)
• Filtering by user, date, action type, workload
• AIApp og Copilot workload-filtre

Merk: Microsoft Purview audit logs inneholder faktiske prompts brukere sender til Copilot. For offentlig sektor er dette særlig sensitivt — implementer access controls for hvem som kan lese audit logs.

Nytt (Verified 2026-06-19): Audit logs for ikke-Microsoft AI-applikasjoner bruker nå pay-as-you-go billing (180 dagers oppbevaring, fakturert per antall audit records; logges under recordType AIAppInteraction/AIApp eller enkelte ConnectedAiAppInteraction-scenarier). Microsoft 365 Copilot, Copilot Studio og Microsoft Foundry er fortsatt inkludert i Audit Standard uten ekstra kostnad.

Søk:

Purview portal > Solutions > Audit > Workloads: AIApp + Copilot

Power Platform Analytics

Power Platform Admin Center:

• Message consumption (consumption-based agents)
• Session metrics (session count, duration)
• Capacity management (billing oversight)
• Tenant-wide agent visibility

Copilot Studio Analytics (oppdatert 2026):

• Datatilgjengelighet: analytics-data opptil 360 dager; sesjonsdetaljer og transcripts kun siste 28 dager (nedlasting innen siste 29 dager). Alle tidsstempler i UTC. Test-panelaktivitet vises ikke. (Verified 2026-06-19)
• Aktive brukere (DAU/MAU): krever at agenten er satt til å kreve autentisering (Settings → Security → Authentication) (Verified 2026-06-19)
• Agent performance (respons-effektivitet)
• User satisfaction ratings (thumbs up/down med kommentarer, GA aug 2025)
• Session metrics (completion rate, abandonment)
• Topic effectiveness
• Trace data (troubleshooting) — unified activity og transcript-visning
• Agent evaluations (GA mar 2026): Valider agentytelse med tilpassbare testsett, inkl. multi-turn conversation tests
• Question themes (GA mar 2026): Grupper relaterte brukerspørsmål i temaer for dypere innsikt
• ROI analytics: Spor tids- og kostnadsbesparinger for autonome agenter (GA jul 2025)
• Download filtered questions/reactions til CSV for videre analyse

Arkitekturmønstre

Mønster 1: Hybrid Rapportering for Multi-Stakeholder Organisasjoner

Kontekst: Store organisasjoner med ulike behov for innsikt (IT ops, lederskap, compliance, HR).

Implementering:

1. Admin center reports → IT-team (daily operational monitoring)
2. Copilot Dashboard → Ledelse (weekly adoption reviews)
3. Purview audit logs → Compliance (triggered investigations)
4. Viva Insights Advanced Reporting → Analysts (quarterly deep dives)

Dataflyt:

Microsoft 365 → Telemetry pipeline
    ├─> Admin Center (operational dashboards)
    ├─> Viva Insights backend (aggregation + privacy controls)
    ├─> Purview audit storage (compliance logs)
    └─> Power Platform analytics (agent-specific metrics)

Fordeler:

• Separation of concerns (rett innsikt til rett rolle)
• Privacy by design (aggregering i Viva Insights)
• Compliance-ready (audit trail i Purview)

Ulemper:

• Krever koordinering mellom flere admin-roller
• Potensielt overlapp i metrics (ulike definisjoner av "active user")
• Datadelay varierer per plattform

Best for: Enterprise-organisasjoner med dedikert team for hver pilar.

---

Mønster 2: Survey-Drevet Adopsjonsoptimalisering

Kontekst: Organisasjoner som ønsker å kombinere kvantitative usage metrics med kvalitativ sentiment-data.

Implementering:

1. Baseline measurement (måned 1): Admin center usage report
2. Pulse surveys (månedlig): Viva Pulse 4-spørsmåls survey til aktive brukere
3. Dashboard analysis (ukentlig): Copilot Dashboard med survey-overlay
4. Intervention (ved lav sentiment): Targeted opplæring for grupper med lav satisfaction
5. Repeat (månedlig syklus)

Survey-spørsmål (Microsoft anbefalt):

• "Using Copilot helps improve the quality of my work or output"
• "Using Copilot helps me spend less mental effort on mundane or repetitive tasks"
• "Using Copilot allows me to complete tasks faster"
• "When using Copilot I am more productive"

Skalering: 5-punkt Likert → normalisert til 100-punkt skala (Strongly Agree = 100, Strongly Disagree = 0).

Fordeler:

• Kombinerer "hva" (usage) med "hvorfor" (sentiment)
• Identifiserer gap mellom bruk og opplevd verdi
• Closed-loop feedback for kontinuerlig forbedring

Ulemper:

• Survey fatigue (krever balanse mellom frekvens og respons rate)
• Ikke alle brukere svarer → selection bias
• Kvalitativ data vanskeligere å aggregere

Best for: Organisasjoner i tidlig adopsjons-fase som trenger feedback for opplæring.

---

Mønster 3: Power BI Custom Reporting med Advanced Insights

Kontekst: Analytikere som trenger granular analyse utover standard dashboards.

Implementering:

1. Setup: Viva Insights Advanced Insights Analyst Workbench
2. Data source: Microsoft 365 Copilot metrics (100+ metrics tilgjengelig)
3. Power BI templates:
   • Microsoft 365 Copilot Adoption Report
   • Microsoft 365 Copilot Impact Report
4. Custom queries: Combine Copilot metrics med organisasjons-data (HR, sales, etc.)
5. Visualization: Power BI dashboards med org-spesifikke KPIer

Eksempel-query:

Copilot usage × sales team × deal closure rate → correlation analysis

Fordeler:

• Full fleksibilitet i analyse
• Cross-data analysis (Copilot + business metrics)
• Tilpassede KPIer for spesifikke roller

Ulemper:

• Krever Insights Analyst-lisens (dyrt)
• Teknisk kompetanse nødvendig (Power BI, query design)
• Lengre time-to-insight (setup overhead)

Best for: Data-driven organisasjoner med dedikerte analytikere.

Beslutningsveiledning

Valg av rapporteringsverktøy

Scenario	Anbefalt verktøy	Hvorfor
IT-admin trenger lisens-oversikt	Admin center Readiness Report	Direkte tilgang til license eligibility
Lederskap ønsker adopsjons-trend	Copilot Dashboard Adoption page	Visualisering av 6-måneders trend, benchmarking
Compliance trenger audit trail	Purview audit logs	Complete activity tracking med filtering
ROI-beregning til CFO	Copilot Dashboard Impact page (Assisted Value)	Estimert økonomisk verdi (timebesparing × rate)
Agent-utvikler ønsker performance-metrics	Copilot Studio Analytics	Agent-spesifikk satisfaction og session metrics
Analyst vil korrelere Copilot-bruk med business outcomes	Viva Insights Advanced Reporting	Custom queries, Power BI templates

Vanlige feil

Feil	Konsekvens	Løsning
Forvente umiddelbar data	Frustrasjon når data ikke vises	Forstå datadelay: Admin center (72h), Dashboard (6 dager)
Sammenligne metrics på tvers av verktøy	Forvirring når tall ikke matcher	Ulike definisjoner av "active user", timeframes, privacy aggregering
Ignorere minimum group size	Misforstå hvorfor data mangler	Dashboard skjuler data for grupper <10 brukere (privacy)
Survey overload	Lav respons rate	Begrens til månedlig eller kvartalsvis survey
Glemme optional diagnostic data	Underrapportering av assisted hours	Enable optional diagnostic data for full coverage

Røde flagg

• 0% active users etter 2 uker: Mulig teknisk blocker (lisenser ikke aktivert, app-versjon for gammel)
• Høy enabled/lav active rate: Indikerer opplæringsbehov eller manglende use case-klarhet
• Lav sentiment til tross for høy bruk: Brukere føler seg tvunget, ikke assisted
• Agent usage = 0: Custom agents ikke delt eller discoverable
• Purview logs viser prompt leakage: Sensitive data i prompts → trenger data loss prevention (DLP) policies

Integrasjon med Microsoft-stakken

Dataflyt

Microsoft 365 Apps (Teams, Outlook, Word, etc.)
    └─> Copilot telemetry events
        ├─> Microsoft 365 admin center (aggregation)
        ├─> Viva Insights backend (privacy + enrichment)
        ├─> Purview audit storage (compliance logs)
        └─> Power Platform Dataverse (agent metrics)

Viva Insights backend
    ├─> Copilot Dashboard (web app)
    ├─> Advanced Insights Analyst Workbench
    └─> Power BI templates

Microsoft Entra ID
    └─> Manager hierarchy → Dashboard group filters
    └─> User attributes → Organizational segmentation

Integrasjonspunkter

Microsoft-tjeneste	Integrasjon	Verdi
Microsoft Entra ID	Manager hierarchy → Dashboard filters	Automatisk organisasjonssegmentering
Viva Pulse	Survey deployment → Dashboard sentiment	Seamless survey-til-innsikt workflow
Viva Glint	Copilot Impact Survey template → Dashboard	Pre-configured sentiment tracking
Power Automate	Export admin center reports → SharePoint	Automated reporting workflows
Microsoft Graph API	Programmatic access to Copilot usage data	Custom integrations (PowerShell, Python)
Microsoft Purview	Audit logs → SIEM integration	Security monitoring pipelines

Microsoft Graph API for Copilot Reporting

PowerShell eksempel:

# Hent Copilot usage user detail (siste 7 dager)
Import-Module Microsoft.Graph.Beta.Reports

Get-MgBetaReportMicrosoft365CopilotUsageUserDetail `
    -Format "application/json" `
    -Period "D7"

# Hent trend i aktive brukere (siste 30 dager)
Get-MgBetaReportMicrosoft365CopilotUserCountTrend `
    -Format "text/csv" `
    -Period "D30"

# Aggregert sammendrag (siste 90 dager)
Get-MgBetaReportMicrosoft365CopilotUserCountSummary `
    -Format "application/json" `
    -Period "D90"

API-scopes:

• Reports.Read.All (application permission)
• Reports.ReadWrite.All (for export)

Offentlig sektor (Norge)

GDPR og personvern

Persondata i rapporter:

• Admin center: User-level data (email, navn) for IT-admins – krever hensyn til dataminimering
• Copilot Dashboard: Aggregert data med minimum group size 10 (privacy by design)
• Purview audit logs: Inkluderer prompts (potensielt sensitive) – krever access controls

Compliance-krav:

• DPIA (Data Protection Impact Assessment): Påkrevd for systematic monitoring av Copilot usage
• Legal basis: Typically "legitimate interest" (arbeidsgiveransvar) – krever balansevurdering
• Transparency: Informer ansatte om at Copilot-bruk monitoreres
• Data retention: Purview audit logs default 90 dager (kan utvides til 1 år) – følg Arkivloven

Norsk særskilt:

• Forvaltningsloven § 18: Taushetsplikt ved sensitiv informasjon i prompts
• Personopplysningsloven: Right to access – ansatte kan kreve innsyn i egen Copilot-bruksdata

Schrems II og datasuverenitet

Microsoft 365 Copilot analytics-data:

• Lagres i Microsoft 365 tenant region (typisk EU for norske organisasjoner)
• Unntakt: Purview audit logs kan replikeres til US-baserte storage (Optional)

Mitigating controls:

• Velg EU-region for Purview audit log retention
• Bruk Microsoft EU Data Boundary (tilgjengelig for offentlig sektor)
• Vurder on-premises Power BI Gateway for Viva Insights eksport

AI Act (EU)

Copilot analytics som "monitoring system":

• Risk level: Lav (ikke high-risk AI system)
• Transparency krav: Informer ansatte om at AI brukes til productivity monitoring
• Human oversight: Ikke automatiserte HR-decisions basert på Copilot metrics alene

Best practice:

• Bruk Copilot metrics til opplæring og support, ikke performance reviews
• Kombiner med kvalitativ feedback (surveys, 1-on-1s)

Kostnad og lisensiering

Lisenskrav

Funksjonalitet	Lisenskrav	Merknad
Admin center reports	Microsoft 365 E3/E5 + AI Administrator role	Inkludert i base-lisens
Copilot Dashboard (limited)	<50 Copilot-lisenser	Kun tenant-level metrics
Copilot Dashboard (full)	≥50 Copilot-lisenser OR ≥50 Viva Insights-lisenser	Group-level metrics, filters, benchmarking
Viva Insights Advanced Reporting	Viva Insights-lisens (Insights Analyst role)	Dyrt (≈$20/user/måned for analyst)
Purview audit logs	Microsoft 365 E5 Compliance OR Audit Reader role	E3 har basic audit (90 dager)
Copilot Studio Analytics	Copilot Studio-lisens (inkludert i M365 Copilot)	Per agent-utvikler

Prismodell-oversikt

Microsoft 365 Copilot:

• $30/user/måned (enterprise)
• Inkluderer Viva Insights service plan (automatisk tildelt)

Viva Insights:

• Inkludert i Viva Suite ($12/user/måned)
• Standalone: ≈$6-12/user/måned (varierer)

Microsoft Purview:

• E5 Compliance: $12/user/måned (inkluderer advanced audit)
• E3 kun: Basic audit (90 dager)

Optimaliseringstips

1. Start med gratis verktøy:

   • Admin center reports (ingen ekstra kostnad)
   • Copilot Dashboard basic (under 50 lisenser)

2. Scale opp strategisk:

   • Ved ≥50 Copilot-lisenser: Full Copilot Dashboard aktiveres automatisk
   • Ved behov for advanced analytics: Viva Insights for analytiker-team (ikke alle brukere)

3. Avoid over-licensing:

   • Ikke kjøp Viva Insights for alle hvis kun noen trenger Advanced Reporting
   • Bruk delegated access i Copilot Dashboard for å dele innsikt uten lisens

4. Purview audit retention:

   • E3: 90 dager gratis → nok for de fleste compliance-behov
   • E5: 1 år retention → kun nødvendig for sensitive sektorer (finans, helse)

For arkitekten (Cosmo)

Spørsmål å stille kunden

1. Hvem trenger innsikt i Copilot-bruk?

   • IT-admins (operational) → Admin center reports
   • Lederskap (strategic) → Copilot Dashboard
   • Compliance (audit) → Purview
   • Analytikere (deep dive) → Viva Insights Advanced

2. Har dere eksisterende Viva Insights-lisenser?

   • Ja → Full Copilot Dashboard tilgjengelig umiddelbart
   • Nei → Vurder om ≥50 Copilot-lisenser gir nok funksjonalitet

3. Hva er deres primære mål med monitoring?

   • Adoption tracking → Focus on active user rate, returning users
   • ROI-dokumentasjon → Focus on assisted hours/value
   • Compliance → Focus on Purview audit logs
   • Opplæringsbehov → Focus on sentiment surveys + feature usage

4. Har dere behov for cross-data analysis?

   • Ja (f.eks. Copilot usage × sales performance) → Viva Insights Advanced + Power BI
   • Nei → Copilot Dashboard er nok

5. Hva er deres personvernpolicy for ansattmonitorering?

   • Streng → Kun aggregert data (Copilot Dashboard)
   • Moderat → User-level for IT-support (Admin center)
   • Compliance-driven → Purview audit logs med access controls

6. Bruker dere custom agents?

   • Ja → Power Platform Analytics og Copilot Studio Analytics nødvendig
   • Nei → Admin center + Copilot Dashboard dekker behovet

7. Hvilken region lagres dataene i?

   • EU → OK for de fleste norske organisasjoner
   • US → Vurder EU Data Boundary for offentlig sektor

8. Har dere SIEM-integrasjon for security monitoring?

   • Ja → Purview audit logs kan integreres via Azure Sentinel
   • Nei → Vurder om Purview alone er nok for compliance

Fallgruver

Fallgruve	Impact	Mitigering
Prompt leakage i audit logs	Sensitive data eksponert	DLP policies, access controls, retention limits
Survey fatigue	Lav respons rate → dårlig sentiment-data	Begrens til kvartalsvis eller månedlig survey
Metrics mismatch	Forvirring når Admin center ≠ Dashboard	Forklar datadelay og aggregering-logikk
Over-reliance på ROI-estimat	"Assisted value" er estimat, ikke faktisk besparelse	Kombiner med qualitative feedback
Ignoring inactive users	Fokus kun på active → glemmer de som trenger hjelp	Track inactive users for targeted opplæring
No baseline	Kan ikke måle fremgang uten før-data	Start monitoring FØR pilot er ferdig

Anbefalinger per modenhetsnivå

Beginner (0-3 måneder post-launch):

• Focus: Adoption rate, active users, basic usage metrics
• Tools: Admin center Usage Report + Copilot Dashboard Adoption page
• KPIs: Active user rate >50% innen Q1, Returning users >30%
• Actions: Identifiser inactive users → targeted opplæring

Intermediate (3-6 måneder):

• Focus: Feature adoption, sentiment, usage intensity
• Tools: Copilot Dashboard full (med surveys) + Purview audit logs
• KPIs: Positive sentiment >70%, Frequent users >40%, Top 3 features identified
• Actions: Feature-specific opplæring, case studies fra power users

Advanced (6+ måneder):

• Focus: ROI, productivity impact, cross-data analysis
• Tools: Viva Insights Advanced Reporting + Power BI templates + Purview integration
• KPIs: Assisted value >$100K/month, Productivity lift documented, Compliance audit-ready
• Actions: Business case for expansion, continuous optimization, benchmarking mot industry

Enterprise-scale:

• Focus: Multi-tenant analytics, custom KPIs, SIEM integration
• Tools: Microsoft Graph API + Power Automate workflows + Azure Sentinel
• KPIs: Custom per-division KPIs, Real-time alerting, Executive dashboards
• Actions: Federated analytics team, Automated reporting pipelines, AI Center of Excellence

Kilder og verifisering

Microsoft Learn (Verified – MCP research 2026-06-19):

• Microsoft 365 Copilot reporting options for admins
• Microsoft 365 Copilot usage report — Inkluderer nå Agent adoption-seksjon og Copilot Chat (work/web) split (Verified 2026-06-19)
• Microsoft 365 Copilot readiness report — Viser 'Suggested candidate for Copilot' (topp 25% ikke-lisensierte brukere basert på M365-bruk) (Verified 2026-06-19)
• Connect to the Microsoft Copilot Dashboard
• Copilot Analytics introduction
• Microsoft Purview audit logs for Copilot
• Copilot Studio Analytics overview

Microsoft Graph API (Verified – Code samples):

• Get-MgBetaReportMicrosoft365CopilotUsageUserDetail
• Get-MgBetaReportMicrosoft365CopilotUserCountTrend
• Get-MgBetaReportMicrosoft365CopilotUserCountSummary

Microsoft Research (Baseline – modellkunnskap, bekreftet av MCP-kilder):

• Work Trend Index: Copilot's earliest users (6 min/action research)
• ROI methodology: How we measure the value of AI at work

Confidence-nivå per seksjon:

• Kjernekomponenter: Verified (100% – direkte fra Microsoft Learn 2026-06-19)
• Arkitekturmønstre: Baseline (80% – best practices basert på Microsoft-anbefalinger)
• Beslutningsveiledning: Verified (95% – bekreftet av MCP-dokumentasjon)
• Integrasjon med Microsoft-stakken: Verified (100% – API-dokumentasjon og dataflyt-diagrammer)
• Offentlig sektor (Norge): Baseline (70% – GDPR/AI Act-krav er generelle, ikke Copilot-spesifikke)
• Kostnad og lisensiering: Verified (90% – lisenskrav bekreftet, priser er estimater per 2026-02)

---

For Cosmo: Når kunde spør om "hvordan måle Copilot-bruk", start med deres primary goal (adoption vs. ROI vs. compliance). De fleste trenger IKKE Viva Insights Advanced – Copilot Dashboard + Admin center dekker 80% av use cases. Sentiment surveys er gull for early-stage adoption. Aldri lov ROI-estimatet alene – kombiner med qualitative feedback. Offentlig sektor: vær krystallklar på at Purview audit logs kan inneholde sensitive prompts → access controls er kritisk.