ms-ai-architect/skills/ms-ai-governance/references/responsible-ai/responsible-ai-framework-overview.md
Kjell Tore Guttormsen 565043dbde docs(architect): weekly KB update — 66 files refreshed (2026-04)
Updated 66 stale knowledge base reference files (10 critical, 56 high)
across all 5 skills using Microsoft Learn MCP research.

Key factual updates:
- Groundedness Detection API: `correction` → `mitigating` param,
  `correctedText` → `correctionText` (breaking change)
- Copilot Studio: GPT-4.1 mini now default (was GPT-4o mini);
  Claude Sonnet 4.5 + Opus 4.5 added (experimental, 200K ctx)
- Agentic Retrieval: still public preview; 50M free tokens/month
- Azure security baselines: "Cognitive Services" → "Foundry Tools"
- Databricks: Delta Live Tables → Lakeflow Spark Declarative Pipelines
- MLflow 3 GenAI: new Feedback/Expectation data model
- Token tracking doc: "Azure OpenAI in Foundry Models through a gateway"
- Agent Registry: Risks column (M365 E7), Graph API (preview)
- Copilot DLP: new Entra AI Admin + Purview Data Security AI Admin roles
- ISO/IEC 42001: scope expanded to M365 Copilot, Foundry, Security Copilot
- Zero Trust: CAE now via Conditional Access, Strict Location Enforcement
- Purview: new Fabric Copilots/agents governance section
- AG-UI HITL: ApprovalRequiredAIFunction (C#), @tool approval_mode (Python)

All files: Last updated → 2026-04, *(Verified MCP 2026-04)* markers added.
Build registry: 1341 URLs from 387 files (+2 new URLs).

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-09 22:41:26 +02:00

366 lines
21 KiB
Markdown

# Responsible AI Framework - Microsoft's Core Principles
**Last updated:** 2026-04
**Status:** GA
**Category:** Responsible AI & Governance
---
## Introduksjon
Microsoft Responsible AI Framework er et omfattende rammeverk for å utvikle, vurdere og deploye AI-systemer på en trygg, etisk og tillitsskapende måte. Rammeverket bygger på seks kjerneprinsippers: **fairness, reliability and safety, privacy and security, inclusiveness, transparency og accountability**.
Responsible AI er ikke bare teknologi — det omfatter menneskene som bruker det, de som påvirkes av det, og miljøet det deployes i. Microsoft har utviklet [Responsible AI Standard](https://blogs.microsoft.com/wp-content/uploads/prod/sites/5/2022/06/Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf) (v2), som detaljerer hvordan disse prinsippene integreres i engineering-team, AI-livssyklusen og verktøy.
**Relevans:** Gjelder alle Microsoft AI-tjenester — Azure AI Foundry, Copilot Studio, M365 Copilot, Power Platform AI, Azure OpenAI, Azure Machine Learning.
**Confidence:** ✅ High — Basert på offisiell Microsoft-dokumentasjon fra 2025-2026.
---
## Kjernekomponenter / Nøkkelegenskaper
### De seks prinsippene (RAI Standard v2)
| Prinsipp | Beskrivelse | Azure ML-verktøy | Viktig for offentlig sektor |
|----------|-------------|------------------|----------------------------|
| **Fairness** | AI skal behandle alle rettferdig, unngå å påvirke lignende grupper forskjellig (f.eks. kjønn, etnisitet, alder) | Fairness assessment i RAI Dashboard | ✅ Kritisk — likhetsprinsippet, diskrimineringsvern |
| **Reliability and Safety** | AI skal operere pålitelig, trygt, konsistent, respondere sikkert på uventede forhold, motstå manipulasjon | Error Analysis i RAI Dashboard | ✅ Kritisk — sikkerhet for publikum, etterrettelighet |
| **Privacy and Security** | Beskytte data og modeller, respektere personvern, overholde personvernlovgivning (GDPR, etc.) | Azure ML security config, SmartNoise (differential privacy), Counterfit (adversarial testing) | ✅ Kritisk — GDPR, Schrems II, nasjonale krav |
| **Inclusiveness** | AI skal styrke alle, engasjere mennesker, inkludere hele spekteret av samfunn | Data Analysis (representasjon i datasett) | ✅ Viktig — universell utforming, tilgjengelighetskrav |
| **Transparency** | AI skal være forståelig, gi nyttige forklaringer på hvordan beslutninger tas | Model Interpretability, Counterfactual What-If | ✅ Kritisk — innsyn, klagerett, forvaltningslov |
| **Accountability** | Mennesker skal være ansvarlige for AI-systemer, trackingbare beslutninger | MLOps (model registry, lineage, monitoring), RAI Scorecard | ✅ Kritisk — ansvarliggjøring, revisjon, dokumentasjonsplikt |
### Responsible AI Standard (RAIS) — 14 Goals
RAI Standard dekker seks domener og 14 mål for å redusere AI-risiko og skade. Hvert mål består av **requirements** — konkrete steg for å bygge AI i henhold til domenene.
**Drivkraften:** Responsible AI Impact Assessment — utviklingsteamet dokumenterer utfall for hvert målkrav.
**Spesielle krav:**
- **Privacy & Security:** Følge eksisterende privacy-, security- og accessibility-programmer hos Microsoft + AI-spesifikk veiledning.
- **Inclusiveness:** Sikre at AI-systemet inkluderer mangfoldige datasett og interessenter fra ulike bakgrunner.
---
## Arkitekturmønstre
### AI Development Lifecycle (NIST AI RMF-aligned)
Microsoft følger en iterativ, risikofokusert ramme som alignes med NIST AI Risk Management Framework. Fire kjernefaser:
```
┌──────────────────────────────────────────────────────────────┐
│ GOVERN → MAP → MEASURE → MANAGE (iterativ loop) │
└──────────────────────────────────────────────────────────────┘
```
| Fase | Aktiviteter | Verktøy/Praksis |
|------|------------|----------------|
| **Govern** | Etablere roller, ansvar, policyer for AI-utvikling og deployment. Pre-deployment reviews, transparency materials. | RAI Standard, Responsible AI Council (lederskap), Office of Responsible AI (ORA), Product Terms |
| **Map** | Identifisere og prioritere risikoer. Responsible AI Impact Assessment, privacy/security review (threat modeling), AI red teaming. | RAI Impact Assessment, Threat Modeling, AI Red Teaming |
| **Measure** | Evaluere risikoer systematisk med definerte metrikker: groundedness, relevance, content safety, harmful content likelihood. | Azure AI Studio safety evaluations, adversarial test datasets |
| **Manage** | Implementere mitigations, kontinuerlig overvåking, staged rollouts, incident response. Model-level: fine-tuning, content filters. App-level: grounding, UI design, disclosures. | Prompt Shield (jailbreak defense), Content Credentials (provenance), MLOps monitoring |
### Shared Responsibility Model for AI
Ansvar varierer etter deployment-type (IaaS, PaaS, SaaS):
| Aspekt | Microsoft (PaaS/SaaS) | Kunde (alle modeller) |
|--------|----------------------|----------------------|
| **Infrastruktur** | Azure AI compute, model hosting, security practices (SDL, threat modeling) | Identity/access management (Entra ID), device management |
| **Model** | Foundation models (GPT-4, etc.), safety systems (RAG, metaprompt engineering, abuse detection) | Model design (PaaS/IaaS), prompt engineering, fine-tuning, integration |
| **Data** | Zero data retention (Azure OpenAI), no training on customer data without consent | Data governance, classification, lifecycle, compliance mapping |
| **Application** | Full stack (SaaS: M365 Copilot), plugin governance | Application safety systems, usage policies, user training |
| **Governance** | RAI Standard, pre-deployment reviews, transparency docs | AI governance policies, review processes, regulatory compliance (GDPR, AI Act) |
**Nøkkelprinsipp (SaaS):** Microsoft styrer hele applikasjonsstack, men kunden er ansvarlig for brukspolicyer, review av output, tilgangskontroller.
**Nøkkelprinsipp (PaaS/IaaS):** Kunden har mer ansvar for modelldesign, integrasjon, sikkerhet, men Microsoft leverer sikker plattform.
---
## Beslutningsveiledning
### Når skal du bruke RAI Dashboard (Azure Machine Learning)?
| Scenario | Anbefaling | Primære komponenter |
|----------|-----------|---------------------|
| **Model debugging før deployment** | ✅ Obligatorisk for ML-modeller (klassifikasjon/regresjon på tabulære data) | Error Analysis, Fairness Assessment, Model Overview |
| **Fairness-vurdering** | ✅ Bruk for å identifisere bias på tvers av sensitive grupper (kjønn, alder, etnisitet) | Fairness Assessment, Data Analysis |
| **Forklare modellbeslutninger** | ✅ Når innsyn kreves (forvaltningslov, GDPR Art. 22) | Model Interpretability (global/local explanations) |
| **Counterfactual analysis** | ✅ For å hjelpe brukere forstå "hva må endre for annet utfall?" | Counterfactual What-If |
| **Causal inference** | ✅ Når du trenger å forstå kausal effekt av intervensjoner (f.eks. policy-endringer) | Causal Analysis (EconML) |
| **Generative AI-modeller (tekst/bilde)** | ⚠️ Delvis støtte — bruk [Responsible AI Toolbox](https://github.com/microsoft/responsible-ai-toolbox) for tekst/bilde | Åpen kildekode-alternativer |
### Pre-Deployment Review-kriterier
**Når kreves forhøyet scrutiny (Sensitive Use Counseling)?**
- Biometriske data (ansiktsgjenkjenning, stemme)
- Kritisk infrastruktur (energi, transport, helse)
- Høyrisiko-beslutninger (kreditt, ansettelse, juridiske vurderinger)
- Public sector use cases med omfattende samfunnspåvirkning
**Review-prosess:**
1. **Impact Assessment** — dokumenter potensiale for skade, mitigations
2. **Privacy/Security Review** — threat modeling, compliance-sjekk
3. **AI Red Teaming** — simuler adversarial/misuse-scenarioer
4. **Staged Rollout** — gradvis utrulling med overvåking
5. **Kontinuerlig tilbakemelding** — incident response, performance-tracking
---
## Integrasjon med Microsoft-stakken
### Azure AI Foundry / Azure AI Studio
- **Safety Evaluations:** Innebygd vurdering av groundedness, relevance, content safety før deployment
- **Adversarial Test Datasets:** Test mot jailbreak-forsøk, prompt injection
- **Prompt Shield:** Forsvar mot adversarial prompts
- **Content Safety Service:** Filtrering av skadelig innhold (tekst/bilde) i sanntid
### Azure Machine Learning
- **Responsible AI Dashboard:** Samler error analysis, fairness, interpretability, counterfactuals, causal inference i én UI
- **RAI Scorecard:** Eksporter PDF-rapport med model health insights for deling med stakeholders/regulatorer
- **MLOps:** Model registry, lineage tracking, drift detection, alerts på ML lifecycle events
- **Verktøy:** SmartNoise (differential privacy), Counterfit (adversarial testing)
### Microsoft 365 Copilot
- **Grounding:** Retrieval-Augmented Generation (RAG) mot Microsoft Graph (e-post, dokumenter, chat) — kun data brukeren har tilgang til
- **Access Control:** Microsoft Entra ID styrer tilgang, Copilot overskriver ikke eksisterende rettigheter
- **Data Storage:** Copilot-interaksjoner lagres i Exchange Online mailbox, styres av Purview retention policies
- **Zero Training:** Copilot for M365 bruker IKKE kundedata til å trene foundation models (per Product Terms)
- **Safety Filters:** Post-processing content moderation før visning
### Copilot Studio
- **Custom Copilots:** Low-code-verktøy for å bygge egne copilots, integrasjon med Microsoft Graph, Azure OpenAI
- **Governance:** Plugin-governance, scenario-spesifikke mitigations, meaningful human oversight
### Power Platform AI
- **AI Builder:** Fairness-vurderinger for modeller bygget med AI Builder
- **Power Automate:** Responsible AI-vurderinger for workflows med AI-komponenter
- **Monitoring:** Drift/performance-tracking via Power Platform Admin Center
### Compliance-verktøy
| Verktøy | Formål | RAI-relevans |
|---------|--------|--------------|
| **Microsoft Purview** | Dataklassifisering, governance, eDiscovery for AI-assets | Accountability, Privacy |
| **Service Trust Portal** | Compliance-dokumentasjon, ISO 42001-sertifikat, audit-rapporter | Transparency, Accountability |
| **Compliance Manager** | Vurdering mot regulatoriske krav (GDPR, AI Act, NIST AI RMF) | Compliance, Risk Management |
---
## Offentlig sektor (Norge)
### Hvorfor RAI Framework er kritisk for norsk offentlig sektor
1. **Forvaltningsloven:** AI-beslutninger som berører enkeltpersoner må være etterprøvbare, forklare (§ 24-28 begrunnelsesplikt).
2. **GDPR (Personvernforordningen):** Artikkel 22 — rett til ikke å bli underlagt automatiserte avgjørelser uten innsyn.
3. **Likestillingsloven / Diskrimineringsloven:** AI må ikke diskriminere basert på kjønn, etnisitet, religion, etc. → Fairness-prinsippet.
4. **Universell utforming:** AI-løsninger skal være tilgjengelige for alle (Likestillings- og diskrimineringsombudet) → Inclusiveness.
5. **Etterrettelighet/revisjon:** Riksrevisjonen og interne revisjoner krever sporing av AI-beslutninger → Accountability.
### Anbefalt tilnærming for norske etater
| Steg | Aktivitet | RAI-komponent |
|------|-----------|---------------|
| 1 | **Adopter RAI-prinsipper som policy** | Bruk Microsoft RAI Standard som baseline, tilpass til norske lovkrav |
| 2 | **Gjennomfør Impact Assessment** | RAI Impact Assessment + DPIA (GDPR Art. 35) |
| 3 | **Velg riktige verktøy** | Azure ML RAI Dashboard for ML-modeller, Azure AI Foundry for generative AI |
| 4 | **Etabler governance** | AI-governance-team (juridisk, etikk, teknisk), review-prosesser |
| 5 | **Dokumenter for revisjon** | RAI Scorecard, MLOps lineage, transparency materials |
| 6 | **Tren ansatte** | Obligatorisk RAI-opplæring for AI-utviklere og beslutningstakere |
| 7 | **Overvåk kontinuerlig** | Model drift detection, performance monitoring, incident response |
### Eksempler på sensitive bruksområder (krever forhøyet scrutiny)
- **NAV:** Automatisert saksbehandling (trygd, uføretrygd) → Fairness, Transparency, Accountability
- **Politiet:** Biometrisk identifikasjon, risikovurderinger → Privacy, Reliability, Fairness
- **Helsevesen:** Diagnosestøtte, behandlingsanbefalinger → Reliability, Safety, Transparency
- **Utdanning:** Karaktersetting, eksamensanalyse → Fairness, Transparency, Accountability
**Note:** EU AI Act (gjeldende 2024+) vil påvirke norske krav via EØS — high-risk AI systems får strengere krav til dokumentasjon, testing, human oversight.
---
## Kostnad og lisensiering
### Azure Machine Learning RAI Dashboard
- **Kostnad:** Inkludert i Azure ML workspace-kostnader (compute for trening/inferens)
- **Compute:** RAI Dashboard-komponenter kjører på Azure ML compute instances (CPU/GPU)
- **Estimat:** ~500-2000 NOK/måned for small/medium workloads (depends on compute SKU, usage)
### Azure AI Foundry Safety Evaluations
- **Kostnad:** Basert på token-bruk for safety evaluations (GPT-4-based evaluators)
- **Estimat:** ~0.02-0.10 NOK per evaluation (varies by model, evaluation depth)
### Microsoft 365 Copilot
- **Lisens:** Microsoft 365 E3/E5 + Copilot-lisens (~300 NOK/bruker/måned)
- **RAI-funksjoner:** Inkludert (grounding, safety filters, zero data retention, Purview governance)
### Copilot Studio
- **Lisens:** Per-user eller per-session (Message capacity: ~200-300 NOK/måned for 1000 sessions)
- **RAI-funksjoner:** Inkludert (Content Safety, plugin governance)
### Gratis verktøy
- **Fairlearn, InterpretML, DiCE, EconML:** Open source (gratis) — kan kjøres lokalt eller i Azure ML
- **SmartNoise, Counterfit:** Open source (gratis)
**Anbefaling:** Start med open source-verktøy for prototyping, skaler til Azure ML RAI Dashboard for produksjon.
---
## For arkitekten (Cosmo)
### Hva du må vite om RAI Framework
**1. RAI er ikke optional — det er compliance**
I offentlig sektor er RAI ikke "nice to have" — det er lovpålagt (GDPR, forvaltningsloven, likestillingsloven). Argumenter for RAI med compliance-risiko, ikke bare etikk.
**2. Shared Responsibility Model avgjør arkitektur**
- **SaaS (M365 Copilot):** Kunden har minst teknisk ansvar, men må fortsatt ha governance, brukspolicyer, output-review.
- **PaaS (Azure AI Foundry, Azure ML):** Kunden har mer ansvar for modelldesign, testing, safety systems.
- **IaaS (custom models på VMs):** Full ansvar for RAI-implementasjon — bruk open source-verktøy (Fairlearn, etc.).
**3. RAI Dashboard er kritisk for ML-modeller i produksjon**
Hvis kunden deployer klassifikasjon/regresjon-modeller på tabulære data, SKAL du anbefale RAI Dashboard. Det er det eneste integrerte verktøyet som dekker alle seks prinsipper.
**4. Generative AI krever ekstra lag**
- **Grounding:** RAG for å redusere hallucinations
- **Safety filters:** Azure AI Content Safety for realtime-filtrering
- **Prompt engineering:** Metaprompts for å styre oppførsel
- **Red teaming:** Test mot adversarial prompts (Prompt Shield)
**5. Privacy-krav for offentlig sektor**
- **Data residency:** Azure Norway regions (Norway East/West) for GDPR compliance
- **Zero data retention:** Azure OpenAI har dette som default, men verifiser i Product Terms
- **Differential privacy:** Vurder SmartNoise hvis datasett inneholder sensitive persondata
**6. Accountability = MLOps + RAI Scorecard**
Riksrevisjonen vil kreve:
- Model lineage (hvem deployerte hva, når, hvorfor?)
- Performance metrics over tid (drift detection)
- Bias/fairness-rapporter (RAI Scorecard)
- Incident response logs
**7. Pre-deployment review er ikke-forhandlbart for high-risk AI**
Hvis use case er:
- Biometrics, critical infrastructure, high-stakes decisions → Krev formal review
- Ansiktsgjenkjenning i politiet → Krever Sensitive Use Counseling-ekvivalent internt
**8. EU AI Act kommer (via EØS)**
High-risk AI systems (kreditt, ansettelse, rettshåndhevelse, kritisk infrastruktur) vil få krav om:
- Risikovurdering + dokumentasjon
- Data governance + kvalitetssikring
- Transparency + human oversight
- Post-market monitoring
**9. Kostnad vs. risiko-trade-off**
RAI-verktøy koster (compute, lisensiering), men risikokostnaden ved å IKKE bruke dem er høyere:
- Rettslige søksmål (diskriminering)
- Omdømmetap (bias i media)
- Regulatoriske bøter (GDPR: inntil 4% av global omsetning)
**10. Start enkelt, iterer**
Ikke prøv å implementere alle seks prinsipper på dag 1. Prioriter:
1. **Fairness + Transparency** (compliance-kritisk)
2. **Accountability** (sporbarhet)
3. **Privacy + Security** (GDPR)
4. **Reliability + Inclusiveness** (forbedre over tid)
### Typiske spørsmål fra kunder (og svar)
**Q: "Trenger vi RAI Dashboard for Copilot Studio-bots?"**
A: Nei for standard bots (safety filters inkludert). Ja hvis du bygger custom models med Azure ML som integreres i boten.
**Q: "Hvordan dokumenterer vi RAI for Riksrevisjonen?"**
A: RAI Scorecard (PDF-eksport fra Azure ML) + MLOps lineage + Purview data governance-rapporter.
**Q: "Kan vi bruke norske data i Azure OpenAI?"**
A: Ja, med Norway-regions + zero data retention. Verifiser i Product Terms at data ikke forlater Norge.
**Q: "Hva er forskjellen på RAI Dashboard og Content Safety?"**
A: RAI Dashboard = ML-modeller (klassifikasjon/regresjon), post-training analysis. Content Safety = generative AI, realtime filtering av skadelig innhold.
**Q: "Må vi kjøre AI Red Teaming?"**
A: Ja for high-risk use cases (biometrics, critical infrastructure). Nei for low-risk use cases (intern chatbot uten sensitive beslutninger).
---
*(Verified MCP 2026-04)*
## Kilder og verifisering
### Microsoft offisiell dokumentasjon (2025-2026)
1. **What is Responsible AI?** — https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai
*Primærkilde for de seks prinsippene og Azure ML-implementasjon*
2. **Artificial Intelligence Overview** — https://learn.microsoft.com/en-us/compliance/assurance/assurance-artificial-intelligence
*Governance-struktur, RAI Standard, AI lifecycle (Govern-Map-Measure-Manage)*
3. **Responsible AI Dashboard** — https://learn.microsoft.com/en-us/azure/machine-learning/concept-responsible-ai-dashboard
*Komponenter: error analysis, fairness, interpretability, counterfactuals, causal inference*
4. **Microsoft Responsible AI Standard v2** (PDF) — https://blogs.microsoft.com/wp-content/uploads/prod/sites/5/2022/06/Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf
*Offisiell policy-dokument (juni 2022, gjeldende 2026)*
5. **Responsible AI Transparency Report 2025** (PDF) — https://cdn-dynmedia-1.microsoft.com/is/content/microsoftcorp/microsoft/msc/documents/presentations/CSR/Responsible-AI-Transparency-Report-2025.pdf
*Årlig rapport om hvordan Microsoft implementerer RAI*
6. **Establishing Responsible AI Policies for AI Agents** — https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ai-agents/responsible-ai-across-organization
*Veiledning for organisatorisk AI-governance*
7. **Apply Responsible AI Principles (Copilot Studio)** — https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/responsible-ai
*RAI for Copilot Studio-bots*
8. **Responsible AI with .NET** — https://learn.microsoft.com/en-us/dotnet/ai/evaluation/responsible-ai
*Safety evaluators for .NET-utviklere*
### Tredjepartsrammeverk
- **NIST AI Risk Management Framework** — https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
*Microsoft alignes AI lifecycle med NIST RMF*
- **EU AI Act** — https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206
*Kommende EØS-regulering (high-risk AI systems)*
- **ISO/IEC 42001** — https://www.iso.org/standard/81230.html
*AI management system-standard (Microsoft har ISO 42001-sertifikat for M365)*
### Open source-verktøy
| Verktøy | Repository | RAI-prinsipp |
|---------|-----------|-------------|
| **Fairlearn** | https://fairlearn.org/ | Fairness |
| **InterpretML** | https://interpret.ml/ | Transparency |
| **Error Analysis** | https://erroranalysis.ai/ | Reliability |
| **DiCE** | https://github.com/interpretml/DiCE | Transparency |
| **EconML** | https://github.com/Microsoft/EconML | Accountability (causal inference) |
| **SmartNoise** | https://github.com/opendifferentialprivacy/smartnoise-core | Privacy |
| **Counterfit** | https://github.com/Azure/counterfit/ | Security |
### Verifiseringsstatus
-**Verified** — All informasjon fra offisiell Microsoft-dokumentasjon (learn.microsoft.com, blogs.microsoft.com)
-**Current** — Dokumentasjon oppdatert 2025-2026
-**Authoritative** — Microsoft Product Terms, RAI Standard v2, Transparency Report 2025
**Sist verifisert:** 2026-02-03
**MCP-søk utført:** 3 søk (microsoft-learn)
**Sider hentet:** 3 full-fetch (concept-responsible-ai, assurance-ai, concept-responsible-ai-dashboard)
---
**For Cosmo:**
Dette er oversikten du trenger for å veilede kunder om Responsible AI. Bruk de seks prinsippene som utgangspunkt, match dem mot kundens compliance-krav (GDPR, forvaltningsloven), og anbefal konkrete verktøy basert på use case (RAI Dashboard for ML, Content Safety for generative AI, Purview for governance). Husk: RAI er ikke etikk-teater — det er lovpålagt risk management.