chore(ms-ai-architect): refresh KB high-bucket — 49 files [skip-docs]
KB-currency refresh (high priority, 2026-06-19) via /architect:kb-update. 49 high-prioritets governance/security/monitoring-filer re-verifisert mot Microsoft Learn (MCP) — delegert til 8 parallelle Opus-subagenter gruppert etter delt kilde, verifisert i hovedkontekst (diff-review + tester). Hovedendringer (faktuelle korreksjoner + currency): - MITRE ATLAS-IDer korrigert (supply-chain): AML.T0050 -> AML.T0018.000 (Poison AI Model); AML.T0020 = Poison Training Data; T1195 Supply Chain Compromise. Gamle IDer var utdaterte (verifisert mot MCSB v2 AI-1). - OTel-sampling presisert (distributed-tracing): adaptive sampling = klassisk App Insights SDK; OTel-distroen sampler IKKE by default (fixed-rate/ rate-limited maa konfigureres); Functions parent-based sampling er default. - MCSB v2 AI-kontroller AI-1 -> AI-7 (risk-taxonomy three-pillar, scoring- framework, rubrics, red-team, adversarial); Defender for Cloud AI threat protection + AI-SPM (GA). - AI gateway (APIM) multi-provider: Anthropic Messages API v2-tiers, Google Vertex, unified model API (preview), MCP/A2A, Foundry-integrasjon; eksakte policy-navn (llm-emit-token-metric maks 5 dims, llm-semantic-cache-*, score-threshold = avstand, MS-eks. 0.15). - Purview Enterprise AI apps inkl. Anthropic Claude (Enterprise) + ChatGPT Enterprise; Security Dashboard for AI (Agent 365-inventar, MCP-servere, tredjepartsmodeller; Security Reader minimumsrolle). - Entra Agent ID: CA-lisenskrav (Entra ID P1/P2 + Agent 365), CA-scoping per tilgangsmoenster (on-behalf-of/app-only/agent-as-user), CA-grenser, connector-permissions som API-permissions. - Copilot DLP: Block SITs in web search (GA, Performing Web Searches) + Block external email (preview) som prompt injection-vern. - Azure AI Language PII: tre feature-typer, GA-API 2026-05-01; NOIdentityNumber bekreftet dedikert kategori for norske foedselsnummer. - Foundry Tools-rename forsterket paa tvers; alle 49 Last updated -> 2026-06-19. Discovery: 500 kandidater (alle Databricks-stoey) -> kun registry-kandidater, ingen nye skills/-filer -> 389-telling uendret. validate 239 PASS, kb-integrity 115/115 (262 orphan-warnings uendret), gitleaks clean. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
This commit is contained in:
parent
41b390b38d
commit
25bcb74d9a
49 changed files with 304 additions and 235 deletions
|
|
@ -1,7 +1,7 @@
|
|||
# Governance and Audit Trails in MLOps
|
||||
|
||||
**Kategori:** MLOps & GenAIOps
|
||||
**Dato:** 2026-05
|
||||
**Dato:** 2026-06-19
|
||||
**Confidence:** 95% (High — bygger på offisiell Microsoft-dokumentasjon og Azure-referansearkitekturer)
|
||||
|
||||
## Introduksjon
|
||||
|
|
@ -56,9 +56,10 @@ Model Registry er en sentral katalog for ML-modeller. Både Azure Machine Learni
|
|||
|
||||
- Sentralisert governance på tvers av workspaces
|
||||
- **Column-level lineage:** sporer dataflyt fra kildetabeller til modell
|
||||
- **Model lineage:** kobler modeller til feature tables, UDFs og upstream datasets
|
||||
- **Audit logging:** fanger hvem som aksesserte modellen, når og hvorfor
|
||||
- **Access control:** RBAC på modellnivå (hvem kan se, deploye, endre)
|
||||
- **Model lineage:** kobler modeller til feature tables, UDFs og upstream datasets — table→model-lineage fanges via `mlflow.log_input` (MLflow 2.11.0+) og automatisk for feature store-modeller
|
||||
- **MLflow 3-forbedringer:** Model Registry i Unity Catalog kan nå fange parametere og metrikker direkte på modellen og gjøre dem tilgjengelige på tvers av workspaces og eksperimenter (default registry-URI `databricks-uc`)
|
||||
- **Audit logging:** fanger hvem som aksesserte modellen, når og hvorfor (modeller har ikke aktivitetslogg i UC — bruk account-/workspace-audit-logs)
|
||||
- **Access control:** RBAC på modellnivå — registrerte modeller er en undertype av `FUNCTION`-securable; bruk `GRANT ON FUNCTION`. Deployment-status styres via **model aliases** (f.eks. «Champion»), ikke stages (stages støttes ikke i UC)
|
||||
|
||||
**Governance-verdi:**
|
||||
|
||||
|
|
@ -126,9 +127,9 @@ Alle governance-beslutninger og tilgangshendelser må logges for etterrettelighe
|
|||
|
||||
**Databricks Unity Catalog System Tables:**
|
||||
|
||||
- Audit logs: hvem aksesserte hvilken modell/table, når, fra hvor
|
||||
- Billable usage logs: kostnadssporing per modell
|
||||
- Lineage logs: upstream/downstream dependencies
|
||||
- Audit logs (`system.access.audit`, Public Preview): hvem aksesserte hvilken modell/table, når, fra hvor — 365 dagers gratis retensjon
|
||||
- Billable usage logs (`system.billing.usage`): kostnadssporing per modell
|
||||
- Lineage logs (`system.access.table_lineage` / `system.access.column_lineage`): upstream/downstream dependencies — rullende 1-års-vindu i system tables (data fra 1. september 2024 og senere). Merk: de gamle schemaene `system.operational_data` og `system.lineage` er avviklet og tomme.
|
||||
|
||||
**API Management LLM Logs (for GenAI):**
|
||||
|
||||
|
|
@ -393,8 +394,8 @@ Governance og audit trails er essensielle for å oppfylle § 4-kravene:
|
|||
### Databricks Unity Catalog
|
||||
|
||||
- **Unity Catalog:** inkludert i DBUs (ingen ekstra kostnad)
|
||||
- **System Tables:** gratis (del av Unity Catalog)
|
||||
- **Audit log retention:** 1 år (kan utvides til 7 år)
|
||||
- **System Tables:** gratis (billable usage og pricing er gratis; tabeller i Public Preview er gratis under preview, kan bli fakturert senere)
|
||||
- **Audit log retention:** 365 dagers gratis retensjon i system tables. Lineage vist i Catalog Explorer beholdes på ubestemt tid; lineage-system-tables har rullende 1-års-vindu
|
||||
|
||||
### API Management
|
||||
|
||||
|
|
@ -519,5 +520,5 @@ Hvert steg logges, hver hendelse spores. Ved en audit kan du vise:
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert:** 2026-04
|
||||
**Neste review:** Q2 2026 (ved nye Unity Catalog-features eller Azure Policy-oppdateringer)
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** 2026-09-19 (ved nye Unity Catalog-features eller Azure Policy-oppdateringer)
|
||||
|
|
|
|||
|
|
@ -1,7 +1,7 @@
|
|||
# Responsible AI Integration in MLOps
|
||||
|
||||
**Kategori:** MLOps & GenAIOps
|
||||
**Sist oppdatert:** 2026-05
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Confidence:** 95% (basert på offisiell Microsoft-dokumentasjon og Azure Machine Learning-referanser)
|
||||
|
||||
---
|
||||
|
|
@ -518,7 +518,7 @@ jobs:
|
|||
|
||||
**Løsninger:**
|
||||
1. **Content Safety**: Bruk Azure AI Content Safety for toxicity/bias detection
|
||||
2. **Prompt Flow Evaluation**: Evaluere generative models med custom metrics
|
||||
2. **Foundry/Agent Framework-evaluering**: Evaluere generative modeller med Azure AI Foundry-evaluatorer og custom metrics. Merk: **Prompt Flow avvikles 2027-04-20** — migrer evaluerings-/orkestreringslogikk til **Microsoft Agent Framework (MAF)**
|
||||
3. **Manual Review**: Human-in-the-loop review av generated outputs
|
||||
|
||||
**Confidence note:** 🟡 Moderat (RAI for GenAI er et fremvoksende felt, mindre standardisert enn for discriminative models)
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue