open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 1 Activity
ms-ai-architect/skills/ms-ai-security/references/ai-security-engineering/owasp-llm-top10-azure-mitigations.md
Kjell Tore Guttormsen e406ef395e feat(ms-ai-architect): #8b currency M-items — Defender AI threat protection + OWASP LLM04/06/08/09 + M365 E7/Agent 365 + Foundry Local air-gapped 
Phase B (M-items) av #8 currency-rest. Nytt innhold, verifisert mot
Microsoft Learn + OWASP GenAI 2026-06-18 (tre research-subagenter).
Begge nye KB-filer wiret i SKILL.md (de-orphan bekreftet: kb-integrity
115/115, orphan-warnings uendret 262).

Nye KB-filer (ms-ai-security/references/ai-security-engineering/):
- owasp-llm-top10-azure-mitigations.md — konsolidert dekning av de fire
  OWASP 2025-kategoriene som manglet referanse i SKILL.md-mappingen
  (LLM04 Data/Model Poisoning, LLM06 Excessive Agency, LLM08 Vector/
  Embedding Weaknesses, LLM09 Misinformation) med verifiserte Azure-tiltak.
  OWASP-side 404 for LLM06/08/09 → definisjoner kryssverifisert, merket.
- defender-threat-protection-ai-services.md — Defender for Cloud «AI threat
  protection» (gjeldende navn; plan «Defender for AI Services»). GA for
  AI applications, Preview for AI agents (fra 2026-02-02). Varselliste m/
  Alert ID + MITRE-taktikk, Prompt Shields-integrasjon, prising (75B-token
  trial). KRITISK: ikke tilgjengelig i Azure Government (norsk off. sektor).

SKILL.md (ms-ai-security):
- Fylte de 4 «—»-radene LLM04/06/08/09 → owasp-llm-top10-azure-mitigations.md.
- La til Defender-referanse (kjøretids-trusseldeteksjon) + Government-forbehold.
- Fil-telling ai-security-engineering 17→22 (17 var stale; faktisk 20 + 2 nye).

licensing-matrix.md (ms-ai-advisor):
- Ny rad «Microsoft 365 E7» i master-matrisen + dedikert E7/Agent 365-seksjon.
  E7 (GA 2026-05-01) bundler E5 + M365 Copilot + Agent 365 + Entra Suite.
  Agent 365 = IT-admin kontrollplan (registry/Entra Agent ID/Defender/Purview).
  VERIFISERT at begge er reelle SKU-er. Priser (~$99 E7 / ~$15 Agent 365) er
  community-/partnerkilder → eksplisitt merket uverifisert.

disconnected-ai-scenarios.md (ms-ai-infrastructure):
- Ny seksjon «Foundry Local — generativt lokalt og air-gapped». To produkter:
  on-device (offline etter nedlasting, ingen Azure-sub) + on Azure Local
  (Arc/Kubernetes, Preview). Air-gapped/disconnected støttet fra juni 2026
  (Preview): edgeartifacts-registry, expansion packs, lokal AD, ingen
  telemetri. Del av Microsoft Sovereign Private Cloud — relevant for norsk
  suverenitet.

Tester: validate-plugin 239 PASS / 0 FAIL / 0 WARN · kb-integrity 115/115
(262 pre-eksisterende orphan-warnings, uendret) · run-e2e alle suiter PASS.

#8 nå komplett (S-bannere #8a + M-items #8b). Neste: #9 v1.16.0 release.
FLAGG: `/architect:kb-update` apply forblir UTSATT (krever egen bekreftelse).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
2026-06-18 20:32:43 +02:00

8.7 KiB
Raw Blame History

OWASP LLM Top 10 (2025) — Azure-tiltak for LLM04/06/08/09

Last updated: 2026-06 | Verified: MCP 2026-06-18 Status: Referanse (OWASP 2025 + Azure-tiltak) Category: AI Security Engineering — Threat Modeling & Controls

Formål

SKILL.md-mappingen mot OWASP Top 10 for LLM Applications 2025 har dedikert referansedekning for LLM01/02/03/05/07 og for LLM10 (via rate-limit/kostnadsfiler). Denne filen fyller de fire gjenstående kategoriene — LLM04, LLM06, LLM08, LLM09 — med OWASP-definisjon og konkrete, verifiserte Azure/Microsoft-tiltak.

Kilde-forbehold (verifisert 2026-06-18): OWASP-listens eksistens og LLM04-definisjonen er hentet direkte fra genai.owasp.org (HTTP 200). De individuelle risikosidene for LLM06/08/09 returnerte 404 under innhenting; definisjonene er kryssverifisert mot flere sekundærkilder som siterer OWASP 2025-dokumentet. Azure-tiltakene er grounded i Microsoft Learn (lenker per tiltak).

LLM04 — Data and Model Poisoning

OWASP 2025: «Data poisoning occurs when pre-training, fine-tuning, or embedding data is manipulated to introduce vulnerabilities, backdoors, or biases.» Integritetsangrep på treningsdata — direkte injeksjon, bakdører med trigger, indirekte kontaminering via brukerinteraksjon, og supply chain-risiko fra delte modell-repositories. Kilde: LLM04 — genai.owasp.org.

Azure/Microsoft-tiltak Mekanisme
Azure ML model registry + provenance Sentralisert opprinnelse/verifikasjonsstatus. Azure Policy «ML Deployments should only use approved Registry Models» kan settes til Deny for å blokkere ikke-godkjente modeller.
Kodesignering for treningskode Azure Well-Architected krever signert kode i ML compute — sikrer at treningskode er fra betrodd kilde.
Hash-verifisering + adversarial scanning Valider modellintegritet og test mot adversarial input før godkjenning.
Microsoft Purview data lineage + DSPM for AI Lineage-sporing og Data Security Posture Management for treningsdata-risiko.
Dataversjonering (Git/Azure DevOps) Versjonskontroll av grounding-data → rollback ved uventet modelloppførsel.
Defender for Cloud AI threat protection Kontinuerlig deteksjon av modellmanipulasjon (se defender-threat-protection-ai-services.md).

Kilder: Azure AI security best practices · MCSB AI-1: approved models · Well-Architected: training data lineage.

LLM06 — Excessive Agency

OWASP 2025: «Excessive Agency is the vulnerability that enables damaging actions to be performed in response to unexpected, ambiguous or manipulated outputs from an LLM.» Oppstår når agenten gis mer kapabilitet, tillatelse eller autonomi enn nødvendig — forsterket i agent-arkitekturer der modellen dynamisk velger verktøy. Kilde: OWASP 2025 (kryssverifisert; OWASP-side 404 ved innhenting).

Azure/Microsoft-tiltak Mekanisme
Microsoft Entra Agent ID Hver agent får egen identitet med scoped OAuth 2.0-tillatelser; Entra blokkerer høyprivilegerte roller. GA.
Agent Identity Blueprints + Conditional Access Håndhev CA-policyer per blueprint; deaktivering av blueprint deaktiverer alle tilhørende agenter umiddelbart.
Copilot Studio DLP + granulære connector-scopes DLP i Power Platform Admin Center; agenten gis kun de connector-operasjonene den faktisk bruker (least-privilege i praksis).
Human-in-the-loop Agent Framework approval_mode: always_require; Copilot Studio skriver aldri til Dataverse uten brukergodkjenning.
Least-privilege RBAC Built-in roller på prosjekt-/workspace-nivå; scoped, kortlevde tokens for agent-funksjoner.
Content Safety Task Adherence Detekterer feiljustert/utilsiktet verktøybruk relativt til brukerintensjon.

Kilder: Entra Agent ID · Authorization in Entra Agent ID · Copilot Studio DLP · Autonomous agents — best practices.

LLM08 — Vector and Embedding Weaknesses

OWASP 2025: Sikkerhetsrisiko i vektordatabaser og embeddings — forgiftede embeddings, cross-tenant-lekkasje, embedding inversion (rekonstruksjon av sensitive data fra vektorer), tillatelsesomgåelse i RAG-pipelines. Kilde: OWASP 2025 (kryssverifisert; OWASP-side 404 ved innhenting).

Azure/Microsoft-tiltak Mekanisme Status
Document-level access control (security trimming) Permission-metadata (ACL/RBAC/Purview-labels) lagres i indeksen og håndheves ved query-tid via Entra-token (x-ms-query-source-authorization). GA (filters) / Preview (ACL fra ADLS Gen2, API 2026-05-01-preview)
Managed Identity for Azure AI Search Outbound-auth uten hardkodede nøkler. GA
Private Endpoints Deaktiverer public network access; trafikk over Microsoft backbone. GA
Multi-tenant-isolasjon Index-per-tenant / service-per-tenant / hybrid; sterkest separasjon = dedikert service per tenant. GA
Purview sensitivity labels på indeks Label-basert tilgangskontroll oppdaget under indeksering. Preview

Kilder: Document-level access control · Search security best practices · Multitenant SaaS + AI Search · Private endpoint for AI Search.

LLM09 — Misinformation

OWASP 2025: Risiko for at LLM-er genererer eller sprer troverdig fremstilt feilinformasjon — primært via hallusinasjon og fabrikerte siteringer. Kilde: OWASP 2025 (kryssverifisert; OWASP-side 404 ved innhenting).

Azure/Microsoft-tiltak Mekanisme Status
Groundedness Detection (Content Safety) Detekterer om svar er forankret i kildedokumenter; Reasoning-mode gir rotårsak; Correction korrigerer ungrounded tekst automatisk. Public preview
RAG-grounding med Azure AI Search Forankrer svar i organisasjonens dokumenter fremfor parametrisk kunnskap. GA
Citation/reference-mønster Strukturerte citations-objekter (title/filepath/url/content) → superscript-lenker til kilde i UI. GA
Copilot Studio — Grounding in Trusted Data Svar forankret i datakilder brukeren har tilgang til. GA
AI Foundry Evaluation — groundedness/completeness Måler grounding i end-to-end LLM-evaluering. GA
Prompt Shields Blokkerer indirekte prompt injection som kan styre svar mot feilinformasjon. GA

Kilder: Groundedness detection · Content Safety overview · Web app citations · Copilot Studio safety components.

Lagdelt dekning

OWASP-kategoriene dekkes best ved å kombinere preventive kontroller (Content Safety, Entra Agent ID, AI Search-sikkerhet) med detektive (Defender for AI Services, se defender-threat-protection-ai-services.md) og prosess (STRIDE-/ATLAS-trusselmodellering, se ai-threat-modeling-stride.md). For norsk offentlig sektor: merk at Defender for AI Services ikke er tilgjengelig i Azure Government — preventive kontroller og egen logg-basert deteksjon blir da viktigere.

Kilder og verifisering

Kilde Konfidens Merknad
OWASP Top 10 for LLM Applications 2025 (liste) Verified genai.owasp.org (HTTP 200)
LLM04-definisjon Verified OWASP-domenet direkte (HTTP 200)
LLM06/08/09-definisjoner Medium OWASP risikosider 404 ved innhenting; kryssverifisert mot flere sekundærkilder
Azure-tiltak (alle kategorier) Verified (MCP 2026-06-18) Microsoft Learn, lenker per tiltak over