docs(architect): weekly KB update — 66 files refreshed (2026-04)
Updated 66 stale knowledge base reference files (10 critical, 56 high) across all 5 skills using Microsoft Learn MCP research. Key factual updates: - Groundedness Detection API: `correction` → `mitigating` param, `correctedText` → `correctionText` (breaking change) - Copilot Studio: GPT-4.1 mini now default (was GPT-4o mini); Claude Sonnet 4.5 + Opus 4.5 added (experimental, 200K ctx) - Agentic Retrieval: still public preview; 50M free tokens/month - Azure security baselines: "Cognitive Services" → "Foundry Tools" - Databricks: Delta Live Tables → Lakeflow Spark Declarative Pipelines - MLflow 3 GenAI: new Feedback/Expectation data model - Token tracking doc: "Azure OpenAI in Foundry Models through a gateway" - Agent Registry: Risks column (M365 E7), Graph API (preview) - Copilot DLP: new Entra AI Admin + Purview Data Security AI Admin roles - ISO/IEC 42001: scope expanded to M365 Copilot, Foundry, Security Copilot - Zero Trust: CAE now via Conditional Access, Strict Location Enforcement - Purview: new Fabric Copilots/agents governance section - AG-UI HITL: ApprovalRequiredAIFunction (C#), @tool approval_mode (Python) All files: Last updated → 2026-04, *(Verified MCP 2026-04)* markers added. Build registry: 1341 URLs from 387 files (+2 new URLs). Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
f72592ebf3
commit
565043dbde
73 changed files with 727 additions and 301 deletions
|
|
@ -1,6 +1,6 @@
|
|||
# PII Detection and Masking in Norwegian Text
|
||||
|
||||
**Last updated:** 2026-02
|
||||
**Last updated:** 2026-04
|
||||
**Status:** GA
|
||||
**Category:** AI Security Engineering
|
||||
|
||||
|
|
@ -48,32 +48,44 @@ Azure AI Language tilbyr tre API-varianter for PII-deteksjon:
|
|||
|
||||
**Viktig:** Azure detekterer norske fødselsnummer under kategorien `NOIdentityNumber`. Du må spesifisere `language: "no"` for optimal deteksjon.
|
||||
|
||||
### Maskeringsstrategier
|
||||
### Maskeringsstrategier *(Verified MCP 2026-04)*
|
||||
|
||||
Azure AI Language tilbyr fire redaction policies (2025-11-15-preview):
|
||||
|
||||
| Policy | Output | Bruksområde |
|
||||
|--------|--------|-------------|
|
||||
| **CharacterMask** (default) | `Min SSN er ***********` | Standard masking |
|
||||
| **CharacterMask** (default) | `Min SSN er ***********` | Standard masking; støtter valgfri `redactionCharacter` (f.eks. `-`) |
|
||||
| **EntityMask** | `Min SSN er [NOIdentityNumber_1]` | Logging, debugging |
|
||||
| **SyntheticReplacement** | `Min SSN er 12345678901` | Syntetiske testdata |
|
||||
| **NoMask** | `Min SSN er 01019912345` | Kun entitetsdeteksjon |
|
||||
| **SyntheticReplacement** | `Min SSN er 12345678901` | Syntetiske testdata (tilfeldig valgte erstatningsverdier fra forhåndsdefinert sett) |
|
||||
| **NoMask** | `Min SSN er 01019912345` | Kun entitetsdeteksjon, ingen `redactedText` i respons |
|
||||
|
||||
**Anbefalt:** `CharacterMask` for produksjon, `EntityMask` for logging (spesifiserer entitetstype), `NoMask` når du kun trenger deteksjon uten redaction.
|
||||
|
||||
### Confidence Threshold
|
||||
**Ny: Per-entity policy overrides:** Du kan nå spesifisere ulike policies per entitetstype i samme request, med én `defaultRedactionPolicy` og entitetsspesifikke overrides. *(Verified MCP 2026-04)*
|
||||
|
||||
Fra 2025-11-15-preview kan du konfigurere `confidenceScoreThreshold` (0.0-1.0):
|
||||
**Ny: DisableEntityValidation** (2025-11-15-preview): Mulighet til å deaktivere streng entitetsvalidering (default `false`) for å øke hastighet i scenarioer der validering ikke er nødvendig. *(Verified MCP 2026-04)*
|
||||
|
||||
**Ny: EntitySynonyms og ValueExclusionPolicy:** Tilpass PII-tjenesten til organisasjonens vokabular — definer egne synonymer for entitetstyper, og ekskluder spesifikke termer fra deteksjon (f.eks. "politimann", "vitne"). *(Verified MCP 2026-04)*
|
||||
|
||||
### Confidence Threshold *(Verified MCP 2026-04)*
|
||||
|
||||
Fra 2025-11-15-preview kan du konfigurere `confidenceScoreThreshold` med global default og per-entitet, per-språk overrides:
|
||||
|
||||
```json
|
||||
{
|
||||
"parameters": {
|
||||
"confidenceScoreThreshold": 0.8
|
||||
"confidenceScoreThreshold": {
|
||||
"default": 0.9,
|
||||
"overrides": [
|
||||
{ "value": 0.8, "entity": "NOIdentityNumber" },
|
||||
{ "value": 0.6, "entity": "Person", "language": "no" }
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
**Råd:** Bruk 0.8+ for produksjon (minimerer false positives), 0.6+ for utviklingsmiljø.
|
||||
**Råd:** Bruk 0.8+ global default for produksjon (minimerer false positives), 0.6+ for utviklingsmiljø. Per-entitet overrides gir finkornet kontroll. *(Verified MCP 2026-04)*
|
||||
|
||||
## Arkitekturmønstre
|
||||
|
||||
|
|
@ -170,7 +182,7 @@ Original data → Azure AI Language PII → Pseudonymisering → Sekundær datab
|
|||
|
||||
## Integrasjon med Microsoft-stakken
|
||||
|
||||
### Azure AI Foundry
|
||||
### Azure AI Foundry *(Verified MCP 2026-04)*
|
||||
|
||||
**Playground:** Test PII-deteksjon i [Azure AI Foundry portal](https://ai.azure.com/):
|
||||
1. Naviger til Language → PII Detection
|
||||
|
|
@ -179,7 +191,9 @@ Original data → Azure AI Language PII → Pseudonymisering → Sekundær datab
|
|||
4. Lim inn tekst med fødselsnummer
|
||||
5. Se detekterte entiteter med confidence scores
|
||||
|
||||
**Model deployment:** Bruk `modelVersion: "latest"` for GA-modellen, `"2025-11-15-preview"` for nye features.
|
||||
**Model deployment:** Bruk `modelVersion: "latest"` for GA-modellen, `"2025-11-15-preview"` for nye preview-features.
|
||||
|
||||
**Merk:** Microsoft Foundry (new) — ny portal med Foundry-prosjekter — og Foundry (classic) er begge tilgjengelige via `https://ai.azure.com/`. For opprettelse av Language-ressurs, bruk **Azure Language in Foundry Tools**. *(Verified MCP 2026-04)*
|
||||
|
||||
### Copilot Studio
|
||||
|
||||
|
|
@ -400,12 +414,12 @@ df_masked = df.withColumn("text_masked", mask_pii_udf(df.text))
|
|||
|
||||
## Kilder og verifisering
|
||||
|
||||
**Verified (fra Microsoft Learn MCP):**
|
||||
- [Azure AI Language PII Detection Overview](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/overview) (2025-11-01 GA)
|
||||
**Verified (fra Microsoft Learn MCP, re-verifisert 2026-04):** *(Verified MCP 2026-04)*
|
||||
- [Azure AI Language PII Detection Overview](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/overview) — Oppdatert: bruker nå «Azure Language in Foundry Tools»-terminologi; ny Foundry (new) portal
|
||||
- [Recognized PII and PHI Entities](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/concepts/entity-categories) (inkluderer NOIdentityNumber)
|
||||
- [How to: Redact Text PII](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/how-to/redact-text-pii) (redaction policies 2025-11-15-preview)
|
||||
- [Quickstart: Detect PII (Python)](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/quickstart?pivots=programming-language-python) (code samples)
|
||||
- [Transparency Note for PII](https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/language-service/transparency-note-personally-identifiable-information) (GDPR compliance)
|
||||
- [How to: Redact Text PII](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/how-to/redact-text-pii) — Oppdatert: ny DisableEntityValidation, EntitySynonyms, ValueExclusionPolicy, per-entity confidence threshold overrides (2025-11-15-preview)
|
||||
- [Quickstart: Detect PII](https://learn.microsoft.com/en-us/azure/ai-services/language-service/personally-identifiable-information/quickstart) — Quickstart er nå for native document PII; link til text/conversation how-to-guides for tekst-PII
|
||||
- [Transparency Note for PII](https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/language-service/transparency-note-personally-identifiable-information) (GDPR compliance, nå under Azure AI Foundry responsible AI)
|
||||
|
||||
**Baseline (modellkunnskap):**
|
||||
- Norsk fødselsnummer-format (11 siffer, mod11-checksumvalidering)
|
||||
|
|
@ -413,4 +427,4 @@ df_masked = df.withColumn("text_masked", mask_pii_udf(df.text))
|
|||
- Personopplysningsloven (norsk GDPR-implementering)
|
||||
- Datatilsynets veiledning om pseudonymisering
|
||||
|
||||
**Konfidensnivå:** 95% (Verified via Microsoft Learn MCP, Baseline fra kjent standarder)
|
||||
**Konfidensnivå:** 95% (Verified via Microsoft Learn MCP 2026-04, Baseline fra kjente standarder)
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue