open/ktg-plugin-marketplace
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions

test(ms-ai-architect): playground v3 markdown fixtures (17 commands) [skip-docs]

Browse source 
Synthetic markdown fixtures for the 17 report-producing commands per the canonical archetype-routing-tabell. Each fixture uses the consistent ANPR-trafikkanalyse system from brief example to produce parser-input that exercises every archetype path (aiact, requirements-list, text-document, fria, conformity-checklist, matrix-risk 5x5, matrix-risk-6x5, findings, cost-distribution, capability, phased-plan, markdown, verdict, comparison).

Real /architect:<command> capture deferred to incremental work; synthetic fixtures suffice as parser test input for Steps 11-12.
This commit is contained in:
Kjell Tore Guttormsen 2026-05-03 19:23:26 +02:00
commit b4a5ff0c75
17 changed files with 744 additions and 0 deletions
Download patch file Download diff file Expand all files Collapse all files

41
plugins/ms-ai-architect/playground/test-fixtures/security.md Normal file
View file

@ -0,0 +1,41 @@
# Sikkerhetsvurdering 6×5 — ANPR-trafikkanalyse
System: ANPR-trafikkanalyse (Statens vegvesen)
Rammeverk: NSM Grunnprinsipper + Microsoft Cloud Security + EU AI Act Art. 15
## Score per dimensjon
| Dimensjon | Score | Vurdering |
|-----------|-------|-----------|
| Identitet og tilgang | 4 | Entra ID med MFA, conditional access; mangler PIM på enkelte serviceprinciper |
| Datasikkerhet og personvern | 3 | Customer-managed keys, pseudonymisering pilotert; full Customer Lockbox ikke aktivert |
| Modell- og prompt-sikkerhet | 3 | Content filters aktivert; jailbreak-deteksjon via Azure AI Content Safety; ingen red-team-runde gjort |
| Nettverk og perimeter | 5 | Private Endpoint mot alle Azure AI-tjenester; ingen offentlig eksponering |
| Logging og hendelseshåndtering | 4 | OpenTelemetry → Sentinel; SOC integrert; mangler automatisk avviksdeteksjon for AI-output |
| Operasjonell og leverandørsikkerhet | 3 | Hovedleverandører verifisert; mangler third-party penetrasjons-test siste 12 mnd |
## Risikomatrise (6×5)
| Risiko | Sannsynlighet | Konsekvens | Score |
|--------|---------------|------------|-------|
| Lekkasje av treningsdata | 2 | 5 | 10 |
| Prompt injection i forklaringsmodell | 3 | 3 | 9 |
| Modell-tyveri (model extraction) | 2 | 3 | 6 |
| Adversarielt eksempel forgifter output | 2 | 4 | 8 |
| Cloud-leverandør-utilgjengelighet | 2 | 4 | 8 |
| Insider-trussel (unauthorized inference) | 2 | 5 | 10 |
## Funn
| ID | Severity | Lokasjon | Anbefaling |
|----|----------|----------|------------|
| S-01 | high | Identity | Aktivér PIM på alle serviceprinciper innen 2026-06-01 |
| S-02 | medium | Data | Aktivér Customer Lockbox for trafikkdata |
| S-03 | high | Model | Gjennomfør formell red-team-runde med Azure AI Red Team-veiledning |
| S-04 | low | Network | Periodisk verifikasjon av Private Endpoint-konfigurasjon |
| S-05 | medium | Logging | Implementer ML-basert avviksdeteksjon på AI-output-rate |
| S-06 | medium | Vendor | Bestilt third-party penetrasjons-test for Q3 2026 |
## Aggregat
Totalscore: 22/30 (73%) — modent men ikke best-i-klassen. Modell- og prompt-sikkerhet er svakeste dimensjon.