ktg-plugin-marketplace/plugins/ms-ai-architect/playground/test-fixtures/review.md
Kjell Tore Guttormsen e57dee5a03 chore(ms-ai-architect): scrub identifying references from fixtures + remove screenshots
Removes:
- All 6 PNG screenshots (playground/screenshots/) and the capture script
  (scripts/screenshots/capture-playground.py).
- "Screenshots" section from plugin README.
- "Screenshot-suite" section from plugin CLAUDE.md.
- Screenshots bullet from marketplace root README's ms-ai-architect listing.

Scrubs the 17 synthetic fixtures + CHANGELOG/CLAUDE/README of identifying
references: organization names, government-agency names, agency-specific
terminology, sector-specific use cases. Replaced with generic placeholder
data ("Acme AS" / "Demosystem") that exercises the same parser archetypes.

Plugin's domain-target wording (Datatilsynet, offentlig sektor, offentlig
myndighet, rettshåndhevelse, NS 5814, Utredningsinstruksen, EU AI Act
Annex III categories) is intact — those describe the plugin's intended
audience, not any specific entity.

This is a cleanup commit. Earlier git history still contains the prior
references; force-push or rebase is required if scrubbing the history is
desired. That decision is out of scope here — please run it separately
if needed.

Verified post-scrub:
- bash tests/validate-plugin.sh -> 215/215 PASS
- bash tests/run-e2e.sh --playground -> 240/240 PASS (170 + 70)
2026-05-03 20:53:49 +02:00

1.9 KiB
Raw Blame History

Arkitekturgjennomgang — Demosystem

System: Demosystem (Acme AS) Vurderingsdato: 2026-04-30 Reviewers: AI-arkitekt, sikkerhetsarkitekt, Datatilsynet

Funn

ID Severity Lokasjon Anbefaling
F-01 critical Authentication layer Tilgang til AI-forklaringer mangler attribute-based access control — alle saksbehandler ser alle saker. Implementer ABAC basert på sak-tildeling.
F-02 high Data pipeline Treningsdata oppdateres månedlig, men ingen formell drift-deteksjon. Etabler statistisk drift-monitoring i Azure Monitor.
F-03 high Model serving Modellen serves fra en enkelt regional endpoint uten failover. Replikér til en sekundær region for RTO < 1t.
F-04 high Logging Audit-logg lagres 30 dager — under arkivlovens krav for sak-relevant info. Endre retensjon til 7 år for sak-knyttede oppslag.
F-05 medium Cost management Ingen budsjettalarmer på Azure AI Services — prediction-kostnaden kan øke med 4× ved belastnings-topper uten varsel.
F-06 medium Compliance FRIA-rapport ikke vedlikeholdt etter modell-endring 2026-03-12. Re-evaluering trengs.
F-07 medium UX saksbehandler-grensesnitt viser ikke konfidensgrad tydelig nok — risiko for over-trust på AI-output.
F-08 low Documentation README mangler oppdatert arkitekturdiagram (siste fra 2025-11).
F-09 low Testing Manglende E2E-test for utenlandske objekt-ID.

Sammendrag

Critical (1): ABAC mangler — må fikses før idriftsettelse. High (3): Drift-deteksjon, failover, logg-retensjon — må fikses innen 6 mnd. Medium (3): Budsjett, FRIA-revisjon, UX-konfidens — bør fikses innen 12 mnd. Low (2): Dokumentasjon, testing — opportunity-quality.

Anbefaling

Idriftsettelse anbefales IKKE før F-01 er løst. F-02 til F-04 må adresseres innen 2026-09-01 for å holde 2027-08-02-fristen.