open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 4 Activity
ms-ai-architect/playground/test-fixtures/review.md
Kjell Tore Guttormsen 544934dc57
 refactor(examples): replace sector-specific example material with generic, fictitious examples 
Reference files, test fixtures, the playground demo project and one design
document now use generic, fictitious examples (buildings, energy, water,
grants, municipal services). The playground demo (17 fixtures plus the
embedded demo state) tells one consistent story: a municipal customer
chatbot that pre-screens housing-benefit applications, classified under
Annex III point 5(a). The embedded demo copies were edited in place rather
than regenerated, because they already carry newer AI Act dates than the
fixture files.

Legal text is unchanged. Test semantics are unchanged. Four dark-theme
onboarding screenshots with outdated placeholder text are removed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-23 14:03:53 +02:00

2 KiB
Raw Blame History

Arkitekturgjennomgang — Acme Kunde-chatbot

System: Acme Kunde-chatbot (Acme Kommune) Vurderingsdato: 2026-04-30 Reviewers: AI-arkitekt, sikkerhetsarkitekt, Datatilsynet

Funn

ID Severity Status Lokasjon Anbefaling
F-01 critical remove Authentication layer Tilgang til AI-forklaringer mangler attribute-based access control — alle saksbehandler ser alle saker. Implementer ABAC basert på sak-tildeling.
F-02 high review Data pipeline Treningsdata oppdateres månedlig, men ingen formell drift-deteksjon. Etabler statistisk drift-monitoring i Azure Monitor.
F-03 high review Model serving Modellen serves fra en enkelt regional endpoint uten failover. Replikér til en sekundær region for RTO < 1t.
F-04 high review Logging Audit-logg lagres 30 dager — under arkivlovens krav for sak-relevant info. Endre retensjon til 7 år for sak-knyttede oppslag.
F-05 medium keep Cost management Ingen budsjettalarmer på Azure AI Services — prediction-kostnaden kan øke med 4× ved belastnings-topper uten varsel.
F-06 medium review Compliance FRIA-rapport ikke vedlikeholdt etter modell-endring 2026-03-12. Re-evaluering trengs.
F-07 medium keep UX saksbehandler-grensesnitt viser ikke konfidensgrad tydelig nok — risiko for over-trust på AI-output.
F-08 low suppressed Documentation README mangler oppdatert arkitekturdiagram (siste fra 2025-11).
F-09 low suppressed Testing Manglende E2E-test for henvendelser på andre språk.

Sammendrag

Critical (1): ABAC mangler — må fikses før idriftsettelse. High (3): Drift-deteksjon, failover, logg-retensjon — må fikses innen 6 mnd. Medium (3): Budsjett, FRIA-revisjon, UX-konfidens — bør fikses innen 12 mnd. Low (2): Dokumentasjon, testing — opportunity-quality.

Anbefaling

Idriftsettelse anbefales IKKE før F-01 er løst. F-02 til F-04 må adresseres innen 2026-09-01 for å holde 2027-08-02-fristen.