open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 4 Activity
ms-ai-architect/playground/test-fixtures/review.md
Kjell Tore Guttormsen 2e9bc5e0bb
 fix(playground): align the demo project description with its reports 
The demo project card now describes the system the 17 demo reports are about: a citizen chatbot that pre-assesses applications for municipal housing allowance (bostøtte) from uploaded attachments. It previously described a building-permit (byggesak) chatbot that no report mentions.

Six fixtures (classify, requirements, conformity, review, adr, summary) are set equal to the corrected text already inlined in the demo block: the Annex III deadline 2027-12-02 and the 2026-08-02 transparency label, instead of 2027-08-02. Chose syncing the fixtures to the block over editing the block by hand, because the block is build output and a rebuild from the old fixtures would have put the wrong deadlines back in the demo.

Rebuilt the demo state and regenerated the 24 screenshots once with tests/screenshot/run.mjs; MANIFEST.json matches the new demo state.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-23 15:06:19 +02:00

2 KiB
Raw Blame History

Arkitekturgjennomgang — Acme Kunde-chatbot

System: Acme Kunde-chatbot (Acme Kommune) Vurderingsdato: 2026-04-30 Reviewers: AI-arkitekt, sikkerhetsarkitekt, Datatilsynet

Funn

ID Severity Status Lokasjon Anbefaling
F-01 critical remove Authentication layer Tilgang til AI-forklaringer mangler attribute-based access control — alle saksbehandler ser alle saker. Implementer ABAC basert på sak-tildeling.
F-02 high review Data pipeline Treningsdata oppdateres månedlig, men ingen formell drift-deteksjon. Etabler statistisk drift-monitoring i Azure Monitor.
F-03 high review Model serving Modellen serves fra en enkelt regional endpoint uten failover. Replikér til en sekundær region for RTO < 1t.
F-04 high review Logging Audit-logg lagres 30 dager — under arkivlovens krav for sak-relevant info. Endre retensjon til 7 år for sak-knyttede oppslag.
F-05 medium keep Cost management Ingen budsjettalarmer på Azure AI Services — prediction-kostnaden kan øke med 4× ved belastnings-topper uten varsel.
F-06 medium review Compliance FRIA-rapport ikke vedlikeholdt etter modell-endring 2026-03-12. Re-evaluering trengs.
F-07 medium keep UX saksbehandler-grensesnitt viser ikke konfidensgrad tydelig nok — risiko for over-trust på AI-output.
F-08 low suppressed Documentation README mangler oppdatert arkitekturdiagram (siste fra 2025-11).
F-09 low suppressed Testing Manglende E2E-test for henvendelser på andre språk.

Sammendrag

Critical (1): ABAC mangler — må fikses før idriftsettelse. High (3): Drift-deteksjon, failover, logg-retensjon — må fikses innen 6 mnd. Medium (3): Budsjett, FRIA-revisjon, UX-konfidens — bør fikses innen 12 mnd. Low (2): Dokumentasjon, testing — opportunity-quality.

Anbefaling

Idriftsettelse anbefales IKKE før F-01 er løst. F-02 til F-04 må adresseres innen 2026-09-01 for å holde 2027-12-02-fristen.