open/ms-ai-architect
1
0
Fork 0
Code Issues Releases 4 Activity
ms-ai-architect/playground/test-fixtures/poc.md
Kjell Tore Guttormsen 544934dc57
 refactor(examples): replace sector-specific example material with generic, fictitious examples 
Reference files, test fixtures, the playground demo project and one design
document now use generic, fictitious examples (buildings, energy, water,
grants, municipal services). The playground demo (17 fixtures plus the
embedded demo state) tells one consistent story: a municipal customer
chatbot that pre-screens housing-benefit applications, classified under
Annex III point 5(a). The embedded demo copies were edited in place rather
than regenerated, because they already carry newer AI Act dates than the
fixture files.

Legal text is unchanged. Test semantics are unchanged. Four dark-theme
onboarding screenshots with outdated placeholder text are removed.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-23 14:03:53 +02:00

2.6 KiB
Raw Blame History

POC-plan — Acme Kunde-chatbot

System: Acme Kunde-chatbot (Acme Kommune) POC-mål: Validere at Azure AI Foundry kan dekke OCR + forklaring + audit innen tids- og kostbudsjett

Faser

Fase 1 — Foundation (uker 1-2)

Varighet: 2 uker Status: done

Milepæler:

  • Foundry hub + project i West Europe
  • Identity og networking konfigurert
  • Sample-data uploadet (10k anonymiserte vedlegg)

Suksesskriterier:

  • Inferens-endpoint nåbart fra dev-Vnet via Private Endpoint
  • Audit-logg fanger første test-inferens
  • Cost-monitor viser daglig forbruk i Azure portal

Fase 2 — OCR-modell (uker 3-5)

Varighet: 3 uker Status: active

Milepæler:

  • Pre-trent Azure AI Vision OCR pilotert
  • Custom fine-tune på 10k vedlegg
  • Sammenligning av accuracy/latency mellom de to

Suksesskriterier:

  • F1 ≥ 92% på pilot-sett (lavere mål enn produksjon, akseptabelt for POC)
  • Latency P95 < 200ms
  • Inference-cost ≤ NOK 0.04 per kall

Fase 3 — Forklarings-loop (uker 6-7)

Varighet: 2 uker Status: planned

Milepæler:

  • GPT-4 Turbo via Foundry integrert
  • Prompt-template for forklaring av flagged sak
  • saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere

Suksesskriterier:

  • Forklaring referer til konfidens og kontekst korrekt i 95% av tilfellene
  • saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering")
  • Prompt-tokens under 250 i snitt per sak

Fase 4 — Compliance-pre-check (uke 8)

Varighet: 1 uke Status: planned

Milepæler:

  • Audit-logg mot EU AI Act Art. 12-krav
  • Customer-managed keys verifisert
  • Pre-DPIA-sjekk gjort med Datatilsynet

Suksesskriterier:

  • Audit-logg dekker 100% av inferences med tidsstempel + bruker
  • Personvernombud signer pre-DPIA-utkast
  • Ingen åpenbare GDPR-blokkere

Risiko

Risiko Sannsynlighet Konsekvens Tiltak
Custom OCR-modell underyter pre-trent medium medium Aksepter pre-trent for POC; planlegg custom for full prod
Foundry-quota i West Europe utilstrekkelig low medium Reserver kapasitet før POC starter
saksbehandler-recruitment forsinker fase 3 medium low Bruk interne ressurser i AI-teamet som mock
Audit-logg-format ikke kompatibelt med Sentinel low medium Test integrasjon i fase 1

POC-Verdict: BETINGET

Pilot-fase 1 fullført med F1=0.94 og inference-cost 0.038 NOK/kall (under budsjett). Fase 2 pågår — sammenligning av custom fine-tune mot pre-trent OCR i progress. Forklarings-loop og compliance-pre-check planlagt for siste halvdel.

Total varighet

8 uker. Beslutningskriterium for full prosjektgodkjenning: alle 4 fasers suksesskriterier møtt.