Kjell Tore Guttormsen
544934dc57
Reference files, test fixtures, the playground demo project and one design document now use generic, fictitious examples (buildings, energy, water, grants, municipal services). The playground demo (17 fixtures plus the embedded demo state) tells one consistent story: a municipal customer chatbot that pre-screens housing-benefit applications, classified under Annex III point 5(a). The embedded demo copies were edited in place rather than regenerated, because they already carry newer AI Act dates than the fixture files. Legal text is unchanged. Test semantics are unchanged. Four dark-theme onboarding screenshots with outdated placeholder text are removed. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
83 lines
2.6 KiB
Markdown
83 lines
2.6 KiB
Markdown
# POC-plan — Acme Kunde-chatbot
|
|
|
|
System: Acme Kunde-chatbot (Acme Kommune)
|
|
POC-mål: Validere at Azure AI Foundry kan dekke OCR + forklaring + audit innen tids- og kostbudsjett
|
|
|
|
## Faser
|
|
|
|
### Fase 1 — Foundation (uker 1-2)
|
|
|
|
Varighet: 2 uker
|
|
Status: done
|
|
|
|
Milepæler:
|
|
- Foundry hub + project i West Europe
|
|
- Identity og networking konfigurert
|
|
- Sample-data uploadet (10k anonymiserte vedlegg)
|
|
|
|
Suksesskriterier:
|
|
- Inferens-endpoint nåbart fra dev-Vnet via Private Endpoint
|
|
- Audit-logg fanger første test-inferens
|
|
- Cost-monitor viser daglig forbruk i Azure portal
|
|
|
|
### Fase 2 — OCR-modell (uker 3-5)
|
|
|
|
Varighet: 3 uker
|
|
Status: active
|
|
|
|
Milepæler:
|
|
- Pre-trent Azure AI Vision OCR pilotert
|
|
- Custom fine-tune på 10k vedlegg
|
|
- Sammenligning av accuracy/latency mellom de to
|
|
|
|
Suksesskriterier:
|
|
- F1 ≥ 92% på pilot-sett (lavere mål enn produksjon, akseptabelt for POC)
|
|
- Latency P95 < 200ms
|
|
- Inference-cost ≤ NOK 0.04 per kall
|
|
|
|
### Fase 3 — Forklarings-loop (uker 6-7)
|
|
|
|
Varighet: 2 uker
|
|
Status: planned
|
|
|
|
Milepæler:
|
|
- GPT-4 Turbo via Foundry integrert
|
|
- Prompt-template for forklaring av flagged sak
|
|
- saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere
|
|
|
|
Suksesskriterier:
|
|
- Forklaring referer til konfidens og kontekst korrekt i 95% av tilfellene
|
|
- saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering")
|
|
- Prompt-tokens under 250 i snitt per sak
|
|
|
|
### Fase 4 — Compliance-pre-check (uke 8)
|
|
|
|
Varighet: 1 uke
|
|
Status: planned
|
|
|
|
Milepæler:
|
|
- Audit-logg mot EU AI Act Art. 12-krav
|
|
- Customer-managed keys verifisert
|
|
- Pre-DPIA-sjekk gjort med Datatilsynet
|
|
|
|
Suksesskriterier:
|
|
- Audit-logg dekker 100% av inferences med tidsstempel + bruker
|
|
- Personvernombud signer pre-DPIA-utkast
|
|
- Ingen åpenbare GDPR-blokkere
|
|
|
|
## Risiko
|
|
|
|
| Risiko | Sannsynlighet | Konsekvens | Tiltak |
|
|
|--------|---------------|------------|--------|
|
|
| Custom OCR-modell underyter pre-trent | medium | medium | Aksepter pre-trent for POC; planlegg custom for full prod |
|
|
| Foundry-quota i West Europe utilstrekkelig | low | medium | Reserver kapasitet før POC starter |
|
|
| saksbehandler-recruitment forsinker fase 3 | medium | low | Bruk interne ressurser i AI-teamet som mock |
|
|
| Audit-logg-format ikke kompatibelt med Sentinel | low | medium | Test integrasjon i fase 1 |
|
|
|
|
## POC-Verdict: BETINGET
|
|
|
|
Pilot-fase 1 fullført med F1=0.94 og inference-cost 0.038 NOK/kall (under budsjett). Fase 2 pågår — sammenligning av custom fine-tune mot pre-trent OCR i progress. Forklarings-loop og compliance-pre-check planlagt for siste halvdel.
|
|
|
|
## Total varighet
|
|
|
|
8 uker. Beslutningskriterium for full prosjektgodkjenning: alle 4 fasers suksesskriterier møtt.
|