ktg-plugin-marketplace/plugins/ms-ai-architect/playground/test-fixtures/poc.md
Kjell Tore Guttormsen b4a5ff0c75 test(ms-ai-architect): playground v3 markdown fixtures (17 commands) [skip-docs]
Synthetic markdown fixtures for the 17 report-producing commands per the canonical archetype-routing-tabell. Each fixture uses the consistent ANPR-trafikkanalyse system from brief example to produce parser-input that exercises every archetype path (aiact, requirements-list, text-document, fria, conformity-checklist, matrix-risk 5x5, matrix-risk-6x5, findings, cost-distribution, capability, phased-plan, markdown, verdict, comparison).

Real /architect:<command> capture deferred to incremental work; synthetic fixtures suffice as parser test input for Steps 11-12.
2026-05-03 19:23:26 +02:00

2.3 KiB

POC-plan — ANPR-trafikkanalyse

System: ANPR-trafikkanalyse (Statens vegvesen) POC-mål: Validere at Azure AI Foundry kan dekke OCR + forklaring + audit innen tids- og kostbudsjett

Faser

Fase 1 — Foundation (uker 1-2)

Varighet: 2 uker

Milepæler:

  • Foundry hub + project i West Europe
  • Identity og networking konfigurert
  • Sample-data uploadet (10k anonymiserte kjennemerker)

Suksesskriterier:

  • Inferens-endpoint nåbart fra dev-Vnet via Private Endpoint
  • Audit-logg fanger første test-inferens
  • Cost-monitor viser daglig forbruk i Azure portal

Fase 2 — OCR-modell (uker 3-5)

Varighet: 3 uker

Milepæler:

  • Pre-trent Azure AI Vision OCR pilotert
  • Custom fine-tune på 10k kjennemerker
  • Sammenligning av accuracy/latency mellom de to

Suksesskriterier:

  • F1 ≥ 92% på pilot-sett (lavere mål enn produksjon, akseptabelt for POC)
  • Latency P95 < 200ms
  • Inference-cost ≤ NOK 0.04 per kall

Fase 3 — Forklarings-loop (uker 6-7)

Varighet: 2 uker

Milepæler:

  • GPT-4 Turbo via Foundry integrert
  • Prompt-template for forklaring av flagged sak
  • Saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere

Suksesskriterier:

  • Forklaring referer til konfidens og kontekst korrekt i 95% av tilfellene
  • Saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering")
  • Prompt-tokens under 250 i snitt per sak

Fase 4 — Compliance-pre-check (uke 8)

Varighet: 1 uke

Milepæler:

  • Audit-logg mot EU AI Act Art. 12-krav
  • Customer-managed keys verifisert
  • Pre-DPIA-sjekk gjort med personvernombud

Suksesskriterier:

  • Audit-logg dekker 100% av inferences med tidsstempel + bruker
  • Personvernombud signer pre-DPIA-utkast
  • Ingen åpenbare GDPR-blokkere

Risiko

Risiko Sannsynlighet Konsekvens Tiltak
Custom OCR-modell underyter pre-trent medium medium Aksepter pre-trent for POC; planlegg custom for full prod
Foundry-quota i West Europe utilstrekkelig low medium Reserver kapasitet før POC starter
Saksbehandler-recruitment forsinker fase 3 medium low Bruk interne ressurser i KI-seksjonen som mock
Audit-logg-format ikke kompatibelt med Sentinel low medium Test integrasjon i fase 1

Total varighet

8 uker. Beslutningskriterium for full prosjektgodkjenning: alle 4 fasers suksesskriterier møtt.