open/ktg-plugin-marketplace
1
0
Fork 0
Code Issues Pull requests Releases Wiki Activity Actions
ktg-plugin-marketplace/plugins/ms-ai-architect/playground/test-fixtures/poc.md
Kjell Tore Guttormsen e57dee5a03 chore(ms-ai-architect): scrub identifying references from fixtures + remove screenshots 
Removes:
- All 6 PNG screenshots (playground/screenshots/) and the capture script
  (scripts/screenshots/capture-playground.py).
- "Screenshots" section from plugin README.
- "Screenshot-suite" section from plugin CLAUDE.md.
- Screenshots bullet from marketplace root README's ms-ai-architect listing.

Scrubs the 17 synthetic fixtures + CHANGELOG/CLAUDE/README of identifying
references: organization names, government-agency names, agency-specific
terminology, sector-specific use cases. Replaced with generic placeholder
data ("Acme AS" / "Demosystem") that exercises the same parser archetypes.

Plugin's domain-target wording (Datatilsynet, offentlig sektor, offentlig
myndighet, rettshåndhevelse, NS 5814, Utredningsinstruksen, EU AI Act
Annex III categories) is intact — those describe the plugin's intended
audience, not any specific entity.

This is a cleanup commit. Earlier git history still contains the prior
references; force-push or rebase is required if scrubbing the history is
desired. That decision is out of scope here — please run it separately
if needed.

Verified post-scrub:
- bash tests/validate-plugin.sh -> 215/215 PASS
- bash tests/run-e2e.sh --playground -> 240/240 PASS (170 + 70)
2026-05-03 20:53:49 +02:00

2.3 KiB
Raw Blame History

POC-plan — Demosystem

System: Demosystem (Acme AS) POC-mål: Validere at Azure AI Foundry kan dekke OCR + forklaring + audit innen tids- og kostbudsjett

Faser

Fase 1 — Foundation (uker 1-2)

Varighet: 2 uker

Milepæler:

  • Foundry hub + project i West Europe
  • Identity og networking konfigurert
  • Sample-data uploadet (10k anonymiserte objekt-ID)

Suksesskriterier:

  • Inferens-endpoint nåbart fra dev-Vnet via Private Endpoint
  • Audit-logg fanger første test-inferens
  • Cost-monitor viser daglig forbruk i Azure portal

Fase 2 — OCR-modell (uker 3-5)

Varighet: 3 uker

Milepæler:

  • Pre-trent Azure AI Vision OCR pilotert
  • Custom fine-tune på 10k objekt-ID
  • Sammenligning av accuracy/latency mellom de to

Suksesskriterier:

  • F1 ≥ 92% på pilot-sett (lavere mål enn produksjon, akseptabelt for POC)
  • Latency P95 < 200ms
  • Inference-cost ≤ NOK 0.04 per kall

Fase 3 — Forklarings-loop (uker 6-7)

Varighet: 2 uker

Milepæler:

  • GPT-4 Turbo via Foundry integrert
  • Prompt-template for forklaring av flagged sak
  • saksbehandler-mock UI (en enkel webside) prøvd ut med 3 brukere

Suksesskriterier:

  • Forklaring referer til konfidens og kontekst korrekt i 95% av tilfellene
  • saksbehandler-feedback kvalitativt positiv ("forståelig, men trenger justering")
  • Prompt-tokens under 250 i snitt per sak

Fase 4 — Compliance-pre-check (uke 8)

Varighet: 1 uke

Milepæler:

  • Audit-logg mot EU AI Act Art. 12-krav
  • Customer-managed keys verifisert
  • Pre-DPIA-sjekk gjort med Datatilsynet

Suksesskriterier:

  • Audit-logg dekker 100% av inferences med tidsstempel + bruker
  • Personvernombud signer pre-DPIA-utkast
  • Ingen åpenbare GDPR-blokkere

Risiko

Risiko Sannsynlighet Konsekvens Tiltak
Custom OCR-modell underyter pre-trent medium medium Aksepter pre-trent for POC; planlegg custom for full prod
Foundry-quota i West Europe utilstrekkelig low medium Reserver kapasitet før POC starter
saksbehandler-recruitment forsinker fase 3 medium low Bruk interne ressurser i AI-teamet som mock
Audit-logg-format ikke kompatibelt med Sentinel low medium Test integrasjon i fase 1

Total varighet

8 uker. Beslutningskriterium for full prosjektgodkjenning: alle 4 fasers suksesskriterier møtt.