Kjell Tore Guttormsen
c1f75f9c78
(a) 2 description-fikser (operatør-godkjent): - governance: +Schrems II/TIA-trigger (recall-gap 0.85→1.0; governance eier domenet — 20 ref-filer + data-residency-audit-monitoring.md) - advisor: strammere — selection-forankret + eksplisitt negativ scope (NOT for build/secure/operate/legally-assess); fjernet bred "Microsoft AI architecture"-trigger som kolliderte med søsken (b) Kuratert testsett + mekanikk: - ny data/k1-trigger-prompts.json (100 prompts: 10 in + 10 adversarielt out/skill) - judge-prompt.md K1: generer→konsumer kuratert sett + nytt skjema (inDomainHitRate/outDomainFalsePositiveRate/pass/misclassified, provisional=false) - blindet måling: 5 Opus-dommere ser kun description + 20 stokkede umerkede prompts; ground-truth scoret deterministisk utenfor dommeren Resultat: K1 PASS alle 5 — hit 1.0 / fp 0.0 / presisjon 1.0 / 0 miss. Begge fikser validert i dommer-begrunnelsene. K2 fortsatt PASS. Ikke regredert: validate 239 · kb-eval 15 · kb-update 122 · kb-integrity 192/192. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01REiKFhP4w6xGXXqWKpPCJJ
144 lines
11 KiB
JSON
144 lines
11 KiB
JSON
{
|
|
"_meta": {
|
|
"purpose": "Operator-curated K1 trigger-precision test set. 10 in-domain + 10 out-of-domain prompts per skill. Judge decides PURELY from each skill's description whether it should trigger; precision = (in-domain correctly triggered + out-of-domain correctly NOT triggered) / 20.",
|
|
"status": "CANDIDATE — awaiting operator curation (Sesjon 11)",
|
|
"design": "out_of_domain is adversarial: each entry is a sibling-domain prompt (belongs_to) chosen to test the over-trigging boundary, plus one fully-unrelated control. Bilingual (no/en) to mirror real usage.",
|
|
"criterion": "K1 PASS = >=90% hits / <=10% false positives per skill",
|
|
"created_session": "S11"
|
|
},
|
|
"ms-ai-advisor": {
|
|
"intent": "Hjelp meg velge — Microsoft AI platform selection",
|
|
"in_domain": [
|
|
"Bør vi bruke Copilot Studio eller Azure AI Foundry for en intern kundeservice-bot?",
|
|
"Which Microsoft AI platform fits a RAG chatbot over our SharePoint documents?",
|
|
"Vi vurderer M365 Copilot vs en egenutviklet Foundry-løsning — hva passer best?",
|
|
"Help me choose between Power Platform AI Builder and Azure AI Foundry for document processing.",
|
|
"Cosmo, vi skal bygge en AI-assistent for saksbehandlere — hvor begynner vi med plattformvalg?",
|
|
"Foundry eller Copilot Studio for en agent som slår opp i interne API-er?",
|
|
"Hvilken Microsoft-plattform gir lavest inngangsterskel for et lite team uten ML-kompetanse?",
|
|
"We need to pick an AI platform for a multi-agent workflow — Foundry Agent Service or Copilot Studio?",
|
|
"/architect vi vil lage en chatbot, hjelp oss velge teknologi",
|
|
"Azure OpenAI direkte vs Foundry — når lønner det seg å velge det ene over det andre?"
|
|
],
|
|
"out_of_domain": [
|
|
{ "prompt": "Hvordan implementerer jeg hybrid search med Azure AI Search for RAG?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "What's the best chunking strategy for a RAG pipeline on Foundry?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Kjør en sikkerhetsvurdering av vår Azure OpenAI-løsning mot OWASP LLM Top 10.", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Hva koster en Foundry-løsning med 500 brukere per måned i NOK?", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Er det lovlig å bruke M365 Copilot på persondata i en norsk kommune?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Trenger vi DPIA for denne Copilot Studio-boten?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Hvordan setter jeg opp disaster recovery for en Foundry-deployment i to regioner?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Kan vi kjøre denne modellen on-prem med Azure Arc for suverenitet?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Schrems II — kan vi overføre persondata til Azure OpenAI i USA?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "How do I fine-tune a Llama model on AWS Bedrock?", "belongs_to": "out-of-stack (non-Microsoft)" }
|
|
]
|
|
},
|
|
"ms-ai-governance": {
|
|
"intent": "Er dette lovlig? — compliance, AI Act, DPIA, Schrems II, norsk forvaltning",
|
|
"in_domain": [
|
|
"Trenger denne AI-løsningen en DPIA før vi setter den i produksjon?",
|
|
"Hvilket risikonivå har et CV-screening-system under EU AI Act?",
|
|
"Schrems II — kan vi overføre persondata til USA via Azure OpenAI?",
|
|
"Hvordan oppfyller vi utredningsinstruksen for et nytt AI-saksbehandlingssystem?",
|
|
"Er en automatisert vedtaksmotor lovlig under Forvaltningsloven?",
|
|
"What are our obligations as a deployer of a high-risk AI system under the AI Act?",
|
|
"Hvordan dokumenterer vi ansvarlig AI-styring for offentlig sektor?",
|
|
"Trenger vi en FRIA (grunnleggende rettighetsvurdering) for dette systemet?",
|
|
"Overføring av persondata til tredjeland — hvilken TIA-prosess gjelder?",
|
|
"Hvordan samsvarer løsningen med Digdir sine arkitekturprinsipper?"
|
|
],
|
|
"out_of_domain": [
|
|
{ "prompt": "Hvordan bygger jeg en RAG-pipeline med Azure AI Search?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Bør vi velge Copilot Studio eller Foundry for boten vår?", "belongs_to": "ms-ai-advisor" },
|
|
{ "prompt": "Kjør en STRIDE-trusselmodell på vår LLM-applikasjon.", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Hva blir P50-kostnaden for denne løsningen i NOK?", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Hvordan setter jeg opp multi-region failover for Foundry?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Hvilken embedding-modell gir best resultat for norsk tekst?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Kan ONNX Runtime kjøre denne modellen på edge?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Hvordan beskytter jeg mot prompt injection i agenten?", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Hvordan orkestrerer jeg flere agenter med Microsoft Agent Framework?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Hva er hovedstaden i Norge?", "belongs_to": "out-of-domain (unrelated)" }
|
|
]
|
|
},
|
|
"ms-ai-security": {
|
|
"intent": "Er dette trygt? — security assessment + cost estimation",
|
|
"in_domain": [
|
|
"Kjør en sikkerhetsvurdering (6 dimensjoner) av vår Azure AI-løsning.",
|
|
"Hvordan mitigerer vi OWASP LLM Top 10-risikoene i en RAG-app?",
|
|
"Lag et kostnadsestimat i NOK med P10/P50/P90 for denne Foundry-løsningen.",
|
|
"Hvordan gjør jeg trusselmodellering (STRIDE) for en multi-agent-løsning?",
|
|
"What FinOps practices reduce our Azure OpenAI token spend?",
|
|
"Hvordan beskytter jeg mot prompt injection og jailbreak i agenten?",
|
|
"Hva er TCO over tre år for Copilot Studio vs egenutviklet løsning?",
|
|
"Score sikkerheten på identitet, nettverk og datasikkerhet for denne arkitekturen.",
|
|
"Hvordan setter jeg opp content safety og innholdsfiltrering?",
|
|
"Cost estimation for an Azure AI Search + GPT-4 class deployment, monthly NOK?"
|
|
],
|
|
"out_of_domain": [
|
|
{ "prompt": "Trenger vi DPIA for dette systemet?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Hvilket AI Act-risikonivå gjelder for ansiktsgjenkjenning?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Foundry eller Copilot Studio for vår use case?", "belongs_to": "ms-ai-advisor" },
|
|
{ "prompt": "Hvordan implementerer jeg semantic chunking i RAG-pipen?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Hvordan oppnår vi RTO på 1 time for AI-tjenesten?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Hvilken vektordatabase passer som Azure AI Search-alternativ?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Er løsningen lovlig under Forvaltningsloven?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Sovereign cloud-oppsett for norske persondata?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Hvordan setter jeg opp en Fabric data pipeline for trening?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Skriv et dikt om høsten.", "belongs_to": "out-of-domain (unrelated)" }
|
|
]
|
|
},
|
|
"ms-ai-engineering": {
|
|
"intent": "Hvordan bygger jeg dette? — RAG, agenter, data, MLOps, multimodal",
|
|
"in_domain": [
|
|
"Hvordan bygger jeg en RAG-arkitektur med Azure AI Search og GPT?",
|
|
"Beste chunking- og embedding-strategi for et norsk dokumentkorpus?",
|
|
"Hvordan orkestrerer jeg flere agenter med Microsoft Agent Framework?",
|
|
"Hvordan setter jeg opp en Fabric-datapipeline for AI-trening?",
|
|
"MLOps/GenAIOps-oppsett for kontinuerlig evaluering av en LLM-app?",
|
|
"How do I implement hybrid search (vector + keyword) in Azure AI Search?",
|
|
"Hvordan håndterer jeg multimodal input (bilde + tekst) i løsningen?",
|
|
"Hvordan eksponerer jeg AI-tjenesten gjennom Azure API Management?",
|
|
"Hvilket mønster passer for tool-calling i en Foundry-agent?",
|
|
"Hvordan bygger jeg en evaluerings-pipeline for RAG-kvalitet (groundedness)?"
|
|
],
|
|
"out_of_domain": [
|
|
{ "prompt": "Bør vi velge Foundry eller Copilot Studio?", "belongs_to": "ms-ai-advisor" },
|
|
{ "prompt": "Trenger denne RAG-løsningen en DPIA?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Kjør OWASP LLM-risikovurdering på pipen.", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Hva koster dette per måned i NOK?", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Hvordan setter jeg opp disaster recovery for tjenesten?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Er det lovlig å bruke disse persondataene til trening?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Edge-deployment med ONNX Runtime for et frakoblet scenario?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Hvilket AI Act-risikonivå har systemet?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Suveren sky for norske data — hvilke alternativer?", "belongs_to": "ms-ai-infrastructure" },
|
|
{ "prompt": "Hvordan baker jeg surdeigsbrød?", "belongs_to": "out-of-domain (unrelated)" }
|
|
]
|
|
},
|
|
"ms-ai-infrastructure": {
|
|
"intent": "Hvordan drifter jeg dette? — BCDR, hybrid/edge, suveren sky",
|
|
"in_domain": [
|
|
"Hvordan setter jeg opp disaster recovery (BCDR) for en Foundry-deployment?",
|
|
"Multi-region failover for Azure OpenAI — hvordan oppnår vi RTO under 1 time?",
|
|
"Edge AI-deployment med ONNX Runtime for et frakoblet scenario?",
|
|
"Suveren sky for norske persondata — hvilke Azure-alternativer finnes?",
|
|
"Hvordan bruker jeg Azure Arc for AI-arbeidslaster utenfor Azure?",
|
|
"Hybrid AI-arkitektur — modell on-prem, orkestrering i sky?",
|
|
"Hvordan designer jeg for offline-first AI i en feltapplikasjon?",
|
|
"RPO/RTO-mål for en kritisk AI-tjeneste — hvordan setter jeg dem opp?",
|
|
"Resiliens-mønstre for AI-infrastruktur ved regionutfall?",
|
|
"Disconnected/air-gapped deployment av en språkmodell — er det mulig?"
|
|
],
|
|
"out_of_domain": [
|
|
{ "prompt": "Copilot Studio eller Foundry for boten?", "belongs_to": "ms-ai-advisor" },
|
|
{ "prompt": "Trenger vi DPIA og AI Act-klassifisering?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Hvordan bygger jeg RAG med Azure AI Search?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Trusselmodellering og OWASP LLM-mitigering?", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Kostnadsestimat i NOK for løsningen?", "belongs_to": "ms-ai-security" },
|
|
{ "prompt": "Multi-agent orkestrering med Agent Framework?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Schrems II — lovlig å overføre data til USA?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Embedding-strategi for norsk tekst?", "belongs_to": "ms-ai-engineering" },
|
|
{ "prompt": "Samsvar med Digdir-prinsippene?", "belongs_to": "ms-ai-governance" },
|
|
{ "prompt": "Hva er værmeldingen i morgen?", "belongs_to": "out-of-domain (unrelated)" }
|
|
]
|
|
}
|
|
}
|