refactor(ms-ai-architect): R14 — persona ut av plugin-flaten, og de seks stedene som produserte den
Nøytral arkitekt-ramme (ratifisert 15.09) i SKILL.md-ene, 23 kommandoer, 70 redaksjonelle forekomster i ref-korpuset, README/CLAUDE.md/NOTICE og A11Y-rapportens proveniens-linje. Hver av de 70 avgjort i kontekst: dialog fikk ny taler, proveniens ny opphavspåstand. Ordren navnga fem produsent-steder; den live sjette manglet. `PROMPT_TEMPLATE` settes i generate-skills.sh:27 og leses ALDRI — prompten er en heredoc i samme script. Å rette bare prompt-template.md ville latt generatoren re-minte personaen ved neste KB-kjøring. Ny G4-klausul i check-cosmo-gate.mjs: persona i leveranseflaten = 0, derivasjonsregisteret pinnet per fil PÅ TALL (et filnavn-unntak er blindt for hva fila senere inneholder). Registeret utvidet med README.md 3 — versjonstabellens rader er historikk, ikke leveranse. Den ene genitiv-formede produktlinja adjudiseres på cosmos-db-URL-en i samme rad; regelen er målt lukket (8 tvetydige linjer totalt, 33 URL-linjer, 2 persona-klassifiserte, begge produkt) og hvitvasker ikke bar `Cosmo`. classifyCosmo urørt — baselinene hviler på den. R3 godtar nå R14-utført (0) men ingenting imellom: et halvveis sveip felles fortsatt. Bevis: gate PASSED + NETTET VALIDERT BEGGE VEIER · 1137/1137 · validate-plugin 250/0/0 · begge --dry-drivere 0 · Layer B 45/45 OK (kjent-positiv feller, exit 1). Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
1c9af82daa
commit
ced0c5f46d
80 changed files with 400 additions and 152 deletions
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
**Category:** Monitoring & Observability
|
||||
**Last updated:** 2026-06-19
|
||||
**Brukes av:** Cosmo Skyberg, Microsoft AI Solution Architect
|
||||
**Brukes av:** AI Architect-pluginen
|
||||
**Type:** reference
|
||||
**Source:** https://learn.microsoft.com/azure/azure-monitor/visualize/workbooks-overview
|
||||
|
||||
|
|
|
|||
|
|
@ -2,7 +2,7 @@
|
|||
|
||||
**Category:** Monitoring & Observability
|
||||
**Last updated:** 2026-05
|
||||
**Forfatter:** Cosmo Skyberg, AI Solution Architect
|
||||
**Forfatter:** AI Architect-pluginen
|
||||
**Type:** reference
|
||||
**Source:** https://learn.microsoft.com/azure/machine-learning/monitor-azure-machine-learning
|
||||
**Status:** Established Practice
|
||||
|
|
|
|||
|
|
@ -317,6 +317,6 @@ Når du rådgir om AI-løsninger for norsk offentlig sektor, bruk denne strategi
|
|||
|
||||
---
|
||||
|
||||
**Document Owner:** Cosmo Skyberg, Microsoft AI Solution Architect
|
||||
**Document Owner:** AI Architect-pluginen
|
||||
**For:** Norwegian Public Sector AI Governance Reference Library
|
||||
**Next Review:** 2026-09-19 (eller ved vesentlige oppdateringer i EU AI Act / norsk regulering)
|
||||
|
|
|
|||
|
|
@ -516,5 +516,5 @@ Nav har utviklet en "AI for sykefraværsprediksjon"-modell. Denne kan deles som
|
|||
|
||||
**Sist oppdatert:** 2026-06-19
|
||||
**Neste review:** 2026-09-19 (overvåk KI-lovens ikrafttredelse)
|
||||
**Eier:** AI Architect Plugin (Cosmo Skyberg)
|
||||
**Eier:** AI Architect-pluginen
|
||||
**Status:** Active — Requires quarterly updates as Norwegian AI regulations evolve
|
||||
|
|
|
|||
|
|
@ -719,4 +719,4 @@ For hver dimension med score ≥3, dokumenter mitigations:
|
|||
|
||||
**Sist oppdatert:** 2026-02-03
|
||||
**Neste review:** 2026-05-01 (Q2 2026)
|
||||
**Eier:** Cosmo Skyberg (AI Architect Plugin)
|
||||
**Eier:** AI Architect-pluginen
|
||||
|
|
|
|||
|
|
@ -489,12 +489,12 @@ Impact Assessment for offentlig sektor i Norge må adressere:
|
|||
- "Er dette første AI-prosjekt, eller har dere erfaring med Responsible AI-praksis?"
|
||||
|
||||
**Fase 4: Kunnskapsvalidering**
|
||||
- *Cosmo validerer eget kunnskapsgrunnlag:*
|
||||
- *Arkitekten validerer eget kunnskapsgrunnlag:*
|
||||
- "Jeg vil nå søke etter oppdatert informasjon om [spesifikk regulering/domene]"
|
||||
- *(Bruk MCP microsoft-learn for å hente nyeste guidance)*
|
||||
|
||||
**Fase 5: Kunnskapsintegrasjon**
|
||||
- *Cosmo kombinerer:*
|
||||
- *Arkitekten kombinerer:*
|
||||
- Microsoft AI Impact Assessment Template (baseline)
|
||||
- Kunde-spesifikk kontekst (bransje, geografi, use case)
|
||||
- Regulatoriske krav (GDPR, EU AI Act, norsk offentlig sektor)
|
||||
|
|
|
|||
|
|
@ -465,4 +465,4 @@ Anbefal denne kombinasjonen:
|
|||
|
||||
---
|
||||
|
||||
*Dette dokumentet er en kunnskapsreferanse for Cosmo Skyberg (ms-ai-governance skill). Sist oppdatert: 2026-06-19. Status: General Availability (GA). For spørsmål om denne referansen, kontakt plugin-utvikler.*
|
||||
*Dette dokumentet er en kunnskapsreferanse i ms-ai-governance-skillen. Sist oppdatert: 2026-06-19. Status: General Availability (GA). For spørsmål om denne referansen, kontakt plugin-utvikler.*
|
||||
|
|
|
|||
|
|
@ -563,4 +563,4 @@ registered_model = ml_client.models.create_or_update(model)
|
|||
|
||||
---
|
||||
|
||||
**Cosmo Skyberg tipset:** Start alltid med "hva må vi kunne bevise om denne AI-en om 2 år?" — det gir deg riktig ambisjonsnivå for audit trails. Og husk: logging er billig, men å mangle det når revisor/Datatilsynet banker på døra er svindyrt.
|
||||
**Tips:** Start alltid med "hva må vi kunne bevise om denne AI-en om 2 år?" — det gir deg riktig ambisjonsnivå for audit trails. Og husk: logging er billig, men å mangle det når revisor/Datatilsynet banker på døra er svindyrt.
|
||||
|
|
|
|||
|
|
@ -528,13 +528,13 @@ Models, prompts, eval datasets, scorers – full reproducibility er non-negotiab
|
|||
### Kosmo-spesifikke talking points
|
||||
|
||||
**Når kunden sier:** "Vi har ikke ressurser til kontinuerlig monitoring"
|
||||
**Cosmo svarer:** "Da starter vi med det minimale: Capture traces + user feedback buttons. Microsoft Copilot Studio har dette built-in. Når volum vokser, add automated scorers for scale. Retraining kan være quarterly – ikke monthly."
|
||||
**Arkitekten svarer:** "Da starter vi med det minimale: Capture traces + user feedback buttons. Microsoft Copilot Studio har dette built-in. Når volum vokser, add automated scorers for scale. Retraining kan være quarterly – ikke monthly."
|
||||
|
||||
**Når kunden sier:** "Hvordan vet vi om forbedringene virker?"
|
||||
**Cosmo svarer:** "Det er derfor consistent metrics er kritisk. Du sammenligner evaluation runs før og etter retraining – MLflow evaluation harness gir deg side-by-side comparison. Plus, track production metrics over tid (pass rates, user satisfaction)."
|
||||
**Arkitekten svarer:** "Det er derfor consistent metrics er kritisk. Du sammenligner evaluation runs før og etter retraining – MLflow evaluation harness gir deg side-by-side comparison. Plus, track production metrics over tid (pass rates, user satisfaction)."
|
||||
|
||||
**Når kunden sier:** "Er ikke LLM judges upålitelige?"
|
||||
**Cosmo svarer:** "Alone, ja – men tuned med expert feedback, blir de reliable proxies for human judgment. Microsoft anbefaler: Start med built-in judges, sample expert reviews, tune scorers til alignment. Monitor judge performance kontinuerlig."
|
||||
**Arkitekten svarer:** "Alone, ja – men tuned med expert feedback, blir de reliable proxies for human judgment. Microsoft anbefaler: Start med built-in judges, sample expert reviews, tune scorers til alignment. Monitor judge performance kontinuerlig."
|
||||
|
||||
---
|
||||
|
||||
|
|
|
|||
|
|
@ -539,7 +539,7 @@ jobs:
|
|||
|
||||
**Når kunden sier:** "Vi må teste sikkerheten i vår Azure OpenAI-løsning"
|
||||
|
||||
**Cosmo svarer:**
|
||||
**Arkitekten svarer:**
|
||||
1. ✅ Start med PyRIT i CI/CD pipeline (automated content risk testing)
|
||||
2. ⚠️ Hvis agent med tool use → AI Red Teaming Agent (agentic risks)
|
||||
3. 🔄 Establish continuous red teaming cadence (monthly/quarterly)
|
||||
|
|
|
|||
|
|
@ -882,4 +882,4 @@ Hvis noen av disse mangler: **IKKE deploy før de er på plass.** AI uten stakeh
|
|||
|
||||
---
|
||||
|
||||
*Opprettet: 2026-02 av Cosmo Skyberg (AI Architect Plugin)*
|
||||
*Opprettet: 2026-02 av AI Architect-pluginen*
|
||||
|
|
|
|||
|
|
@ -681,7 +681,7 @@ Typisk krav i kravspesifikasjon:
|
|||
|
||||
**Når kunde sier: "Vi trenger compliance med EU AI Act"**
|
||||
|
||||
**Cosmo:** "EU AI Act krever transparency documentation for high-risk systemer. La oss starte med:
|
||||
**Arkitekten:** "EU AI Act krever transparency documentation for high-risk systemer. La oss starte med:
|
||||
1. Klassifisere systemet (Annex III risk categories)
|
||||
2. Velge documentation format — anbefaler Transparency Note + Responsible AI Scorecard
|
||||
3. Map compliance requirements til Microsoft tools
|
||||
|
|
@ -693,7 +693,7 @@ Har dere identifisert hvilken Annex III-kategori systemet faller under?"
|
|||
|
||||
**Når kunde sier: "Brukerne må forstå hvorfor AI tok en beslutning"**
|
||||
|
||||
**Cosmo:** "Dette handler om både interpretability og disclosure. To approaches:
|
||||
**Arkitekten:** "Dette handler om både interpretability og disclosure. To approaches:
|
||||
1. **Technical interpretability:** Azure ML model explanations (feature importance, counterfactuals) — for power users/appeals
|
||||
2. **User-facing explanations:** Simplified narratives i UI ("avslått fordi inntekt < terskel") — for alle brukere
|
||||
|
||||
|
|
@ -703,7 +703,7 @@ Hva er målgruppen? Trenger de technical details eller intuitive forklaringer?"
|
|||
|
||||
**Når kunde sier: "Transparency er for dyrt"**
|
||||
|
||||
**Cosmo:** "Transparency har upfront cost, men preventerer costlier incidents senere. Breakdown:
|
||||
**Arkitekten:** "Transparency har upfront cost, men preventerer costlier incidents senere. Breakdown:
|
||||
- **Compliance cost:** Bøter for EU AI Act non-compliance: opptil €35 mill / 7 % av global omsetning (Art. 5-forbud; øvrige brudd €15 mill / 3 %)
|
||||
- **Incident cost:** Reputational damage ved non-disclosed AI failure: Unmålbar
|
||||
- **Tooling cost:** Azure ML Responsible AI dashboard: ~NOK 20-50 per scorecard
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue