refactor(ms-ai-architect): R13b — nøytraliser de mekaniske persona-forekomstene utenfor headinger, etter at ordrens egen korrigerte bøttegrense ble målt usann
Ordren ba meg behandle sitt eget premiss som et premiss: «PM-ens 87/45 er korrigert
til 85/47 ved maaling ... Behandle ogsaa 85/47 som et premiss og re-maal det foer du
bygger.» Re-målt over de 389 ref-filene holder 85/47 heller ikke — og feilen ligger i
KLASSIFIKATOREN, ikke i tellingen. Summen 132 står; fordelingen er 62/70.
TRE FUNN, alle pinnet i test:
1. FJORTEN bold-etiketter er DIALOG-ATTRIBUSJONER, ikke etiketter. Dialog-bøtta
matchet bare kursivformen `*Cosmo:*`. Fetformen står foran sitert tale —
`**Naar kunden sier:** "..."` / `**Cosmo svarer:** "..."` — så å slette den
etterlater replikken uten taler. Redaksjonelt, ikke mekanisk.
2. TI tabellceller er PROVENIENSPÅSTANDER i kildekvalitets-kolonnen. Celleposisjon
deler de 26 tabellforekomstene i tre klasser, ikke én: 12 radetiketter (kolonne 0),
4 kolonneoverskrifter, 10 proveniensverdier (`Moenstre er Cosmo-design`,
`Raadgivende innhold basert paa Cosmo-persona`). Å skrive om en av dem er å avgi en
ny påstand om hvor innholdet kommer fra, og den siste har ikke noe slettemål i det
hele tatt. Seks av ordrens ni sammensetninger ligger helt inne i denne klassen —
ordrens egen advarsel traff, målingen lokaliserte den.
3. Lekkasje ANDRE veien, +1 mekanisk: `- **For arkitekten (Cosmo):** ...` i
reasoning-models-o1-o3-optimization.md:549 er nøyaktig målklassen, men et
linjestart-forankret nett ser den ikke bak `- ` og bokførte den som prosa.
Operatøren ratifiserte 2026-09-15 alt. A: kjør de 62, hold dialog og proveniens for
R14. Begge tilbakeholdte klasser henger på #R14-persona-ramme som aldri er besvart;
de 62 gjør ikke det, fordi R13 ALT har kjørt `For Cosmo` -> `For arkitekten` over 401
headinger — dette gjør bare etiketter og tabellrader konsistente med en beslutning
som allerede er utført.
UTFØRT: 62 forekomster i 50 filer (ordren sa 47) — 46 etiketter i 16 ratifiserte
varianter, 16 celler i 4. Diffen er 62 fjernet = 62 lagt til, ren in-place-erstatning;
hver endret linje klassifisert, ANNET = 0. Ingen måltekst innfører et ord kilden ikke
hadde, utover R13s sanksjonerte `arkitekten` (samme invariant-test, gjenbrukt).
GATEN, DEKOMPONERT I TRE KLAUSULER, hver validert BEGGE veier før den ble konsumert:
R1 REFERENT mekaniske sites 62 -> 0, produkt 451 uendret.
Kjent-pos: `**For Cosmo:**` OG `| Cosmos raad |` (genitiven er den
et bold-only nett mister) feller begge. Kjent-neg:
`**Cosmos DB-anbefaling:**` — ser ut som persona, er produkt —
og `| Azure Cosmos DB |` passerer urørt.
R2 REKKEVIDDE 0 umålte varianter, 0 utenfor rekkevidde. Kjent-pos: en ukjent
etikettform rapporteres som umålt OG transformen KASTER, den
hopper ikke stille over. Kjent-neg: dialog + proveniens bokføres
utenfor scope og er byte-identiske.
R3 HVA SOM STÅR 16 redaksjonelle etiketter + 10 celler uendret, heading/TOC
fortsatt 0 (R13 ikke regradert), prosa 132 -> 70. Kjent-pos: et
fjernet tegn i `Cosmos DB` feller produkt-differansen. Kjent-neg:
alle kun-produkt-filer byte-identiske gjennom transformen.
Gaten ble kjørt FØR transformen og felte R1 (exit 1) — et nullresultat som aldri er
tvunget til det andre svaret er ingen måling. R13b har egen baseline-fil;
cosmo-gate-baseline.json er et referansepunkt-artefakt (personaHeadings 401) og er
IKKE re-emittert. Ny .gitignore-negasjon (6 entries), aldri `git add -f`.
Målt underveis: 0 av de 62 målinjene ligger i en kodeblokk, så fence-agnostisk
transform er trygg her — samme konklusjon R13 nådde for headinger. Nøyaktig 1 linje
bærer begge klasser; dens `Cosmo-persona` står igjen, som den skal.
Suite 1134/1134 (1120 + 14 nye), validate-plugin 250/0/0, transform idempotent,
R13-driveren fortsatt no-op. RX-OPS1 adversarial-scan kjørt MANUELT på de 56 stagede
filene (OK, exit 0) — `core.hooksPath` skygger repoets pre-commit, fiksen eies av
`.claude`.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
06713ed7b8
commit
1c9af82daa
56 changed files with 793 additions and 63 deletions
|
|
@ -438,7 +438,7 @@ AppMetrics
|
|||
|
||||
### Fallgruver og mitigering
|
||||
|
||||
| Fallgruve | Konsekvens | Cosmo-anbefaling |
|
||||
| Fallgruve | Konsekvens | Anbefaling |
|
||||
|-----------|------------|------------------|
|
||||
| **Dashboard-fatigue** | Governance team overveldes av alerts → ignorerer critical issues | Start med TOP 5 critical metrics, utvid gradvis. Bruk severity-based routing (HIGH → immediate alert, MEDIUM → daily digest) |
|
||||
| **Policy without enforcement** | Policies blir "guidelines" ikke "guardrails" → non-compliance fortsetter | Bruk Deny-mode på kritiske policies. Audit-mode kun i pilot-fase. Set deadline for transition (3 mnd pilot → enforcement) |
|
||||
|
|
|
|||
|
|
@ -525,4 +525,4 @@ if ($metrics.Data.Total -eq 0) {
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Bruk denne guiden for å designe kostnadsstrategien basert på kundens modenhetsnivå. Start alltid med Native Cost Analysis + tags, og bygg ut mot gateway-løsning kun hvis chargeback eller detaljert tracking er nødvendig. Husk at fine-tuning hosting costs er en vanlig kostnadsfelle som må adresseres tidlig i prosjektet.
|
||||
**For arkitekten:** Bruk denne guiden for å designe kostnadsstrategien basert på kundens modenhetsnivå. Start alltid med Native Cost Analysis + tags, og bygg ut mot gateway-løsning kun hvis chargeback eller detaljert tracking er nødvendig. Husk at fine-tuning hosting costs er en vanlig kostnadsfelle som må adresseres tidlig i prosjektet.
|
||||
|
|
|
|||
|
|
@ -517,7 +517,7 @@ Sentralt for norsk offentlig sektor på Microsoft Cloud:
|
|||
- ❌ Kompleksere compliance (må verifisere begge regioner)
|
||||
- ❌ Risk for misconfiguration → data leakage
|
||||
|
||||
**Cosmo's anbefaling:**
|
||||
**Anbefaling:**
|
||||
For norsk offentlig sektor med AI workloads: **Start single-region (Norway East), evaluer multi-region når availability SLA krev det**. Implementer Azure Site Recovery for disaster recovery til Norway West (som også er innenfor EU Data Boundary).
|
||||
|
||||
## Kilder og verifisering
|
||||
|
|
|
|||
|
|
@ -413,4 +413,4 @@ Model monitoring er inkludert i Azure Machine Learning workspace, men du betaler
|
|||
| Integrasjon Microsoft-stakken | High | Verified (Event Grid integration, AI Foundry observability) |
|
||||
| Offentlig sektor (Norge) | Medium | Baseline (AI Act, GDPR) + Verified (Schrems II data residency) |
|
||||
| Kostnad og lisensiering | Medium | Baseline (Azure pricing estimates for Norway East, feb 2026) |
|
||||
| For arkitekten (Cosmo) | High | Verified (best practices) + Baseline (enterprise architecture) |
|
||||
| For arkitekten | High | Verified (best practices) + Baseline (enterprise architecture) |
|
||||
|
|
|
|||
|
|
@ -400,4 +400,4 @@ Hvis en kommune bruker en AI-chatbot for saksbehandling, må tilgjengelighetserk
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo Skyberg:** Dette dokumentet skal brukes når kunde nevner "tilgjengelighet", "universell utforming", "WCAG", "funksjonshemmede brukere", eller når løsningen er for norsk offentlig sektor (der UU er lovpålagt). Kombiner med `eu-ai-act.md` og `norwegian-public-sector-ai-governance.md` for helhetlig vurdering.
|
||||
**For arkitekten:** Dette dokumentet skal brukes når kunde nevner "tilgjengelighet", "universell utforming", "WCAG", "funksjonshemmede brukere", eller når løsningen er for norsk offentlig sektor (der UU er lovpålagt). Kombiner med `eu-ai-act.md` og `norwegian-public-sector-ai-governance.md` for helhetlig vurdering.
|
||||
|
|
|
|||
|
|
@ -264,4 +264,4 @@ Når du veileder norsk offentlig sektor om AI og opphavsrett, vurder disse spør
|
|||
|
||||
---
|
||||
|
||||
**Note til Cosmo:** Denne kunnskapsbasen reflekterer rettstilstanden per februar 2026, hvor AI Act-implementering i Norge er nært forestående (august 2026) og DSM-direktivet ennå ikke er implementert. Vær oppmerksom på at dette er et juridisk område under rask utvikling. Råd alltid offentlig sektor til å søke juridisk bistand for spesifikke spørsmål om opphavsrett og AI-treningsdata, spesielt i forbindelse med anskaffelser og egenutviklede løsninger.
|
||||
**Note:** Denne kunnskapsbasen reflekterer rettstilstanden per februar 2026, hvor AI Act-implementering i Norge er nært forestående (august 2026) og DSM-direktivet ennå ikke er implementert. Vær oppmerksom på at dette er et juridisk område under rask utvikling. Råd alltid offentlig sektor til å søke juridisk bistand for spesifikke spørsmål om opphavsrett og AI-treningsdata, spesielt i forbindelse med anskaffelser og egenutviklede løsninger.
|
||||
|
|
|
|||
|
|
@ -60,7 +60,7 @@ Beskriv problemet tiltaket skal løse, og hvilke mål som skal nås.
|
|||
**Eksempel:**
|
||||
"Saksbehandlingstid i NAV for førstegangssøknader er 45 dager. Mål: Redusere til 20 dager ved AI-assistert dokumentklassifisering og informasjonsutvinning."
|
||||
|
||||
**Cosmo-spørsmål:**
|
||||
**Spørsmål:**
|
||||
- Er problemformuleringen spesifikk nok til å evaluere AI-løsninger?
|
||||
- Finnes baseline-data som kan måle effekt?
|
||||
|
||||
|
|
@ -87,7 +87,7 @@ For hvert alternativ må du vurdere:
|
|||
- **Implementeringstid**
|
||||
- **Reversibilitet** (kan vi gå tilbake hvis det ikke fungerer?)
|
||||
|
||||
**Cosmo-anbefaling:**
|
||||
**Anbefaling:**
|
||||
Start alltid med minst tre alternativer (null + to AI-løsninger). Vurder hybridløsninger der AI assisterer, men mennesker tar endelige beslutninger.
|
||||
|
||||
---
|
||||
|
|
@ -158,7 +158,7 @@ Beskriv positive og negative virkninger, varighet og hvem som påvirkes.
|
|||
|
||||
**Varighet:** Er effektene midlertidige (pilotfase) eller permanente? Når inntrer gevinster?
|
||||
|
||||
**Cosmo-spørsmål:**
|
||||
**Spørsmål:**
|
||||
- Har dere vurdert ikke-intenderte konsekvenser (f.eks. brukere som tilpasser atferd for å "lure" AI)?
|
||||
- Hvordan måles faktisk virkning post-implementering?
|
||||
|
||||
|
|
@ -194,7 +194,7 @@ Beskriv involvering av berørte parter.
|
|||
|
||||
**Dokumentasjon:** Loggfør hvem som er involvert, når, og hvordan tilbakemeldinger påvirket beslutninger.
|
||||
|
||||
**Cosmo-anbefaling:**
|
||||
**Anbefaling:**
|
||||
Involver alltid sluttbrukere i POC-fase. "AI-optimisme" hos ledelse må balanseres med realisme fra de som skal bruke systemet daglig.
|
||||
|
||||
---
|
||||
|
|
@ -239,7 +239,7 @@ Beskriv ressurser, kompetanse, organisering og andre forutsetninger.
|
|||
- **Fallback:** Kan vi fortsette manuelt hvis AI feiler?
|
||||
- **Monitorering:** Hvordan overvåkes modellens ytelse over tid?
|
||||
|
||||
**Cosmo-checkpoint:**
|
||||
**Checkpoint:**
|
||||
- Sjekk om alle forutsetninger er **realistiske** (ikke optimistiske antakelser)
|
||||
- Identifiser **kritiske avhengigheter** (hva kan stoppe prosjektet?)
|
||||
|
||||
|
|
@ -414,7 +414,7 @@ Utredningsinstruksen krever at utredning skal være **"så omfattende og grundig
|
|||
| Offentlig tjeneste (høy-risiko AI Act) | Omfattende: Full utredning, DPIA, samfunnsøkonomi, ekstern kvalitetssikring |
|
||||
| Kritisk infrastruktur (f.eks. helsediagnostikk) | Meget omfattende: Alle analyser + uavhengig validering, kliniske studier |
|
||||
|
||||
**Cosmo-anbefaling:**
|
||||
**Anbefaling:**
|
||||
Selv ved "lett" utredning, **gjør alltid:**
|
||||
1. Risikoklassifisering (AI Act)
|
||||
2. Personvernssjekk (trenger vi DPIA?)
|
||||
|
|
@ -545,7 +545,7 @@ Innbygger → AI-system (regelbasert + ML) → Automatisk vedtak (med innsyn)
|
|||
Krav: Høy nøyaktighet, transparens, klageadgang
|
||||
Eksempel: Automatisk utbetaling av barnetrygd (regel-basert med ML-fraud detection)
|
||||
|
||||
**Cosmo-anbefaling:**
|
||||
**Anbefaling:**
|
||||
Start med **hybrid** (menneske i løkken), selv om teknologien kunne gjort det fullt automatisk. Bygg tillit gradvis.
|
||||
|
||||
---
|
||||
|
|
@ -685,7 +685,7 @@ Start med **hybrid** (menneske i løkken), selv om teknologien kunne gjort det f
|
|||
**Lav konfidens (50%):**
|
||||
- Eksakte timelines for AI Act-ikrafttredelse i Norge (avhenger av EØS-prosess)
|
||||
|
||||
**Cosmo-anbefaling:**
|
||||
**Anbefaling:**
|
||||
Verifiser alltid aktuelle lover og forskrifter på regjeringen.no og lovdata.no før beslutning. Denne filen er en veiledning, ikke juridisk rådgivning.
|
||||
|
||||
---
|
||||
|
|
|
|||
|
|
@ -524,4 +524,4 @@ Den nye forvaltningsloven (vedtatt 3. juni 2025, Prop. 79 L (2024-2025)) innehol
|
|||
|
||||
**Dokumentets status:** GA (Generally Available)
|
||||
**Neste oppdatering anbefales:** Q3 2026 (når EU Commission publiserer Art. 6(3) guidelines og norsk AI Act-lov vedtas)
|
||||
**Owner (Cosmo):** Oppdater ved nye Nkom-retningslinjer, EU guidelines, eller norsk lovvedtak.
|
||||
**Owner:** Oppdater ved nye Nkom-retningslinjer, EU guidelines, eller norsk lovvedtak.
|
||||
|
|
|
|||
|
|
@ -735,4 +735,4 @@ Tre nivåer av human oversight:
|
|||
|
||||
**Dokumentets status:** GA (Generally Available)
|
||||
**Neste oppdatering anbefales:** Q3 2026 (når EU Commission publiserer detailed guidelines per Art. 6)
|
||||
**Owner (Cosmo):** Oppdater ved nye Nkom-retningslinjer eller Microsoft-feature launches.
|
||||
**Owner:** Oppdater ved nye Nkom-retningslinjer eller Microsoft-feature launches.
|
||||
|
|
|
|||
|
|
@ -388,10 +388,10 @@ Hvis kunden beskriver noen av disse, **stopp og advare**:
|
|||
### Typiske misvær
|
||||
|
||||
**Misforståelse:** "Vi bruker bare Azure OpenAI, så vi har ingen high-risk AI."
|
||||
**Cosmo-svar:** "Azure OpenAI selv er ikke high-risk, men *bruken* kan være det. Hvis systemet deres tar beslutninger om ansettelse, kreditt, eller helsediagnoser, er det high-risk uavhengig av underliggende teknologi."
|
||||
**Svar:** "Azure OpenAI selv er ikke high-risk, men *bruken* kan være det. Hvis systemet deres tar beslutninger om ansettelse, kreditt, eller helsediagnoser, er det high-risk uavhengig av underliggende teknologi."
|
||||
|
||||
**Misforståelse:** "Vi trenger ikke HITL fordi modellen er veldig nøyaktig."
|
||||
**Cosmo-svar:** "HITL handler ikke bare om nøyaktighet – det handler om accountability og compliance. EU AI Act krever human oversight for high-risk systems uavhengig av modellprestasjon."
|
||||
**Svar:** "HITL handler ikke bare om nøyaktighet – det handler om accountability og compliance. EU AI Act krever human oversight for high-risk systems uavhengig av modellprestasjon."
|
||||
|
||||
### Praktisk verktøy-stack for risk assessment
|
||||
|
||||
|
|
|
|||
|
|
@ -595,4 +595,4 @@ Norge implementerer GDPR gjennom personopplysningsloven. Datatilsynet er tilsyns
|
|||
|
||||
---
|
||||
|
||||
**Oppsummering for Cosmo**: GDPR-compliance for AI-systemer er ikke valgfritt — det er lovpålagt for alle organisasjoner som behandler personopplysninger fra EU/EØS-borgere. Microsoft Azure AI-stakken tilbyr sterke GDPR-capabilities out-of-the-box (encryption, data residency, no training on customer data), men arkitekten må aktivt designe for data minimization, user rights, transparency, og accountability. Bruk Microsoft Purview for automatisert compliance-monitorering, gjennomfør DPIA for høyrisikobehandling, og implementer zero-trust data access for AI agents. Ved tvil, konsulter juridisk rådgiver og gjennomfør DPIA.
|
||||
**Oppsummering**: GDPR-compliance for AI-systemer er ikke valgfritt — det er lovpålagt for alle organisasjoner som behandler personopplysninger fra EU/EØS-borgere. Microsoft Azure AI-stakken tilbyr sterke GDPR-capabilities out-of-the-box (encryption, data residency, no training on customer data), men arkitekten må aktivt designe for data minimization, user rights, transparency, og accountability. Bruk Microsoft Purview for automatisert compliance-monitorering, gjennomfør DPIA for høyrisikobehandling, og implementer zero-trust data access for AI agents. Ved tvil, konsulter juridisk rådgiver og gjennomfør DPIA.
|
||||
|
|
|
|||
|
|
@ -471,7 +471,7 @@ jobs:
|
|||
|
||||
### Trade-offs og gotchas
|
||||
|
||||
| Trade-off | Implikasjon | Cosmos råd |
|
||||
| Trade-off | Implikasjon | Råd |
|
||||
|-----------|-------------|------------|
|
||||
| **Automated vs. Manual red teaming** | Automated gir scale, manual gir creativity og edge-case discovery | Start automated (PyRIT), supplement med manual quarterly |
|
||||
| **Local vs. Cloud** | Local gir data control, cloud gir agentic risk coverage | Hybrid: PyRIT for CI/CD, AI Red Teaming Agent for pre-deployment gates |
|
||||
|
|
|
|||
|
|
@ -374,5 +374,5 @@ A: Ja for high-risk use cases (biometrics, critical infrastructure). Nei for low
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:**
|
||||
**For arkitekten:**
|
||||
Dette er oversikten du trenger for å veilede kunder om Responsible AI. Bruk de seks prinsippene som utgangspunkt, match dem mot kundens compliance-krav (GDPR, forvaltningsloven), og anbefal konkrete verktøy basert på use case (RAI Dashboard for ML, Content Safety for generative AI, Purview for governance). Husk: RAI er ikke etikk-teater — det er lovpålagt risk management.
|
||||
|
|
|
|||
|
|
@ -517,7 +517,7 @@ Er det custom AI (ikke bare ferdiglagde features)?
|
|||
└─ Nei → Valgfritt (men anbefales)
|
||||
```
|
||||
|
||||
**Cosmo's one-liner:**
|
||||
**One-liner:**
|
||||
> "Responsible AI training er ikke en 'nice-to-have' — det er fundamentet for at AI-løsningen ikke skal kollapse under etiske, regulatoriske eller tillitsmessige belastninger."
|
||||
|
||||
---
|
||||
|
|
|
|||
|
|
@ -792,4 +792,4 @@ Return on investment: Transparency er billigere enn cleanup. Skal vi prioritere
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Denne kunnskapsbasen dekker både teknisk implementasjon (Azure ML dashboard, Azure OpenAI annotations) og organisatorisk praksis (governance workflows, compliance mapping). Bruk decision trees og scenario-spesifikke recommendations for å guide kunder gjennom transparency-design. Vekt living documentation-prinsippet — transparency er ikke en one-time artifact, men en ongoing practice.
|
||||
**For arkitekten:** Denne kunnskapsbasen dekker både teknisk implementasjon (Azure ML dashboard, Azure OpenAI annotations) og organisatorisk praksis (governance workflows, compliance mapping). Bruk decision trees og scenario-spesifikke recommendations for å guide kunder gjennom transparency-design. Vekt living documentation-prinsippet — transparency er ikke en one-time artifact, men en ongoing practice.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue