refactor(ms-ai-architect): R13b — nøytraliser de mekaniske persona-forekomstene utenfor headinger, etter at ordrens egen korrigerte bøttegrense ble målt usann
Ordren ba meg behandle sitt eget premiss som et premiss: «PM-ens 87/45 er korrigert
til 85/47 ved maaling ... Behandle ogsaa 85/47 som et premiss og re-maal det foer du
bygger.» Re-målt over de 389 ref-filene holder 85/47 heller ikke — og feilen ligger i
KLASSIFIKATOREN, ikke i tellingen. Summen 132 står; fordelingen er 62/70.
TRE FUNN, alle pinnet i test:
1. FJORTEN bold-etiketter er DIALOG-ATTRIBUSJONER, ikke etiketter. Dialog-bøtta
matchet bare kursivformen `*Cosmo:*`. Fetformen står foran sitert tale —
`**Naar kunden sier:** "..."` / `**Cosmo svarer:** "..."` — så å slette den
etterlater replikken uten taler. Redaksjonelt, ikke mekanisk.
2. TI tabellceller er PROVENIENSPÅSTANDER i kildekvalitets-kolonnen. Celleposisjon
deler de 26 tabellforekomstene i tre klasser, ikke én: 12 radetiketter (kolonne 0),
4 kolonneoverskrifter, 10 proveniensverdier (`Moenstre er Cosmo-design`,
`Raadgivende innhold basert paa Cosmo-persona`). Å skrive om en av dem er å avgi en
ny påstand om hvor innholdet kommer fra, og den siste har ikke noe slettemål i det
hele tatt. Seks av ordrens ni sammensetninger ligger helt inne i denne klassen —
ordrens egen advarsel traff, målingen lokaliserte den.
3. Lekkasje ANDRE veien, +1 mekanisk: `- **For arkitekten (Cosmo):** ...` i
reasoning-models-o1-o3-optimization.md:549 er nøyaktig målklassen, men et
linjestart-forankret nett ser den ikke bak `- ` og bokførte den som prosa.
Operatøren ratifiserte 2026-09-15 alt. A: kjør de 62, hold dialog og proveniens for
R14. Begge tilbakeholdte klasser henger på #R14-persona-ramme som aldri er besvart;
de 62 gjør ikke det, fordi R13 ALT har kjørt `For Cosmo` -> `For arkitekten` over 401
headinger — dette gjør bare etiketter og tabellrader konsistente med en beslutning
som allerede er utført.
UTFØRT: 62 forekomster i 50 filer (ordren sa 47) — 46 etiketter i 16 ratifiserte
varianter, 16 celler i 4. Diffen er 62 fjernet = 62 lagt til, ren in-place-erstatning;
hver endret linje klassifisert, ANNET = 0. Ingen måltekst innfører et ord kilden ikke
hadde, utover R13s sanksjonerte `arkitekten` (samme invariant-test, gjenbrukt).
GATEN, DEKOMPONERT I TRE KLAUSULER, hver validert BEGGE veier før den ble konsumert:
R1 REFERENT mekaniske sites 62 -> 0, produkt 451 uendret.
Kjent-pos: `**For Cosmo:**` OG `| Cosmos raad |` (genitiven er den
et bold-only nett mister) feller begge. Kjent-neg:
`**Cosmos DB-anbefaling:**` — ser ut som persona, er produkt —
og `| Azure Cosmos DB |` passerer urørt.
R2 REKKEVIDDE 0 umålte varianter, 0 utenfor rekkevidde. Kjent-pos: en ukjent
etikettform rapporteres som umålt OG transformen KASTER, den
hopper ikke stille over. Kjent-neg: dialog + proveniens bokføres
utenfor scope og er byte-identiske.
R3 HVA SOM STÅR 16 redaksjonelle etiketter + 10 celler uendret, heading/TOC
fortsatt 0 (R13 ikke regradert), prosa 132 -> 70. Kjent-pos: et
fjernet tegn i `Cosmos DB` feller produkt-differansen. Kjent-neg:
alle kun-produkt-filer byte-identiske gjennom transformen.
Gaten ble kjørt FØR transformen og felte R1 (exit 1) — et nullresultat som aldri er
tvunget til det andre svaret er ingen måling. R13b har egen baseline-fil;
cosmo-gate-baseline.json er et referansepunkt-artefakt (personaHeadings 401) og er
IKKE re-emittert. Ny .gitignore-negasjon (6 entries), aldri `git add -f`.
Målt underveis: 0 av de 62 målinjene ligger i en kodeblokk, så fence-agnostisk
transform er trygg her — samme konklusjon R13 nådde for headinger. Nøyaktig 1 linje
bærer begge klasser; dens `Cosmo-persona` står igjen, som den skal.
Suite 1134/1134 (1120 + 14 nye), validate-plugin 250/0/0, transform idempotent,
R13-driveren fortsatt no-op. RX-OPS1 adversarial-scan kjørt MANUELT på de 56 stagede
filene (OK, exit 0) — `core.hooksPath` skygger repoets pre-commit, fiksen eies av
`.claude`.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
06713ed7b8
commit
1c9af82daa
56 changed files with 793 additions and 63 deletions
|
|
@ -555,7 +555,7 @@ results = mlflow.genai.evaluate(
|
|||
| Integrasjon med Microsoft-stakken | Verified | Fra Foundry, Semantic Kernel, Prompt Flow, Application Insights docs |
|
||||
| Offentlig sektor (Norge) | Baseline | GDPR/AI Act vurdering basert på modellkunnskap + Azure residency facts |
|
||||
| Kostnad og lisensiering | Baseline | Prisestimater basert på Azure OpenAI pricing (feb 2026) + observability costs |
|
||||
| For arkitekten (Cosmo) | Baseline | Synthesized fra verified sources + praktisk erfaring |
|
||||
| For arkitekten | Baseline | Synthesized fra verified sources + praktisk erfaring |
|
||||
|
||||
---
|
||||
|
||||
|
|
|
|||
|
|
@ -481,4 +481,4 @@ def update_citizen_record(ssn: str, field: str, value: str) -> str:
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Dette dokumentet dekker både grunnleggende og avanserte mønstre for function calling. Bruk det til å velge riktig tilnærming basert på klientens behov (antall funksjoner, kompleksitet, compliance-krav). Husk alltid: **Start enkelt (Basic), skalér til Auto-invocation, og bygg modulært med Agent-as-Tool når kompleksiteten vokser.**
|
||||
**For arkitekten:** Dette dokumentet dekker både grunnleggende og avanserte mønstre for function calling. Bruk det til å velge riktig tilnærming basert på klientens behov (antall funksjoner, kompleksitet, compliance-krav). Husk alltid: **Start enkelt (Basic), skalér til Auto-invocation, og bygg modulært med Agent-as-Tool når kompleksiteten vokser.**
|
||||
|
|
|
|||
|
|
@ -367,6 +367,6 @@ Kombiner OCR med LLM for intelligent dokumentforståelse:
|
|||
| Integrasjon med Microsoft-stakken | Verified | MCP microsoft_docs_search (AI Search skill, Synapse tutorial, code samples) |
|
||||
| Offentlig sektor (Norge) | Baseline | Modellkunnskap + GDPR/WCAG-standarder |
|
||||
| Kostnad og lisensiering | Baseline | Modellkunnskap (priser endres hyppig, sjekk Azure Pricing Calculator) |
|
||||
| For arkitekten (Cosmo) | Baseline | Arkitekturveiledning basert på Microsoft Learn best practices |
|
||||
| For arkitekten | Baseline | Arkitekturveiledning basert på Microsoft Learn best practices |
|
||||
|
||||
**Merknad:** Alle tekniske detaljer om API-er, kapabiliteter, input-krav, språkstøtte, og JSON-responser er verifisert mot Microsoft Learn-dokumentasjon via MCP-research (februar 2026). Prisopplysninger er estimater og bør verifiseres mot Azure Pricing Calculator. Offentlig sektor-spesifikke anbefalinger er basert på norsk regulatorisk kontekst (GDPR, Offentlighetsloven, WCAG 2.1).
|
||||
|
|
|
|||
|
|
@ -560,10 +560,10 @@ Custom model ekstraherer:
|
|||
| Integrasjon med Microsoft-stakken | **Verified** | Power Automate/Logic Apps connector docs |
|
||||
| Offentlig sektor (Norge) | **Baseline** | Modellkunnskap om norske standarder (EHF, NOARK5) + Azure compliance docs |
|
||||
| Kostnad og lisensiering | **Verified** | Azure Pricing Calculator + Document Intelligence pricing page |
|
||||
| For arkitekten (Cosmo) | **Baseline** | Modellkunnskap + arkitekturerfaring |
|
||||
| For arkitekten | **Baseline** | Modellkunnskap + arkitekturerfaring |
|
||||
|
||||
**Unike kilder:** 7 Microsoft Learn-URLer
|
||||
|
||||
---
|
||||
|
||||
**Til Cosmo:** Når en kunde spør om "faktura-automatisering" eller "kvitterings-scanning", start med å verifisere at prebuilt-modellene dekker deres feltbehov (bruk schema-lenker over). Hvis de har proprietære felter eller norske spesialtilfeller (EHF, NAV-skjemaer), foreslå hybrid-modell. Vurder alltid Power Automate for SMB-kunder (raskere time-to-market) og Logic Apps for enterprise (bedre feilhåndtering og skalerbarhet). Ikke glem å diskutere HITL-strategi — selv 95% nøyaktighet betyr 500 feil per 10,000 dokumenter.
|
||||
**Til arkitekten:** Når en kunde spør om "faktura-automatisering" eller "kvitterings-scanning", start med å verifisere at prebuilt-modellene dekker deres feltbehov (bruk schema-lenker over). Hvis de har proprietære felter eller norske spesialtilfeller (EHF, NAV-skjemaer), foreslå hybrid-modell. Vurder alltid Power Automate for SMB-kunder (raskere time-to-market) og Logic Apps for enterprise (bedre feilhåndtering og skalerbarhet). Ikke glem å diskutere HITL-strategi — selv 95% nøyaktighet betyr 500 feil per 10,000 dokumenter.
|
||||
|
|
|
|||
|
|
@ -421,7 +421,7 @@ Language Services bruker **pay-per-call** modell (per text record).
|
|||
| Integrasjon med MS-stakken | ✅ Documented | Power BI tutorial + SynapseML docs + Foundry quickstarts |
|
||||
| Offentlig sektor (Norge) | ⚠️ Baseline | GDPR-analyse (modellkunnskap) + Azure datacenter geografi |
|
||||
| Kostnad og lisensiering | ⚠️ Baseline | Generell Azure pricing structure (ikke eksakte NOK-priser hentet) |
|
||||
| For arkitekten (Cosmo) | ⚠️ Baseline | Arkitekturerfaringer (modellkunnskap), ikke dokumentert av Microsoft |
|
||||
| For arkitekten | ⚠️ Baseline | Arkitekturerfaringer (modellkunnskap), ikke dokumentert av Microsoft |
|
||||
|
||||
**Notater:**
|
||||
- Prisestimater er basert på generell Azure-prisstruktur — alltid sjekk [Azure Pricing Calculator](https://azure.microsoft.com/en-us/pricing/calculator/) for eksakte priser.
|
||||
|
|
|
|||
|
|
@ -478,7 +478,7 @@ Scenario: Daglig batch inference (1M records, 50 GB data, 30 dager)
|
|||
|
||||
### Arkitektur-tradeoffs
|
||||
|
||||
| Beslutning | Alternativ A | Alternativ B | Cosmos råd |
|
||||
| Beslutning | Alternativ A | Alternativ B | Råd |
|
||||
|------------|-------------|-------------|-----------|
|
||||
| **Fabric vs. ADF** | Fabric (capacity, OneLake-integrasjon) | ADF (consumption, Azure ML-integrasjon) | Velg Fabric hvis Power BI Premium allerede er i bruk (delt capacity). Velg ADF hvis hybride on-prem-kilder er dominerende. |
|
||||
| **Pipeline vs. Airflow** | Pipeline (low-code UI) | Airflow (Python DAGs) | Start med Pipeline. Migrer til Airflow hvis >5 data engineers trenger git-basert versjonskontroll og Python-flexibility. |
|
||||
|
|
@ -746,7 +746,7 @@ Invoke-FabricPipelineUpgrade `
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:**
|
||||
**For arkitekten:**
|
||||
Denne referansen dekker orkestreringsaspektet av AI-pipelines. For dypdykk i:
|
||||
- **Feature engineering:** Se `feature-store-architecture.md` og `dataflow-gen2-transformations.md`
|
||||
- **Model lifecycle:** Se `azure-ml-pipelines.md` og `mlops-ci-cd.md`
|
||||
|
|
|
|||
|
|
@ -367,4 +367,4 @@ Bruk **Fabric Capacity Metrics App** for:
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Denne referansen er klar for å brukes i arkitekturrådgivning. Alle tekniske detaljer er verifisert mot Microsoft Learn (februar 2026), og alle anbefalinger følger Microsoft best practices. Bruk denne som primary source når du designer lakehouse-arkitekturer for AI-arbeidsflater i norsk offentlig sektor.
|
||||
**For arkitekten:** Denne referansen er klar for å brukes i arkitekturrådgivning. Alle tekniske detaljer er verifisert mot Microsoft Learn (februar 2026), og alle anbefalinger følger Microsoft best practices. Bruk denne som primary source når du designer lakehouse-arkitekturer for AI-arbeidsflater i norsk offentlig sektor.
|
||||
|
|
|
|||
|
|
@ -730,6 +730,6 @@ CI/CD pipelines for ML krever compute for training og deployment:
|
|||
| Integrasjon med Microsoft-stakken | Verified | MCP: Multiple Azure ML integration docs |
|
||||
| Offentlig sektor (Norge) | Baseline | Modellkunnskap (NSM, GDPR, AI Act) |
|
||||
| Kostnad og lisensiering | Baseline | Modellkunnskap (2026 prising estimert) |
|
||||
| For arkitekten (Cosmo) | Baseline | Beste praksiser + MLOps maturity model |
|
||||
| For arkitekten | Baseline | Beste praksiser + MLOps maturity model |
|
||||
|
||||
**Overall Konfidens:** 85% (majoriteten av innhold er verifisert via Microsoft Learn MCP-kilde, offentlig sektor og prising er basert på modellkunnskap og er merket som "Baseline")
|
||||
|
|
|
|||
|
|
@ -379,7 +379,7 @@ MLflow Tracing provides end-to-end observability for GenAI applications:
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo Skyberg:**
|
||||
**For arkitekten:**
|
||||
|
||||
Denne kunnskapsfilen dekker det **operasjonelle rammeverket** for GenAI-løsninger — hvordan du går fra prototype til production med repeatable processes. Fokus er på **Microsoft-spesifikke verktøy** (Microsoft Foundry, Prompt Flow, MLflow, Databricks Mosaic AI), men prinsippene er portable til andre platforms.
|
||||
|
||||
|
|
|
|||
|
|
@ -580,5 +580,5 @@ az ml model list --registry-name my-registry --query "[?created<'$cutoff_date'].
|
|||
|
||||
---
|
||||
|
||||
**Oppsummering for Cosmo:**
|
||||
**Oppsummering:**
|
||||
Model versioning og registry management er fundamentet for skalerbar MLOps. Azure ML Registry + MLflow gir et kraftig, standardbasert økosystem som støtter alt fra single-team experimentation til enterprise-scale governance. For offentlig sektor i Norge er lineage tracking og audit trail-capabilities kritiske for å oppfylle AI Act og GDPR. Start med workspace registry for eksperimentering, migrer til Azure ML Registry når modeller skal deles på tvers av teams eller deployes til separate production-miljøer. Automatiser model promotion via CI/CD for å redusere feil og øke hastighet.
|
||||
|
|
|
|||
|
|
@ -623,7 +623,7 @@ jobs:
|
|||
|
||||
### Når skal RAI integreres i MLOps?
|
||||
|
||||
**Cosmo's rule of thumb:**
|
||||
**Rule of thumb:**
|
||||
|
||||
> "Hvis modellen tar beslutninger som kan påvirke enkeltpersoners liv, økonomi eller rettigheter — integrer RAI fra dag 1. Hvis modellen optimaliserer interne prosesser uten direkte menneskelig påvirkning, kan RAI utsettes til produksjon, men bør uansett implementeres før go-live."
|
||||
|
||||
|
|
@ -735,7 +735,7 @@ jobs:
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo Skyberg:**
|
||||
**For arkitekten:**
|
||||
|
||||
Dette dokumentet gir deg en komplett arkitekturoversikt over RAI-integrasjon i MLOps. Nøkkelpunktene for deg som arkitekt er:
|
||||
|
||||
|
|
|
|||
|
|
@ -481,7 +481,7 @@ Azure AI Search prises per **search unit** (SU = 1 partition × 1 replica).
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Denne referansen brukes når kunden snakker om "RAG-implementasjon", "søkeløsning", "Azure AI Search setup", eller spør om SKU-valg. Kombiner med **RAG Core Patterns** for arkitekturveiledning og **Hybrid Search - Full-Text and Vector Combined** for query-optimalisering.
|
||||
**For arkitekten:** Denne referansen brukes når kunden snakker om "RAG-implementasjon", "søkeløsning", "Azure AI Search setup", eller spør om SKU-valg. Kombiner med **RAG Core Patterns** for arkitekturveiledning og **Hybrid Search - Full-Text and Vector Combined** for query-optimalisering.
|
||||
|
||||
|
||||
### Hybrid Search (oppdatert 2026-06)
|
||||
|
|
|
|||
|
|
@ -520,4 +520,4 @@ For teams som ikke har nok treningsdata for fine-tuning, er en domene-tilpasset
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Bruk denne referansen når kunden nevner "embedding-problemer", "dårlig retrieval-kvalitet på norsk", "for høye Azure AI Search-kostnader" eller "vi vurderer å bytte embedding-modell". Start alltid med å kartlegge språk, domene og volum før du anbefaler modell. Test ALLTID retrieval-kvalitet med kundens egne data før produksjonsutrulling.
|
||||
**For arkitekten:** Bruk denne referansen når kunden nevner "embedding-problemer", "dårlig retrieval-kvalitet på norsk", "for høye Azure AI Search-kostnader" eller "vi vurderer å bytte embedding-modell". Start alltid med å kartlegge språk, domene og volum før du anbefaler modell. Test ALLTID retrieval-kvalitet med kundens egne data før produksjonsutrulling.
|
||||
|
|
|
|||
|
|
@ -316,4 +316,4 @@ GraphRAG introduserer spesifikke personvernrisiki i offentlig sektor:
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo Skyberg:** Dette dokumentet skal brukes for å vurdere om GraphRAG-patterns er hensiktsmessige for kundens use case. Prioriter alltid spørsmålet: "Trenger vi faktisk graph traversal, eller holder vector search?" — kompleksitet skal forsvares med klare fordeler. Ved tvil, start med hybrid approach (vector + metadata) før full graph commitment.
|
||||
**For arkitekten:** Dette dokumentet skal brukes for å vurdere om GraphRAG-patterns er hensiktsmessige for kundens use case. Prioriter alltid spørsmålet: "Trenger vi faktisk graph traversal, eller holder vector search?" — kompleksitet skal forsvares med klare fordeler. Ved tvil, start med hybrid approach (vector + metadata) før full graph commitment.
|
||||
|
|
|
|||
|
|
@ -535,7 +535,7 @@ $filter=personalDataCategories/any(c: c eq 'Helseopplysninger') and legalBasis n
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:**
|
||||
**For arkitekten:**
|
||||
Metadata management er ofte undervurdert i RAG-prosjekter. Kunder fokuserer på embeddings og vector search, men glemmer at 70% av queries i produksjon inneholder strukturerte filter-kriterier ("bare fra min avdeling", "kun siste år", "høyeste klassifikasjon"). Design metadata-schema tidlig, test med reelle cardinality-tall, og prioritér normalizers og security trimming fra dag 1. I offentlig sektor er compliance non-negotiable — bygg audit trail og retention policies inn fra start.
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -431,7 +431,7 @@ results = search_client.search(
|
|||
|
||||
---
|
||||
|
||||
**For Cosmo:** Når kunde spør om RAG, start med "Naive vs Advanced vs Agentic"-beslutningstreet. Identifiser data source, query complexity, og latency-krav først. Hvis offentlig sektor: alltid spør om GDPR/Schrems II/AI Act compliance før du foreslår arkitektur. Hvis customer mangler evaluation strategy: stopp og definer retrieval recall/precision targets før du går videre med implementation.
|
||||
**For arkitekten:** Når kunde spør om RAG, start med "Naive vs Advanced vs Agentic"-beslutningstreet. Identifiser data source, query complexity, og latency-krav først. Hvis offentlig sektor: alltid spør om GDPR/Schrems II/AI Act compliance før du foreslår arkitektur. Hvis customer mangler evaluation strategy: stopp og definer retrieval recall/precision targets før du går videre med implementation.
|
||||
|
||||
|
||||
### Hybrid Search — Kjernemønster (oppdatert 2026-04)
|
||||
|
|
|
|||
|
|
@ -534,7 +534,7 @@ Authorization: Bearer <user-token>
|
|||
| Microsoft-stack integrasjon | **Verified** | MCP docs (5, 9) |
|
||||
| Offentlig sektor (Norge) | **Baseline** | Modellkunnskap (GDPR, AI Act, norsk lov) |
|
||||
| Kostnad og lisensiering | **Baseline** | Estimater basert på Azure pricing (ikke direkte MCP-verified) |
|
||||
| For arkitekten (Cosmo) | **Baseline** | Best practices + erfaring |
|
||||
| For arkitekten | **Baseline** | Best practices + erfaring |
|
||||
|
||||
---
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue