docs(ms-ai-architect): footer-klassen handklassifisert — 58 medlemmer, en fjerde unnslippsform, og «alle avvik samme vei» falt
§9.16. Leveransen er en maaling og en scope-anbefaling for aapent spoersmaal #17; ingen korpusfil er roert. «>=48» var riktig som gulv. Handklassifisert: 58 ekte medlemmer i 58 filer. Bøtter: 30 konsistent / 11 inkonsistent / 1 tvetydig / 16 ikke sjekkbar. Hvert anker verifisert ordrett og unikt (0 avvik). FJERDE UNNSLIPPSFORM: tellingen baaret av handlingsordet («3 soek», «4 search queries», «2 deep fetch»), ikke av «kall». Mitt eget nett var blindt for den — domain-specific-prompt-optimization.md:589 ble kun reddet av nabolinja, og model-versioning-registry-management.md var usynlig i sin helhet for baade MCP- og verktoeynavn-nettet. COMPLETENESS: i stedet for flere ordgjetninger ble hele etikettvokabularet i proveniensblokkene enumerert — 68 distinkte etiketter / 141 linjer, alle plasserbare i kall-telling, kilde-telling eller annet. Ingen femte form. Den kjente residualen (alle nett krever et SIFFER) ble testet, ikke antatt: 21 tallord-treff, alle broedtekst, null medlemmer. RETNINGSARGUMENTET RE-MAALT: 10 av 11 inkonsistente gaar oppgitt < sum, 1 gaar motsatt (chain-of-thought-prompting.md, oppgitt 4 over enumerert 3). «Alle avvik gaar samme vei» er falsifisert som absolutt og maa slutte aa siteres slik; tendensen (91 %) overlever. «Null motsatt» var et artefakt av at populasjonen var maalt til under halv stoerrelse. FORMEN DEKKER IKKE KLASSEN: 46 av 58 er linjeform, 12 er blokkform der «slett linja» er udefinert — og én blokk blander naboklassen (Unique sources) inn i samme punktliste som kall-linjene. ANBEFALING #17: én klasse-entry for de 42 uten aapen beslutning, 16 egne entries for dem som baerer én. Beslutning #14 («én entry per fil») ble tatt da klassen ble antatt aa vaere 14 filer; 42 nesten-identiske entries er nettopp mekanismen §9.15 viste at lot en feilmaaling gjemme seg bak sine egne kopier. Datasett: scripts/kb-eval/data/r11-footer-class-2026-08-11.json Suite 1047/1047.
This commit is contained in:
parent
9820f6c945
commit
41f769a166
2 changed files with 769 additions and 0 deletions
|
|
@ -1902,3 +1902,197 @@ korrigerte populasjonen før det siteres igjen.**
|
|||
overskrift som nevner feltet.
|
||||
- **En sletting kan etterlate tallet i live et annet sted i samme fil.** Verifiser
|
||||
fravær i HELE fila etter editen, ikke bare at linja er borte.
|
||||
|
||||
## §9.16 — footer-klassen håndklassifisert: 58 medlemmer, en fjerde unnslippsform, og et retningsargument som ikke overlevde som absolutt
|
||||
|
||||
Leveransen denne økten er **en måling og en scope-anbefaling**, ikke editer. Ingen
|
||||
korpusfil er rørt. `git status` viser kun `docs/` og måledatasettet.
|
||||
|
||||
`≥48` fra §9.15-addendumet var riktig **som gulv**. Håndklassifisert populasjon:
|
||||
**58 ekte medlemmer i 58 distinkte filer.**
|
||||
|
||||
### Hva som ble sveipet, og hvorfor det er fire nett og ikke ett
|
||||
|
||||
Forrige økt lærte at et nett bundet til feltetiketten er blindt på samme måte som
|
||||
et nett bundet til engelsk. Svaret er ikke et bredere ord — det er **flere nett
|
||||
som er blinde på hver sin måte**, slik at residualen til hvert nett kan leses for
|
||||
hånd:
|
||||
|
||||
| Nett | Definisjon | Blind for |
|
||||
|------|------------|-----------|
|
||||
| A | `MCP` + siffer + kall-ord (`kall`/`call`/`anrop`) | tellinger uten ordet «kall»; tellinger uten `MCP` i linja |
|
||||
| B | verktøy-identifikator (`microsoft_docs_*`) + siffer | tellinger som ikke navngir verktøyet |
|
||||
| C | proveniensblokkens **etikettvokabular** der verdien er et tall | ikke-fete etiketter; overskriftsform |
|
||||
| D | forskningshandling-telling uten kall-ord OG uten verktøy-identifikator | brødtekst-gjentakelse uten begge deler |
|
||||
|
||||
A gav 59 linjer / 53 filer, B 72 / 48, D 35 kandidater etter innstramming. C er
|
||||
completeness-argumentet og står omtalt under.
|
||||
|
||||
### Den FJERDE unnslippsformen — tellingen uttrykt som «søk», ikke «kall»
|
||||
|
||||
§9.15 navngav tre unnslippsformer. Det finnes en fjerde, og **mitt eget nett A var
|
||||
blindt for den**:
|
||||
|
||||
> `- **MCP-søk** — 3 søk mot microsoft-learn (2026-02-04)`
|
||||
> `**MCP-søk utført:** 3 søk (microsoft-learn)`
|
||||
> `- **Total searches:** 3 (Azure ML registry, AI Foundry, MLOps lifecycle)`
|
||||
> `**Antall dokumenter søkt:** 4 (search queries) + 2 (deep fetch)`
|
||||
|
||||
Tellingen bæres av handlingsordet (`søk`, `queries`, `hentinger`, `deep reads`,
|
||||
`fetches`), ikke av `kall`. `domain-specific-prompt-optimization.md:589` ble bare
|
||||
reddet av at NABOLINJA nevnte `microsoft_docs_fetch` — linja selv var usynlig for
|
||||
både A og B. **`model-versioning-registry-management.md` var usynlig for begge i
|
||||
sin helhet**: overskriften `### MCP research summary` bærer ingen siffer, og de tre
|
||||
telle-linjene under den nevner verken `MCP` eller et verktøynavn. Den er et rent
|
||||
produkt av nett D.
|
||||
|
||||
**Tre nye medlemmer kom kun fra nett D:** `model-versioning-registry-management.md`,
|
||||
`ai-impact-assessment-framework.md`, `responsible-ai-framework-overview.md`.
|
||||
|
||||
### Completeness-argumentet: etikettvokabularet, ikke flere ordgjetninger
|
||||
|
||||
Å lete etter en femte form ved å gjette flere ord er den samme feilen en gang til.
|
||||
I stedet ble **hele etikettvokabularet enumerert**: hver fete etikett inne i en
|
||||
proveniensblokk hvis verdi *begynner med et heltall*. Det gir **68 distinkte
|
||||
etiketter over 141 linjer**, og hver enkelt lar seg plassere i én av tre klasser:
|
||||
|
||||
- **kall-telling** (klassen under adjudisering) — `mcp calls`, `total mcp calls`,
|
||||
`mcp-kall`, `mcp-kall utført`, `mcp call summary`, `mcp-søk utført`,
|
||||
`total searches`, `document fetches`, `antall dokumenter søkt`, m.fl.
|
||||
- **kilde-/URL-telling** (naboklassen — «behold og verifiser»-linjene) —
|
||||
`unique sources`, `unike kilder`, `totalt antall kilder`, `total sources cited`, …
|
||||
- **annet** — konfidensprosent, kodeeksempler, versjon, `verification status` (80/20-klassen).
|
||||
|
||||
Ingen etikett falt utenfor. **Ingen femte unnslippsform for kall-klassen dukket opp.**
|
||||
|
||||
**Residualen som gjensto, ble testet, ikke antatt.** Alle fire nett krever et
|
||||
SIFFER. En telling skrevet med bokstaver («tre oppslag») ville sluppet gjennom alle
|
||||
sammen. Sveip: linjer med tallord (`to`…`tolv`, `two`…`twelve`) i MCP-/kall-kontekst
|
||||
**uten** siffer → 21 treff, alle brødtekst («To API-kall per dokument»,
|
||||
`### Tre MCP-komponenter`). **Null medlemmer. Blindheten er tom, målt.**
|
||||
|
||||
### Målingen
|
||||
|
||||
58 medlemmer. Hvert anker er verifisert **ordrett og unikt** i fila (`str.count`
|
||||
== 1) og på oppgitt linjenummer — 0 avvik. Datasett:
|
||||
`scripts/kb-eval/data/r11-footer-class-2026-08-11.json`.
|
||||
|
||||
| Bøtte | Definisjon | Antall | Andel |
|
||||
|-------|------------|--------|-------|
|
||||
| konsistent | total + oppdeling oppgitt, og de stemmer under den eneste rimelige lesningen | **30** | 51,7 % |
|
||||
| inkonsistent | total + oppdeling oppgitt, og de spriker under enhver rimelig lesning | **11** | 19,0 % |
|
||||
| tvetydig | total + oppdeling oppgitt, men dommen snur mellom to forsvarlige lesninger | **1** | 1,7 % |
|
||||
| ikke sjekkbar | ingen intern kryssjekk finnes (bar total, oppdeling uten total, eller et ledd uten tall) | **16** | 27,6 % |
|
||||
|
||||
Fordeling per skill: engineering 23 · governance 12 · security 12 · advisor 11.
|
||||
|
||||
⚠️ **BØTTENE MÅLER INTERN KOHERENS, IKKE SANNHET.** En «konsistent» linje er ikke
|
||||
verifisert — den er bare ikke selvmotsigende. Ratifiseringsgrunnen er
|
||||
**uverifiserbarhet**, og den gjelder alle 58 uansett bøtte. Bøttene er derfor
|
||||
input til *hvordan* klassen bokføres, aldri til *om* den slettes.
|
||||
|
||||
### Retningsargumentet re-målt — falsifisert som absolutt, intakt som tendens
|
||||
|
||||
§9.15 flagget `chain-of-thought-prompting.md:500` som kandidat-motsigelse mot «alle
|
||||
avvik går samme vei» (åtte av åtte, oppgitt < sum). Målt over den korrigerte
|
||||
populasjonen, alle 11 inkonsistente:
|
||||
|
||||
| Δ | oppgitt | enumerert | fil |
|
||||
|---|---------|-----------|-----|
|
||||
| −3 | 3 | 6 | `response-quality-metrics-rag.md` |
|
||||
| −2 | 3 | 5 | `prompt-testing-and-evaluation.md` |
|
||||
| −2 | 4 | 6 | `model-monitoring-drift-detection.md` |
|
||||
| −2 | 4 | 6 | `small-language-models-economics.md` |
|
||||
| −2 | 4 | 6 | `token-counting-optimization.md` |
|
||||
| −1 | 5 | 6 | `document-intelligence-prebuilt-models.md` |
|
||||
| −1 | 7 | 8 | `speech-services-text-to-speech.md` |
|
||||
| −1 | 4 | 5 | `responsible-ai-policy-development.md` |
|
||||
| −1 | 4 | 5 | `output-validation-grounding-verification.md` |
|
||||
| −1 | 4 | 5 | `azure-ai-foundry-cost-governance.md` |
|
||||
| **+1** | **4** | **3** | **`chain-of-thought-prompting.md`** |
|
||||
|
||||
**10 av 11 samme vei, 1 motsatt.** I tillegg går det ene tvetydige medlemmet
|
||||
(`microsoft-graph-api-copilot-integration.md`, oppgitt 7 mot 6 MCP-kall + 1
|
||||
`ToolSearch`) motsatt vei under sin MCP-only-lesning.
|
||||
|
||||
**«Alle avvik går samme vei» er dermed FALSIFISERT som absolutt påstand og må
|
||||
slutte å siteres i den formen.** Tendensen (10/11 ≈ 91 %) overlever og er fortsatt
|
||||
forenlig med at tallet sjelden ble transkribert fra en faktisk kjøring — men
|
||||
«null motsatt vei» var et artefakt av at populasjonen var målt til under halv
|
||||
størrelse.
|
||||
|
||||
### Den ratifiserte formen dekker ikke hele klassen
|
||||
|
||||
Formen fra §9.14 sier **slett linja**. Målt fordeling:
|
||||
|
||||
- **46 av 58 (79,3 %) er LINJEFORM** — formen anvendes uendret.
|
||||
- **12 av 58 (20,7 %) er BLOKKFORM** — tellingen bor i 2–7 linjer, ofte uten oppgitt
|
||||
total, ofte under en egen overskrift (`### MCP Calls Summary`,
|
||||
`### MCP research summary`, `**MCP-statistikk:**`, `**Research Coverage:**`).
|
||||
|
||||
For blokkformen er «slett linja» **udefinert**: å slette én linje av
|
||||
`- **microsoft_docs_search calls:** 4` / `- ... fetch calls:** 3` / `- ... :** 1`
|
||||
etterlater en halv telling. Og flere blokker blander klasser — i
|
||||
`model-versioning-registry-management.md` står `- **Unique sources:** 7` (naboklassen,
|
||||
skal BEHOLDES) i samme punktliste som de tre kall-linjene. **Sletteoperasjonen må
|
||||
navngi hvilke linjer i blokken som går, ikke bare hvilken blokk.**
|
||||
|
||||
### Anbefaling for åpent spørsmål #17
|
||||
|
||||
Spørsmålet gjaldt opprinnelig «14 ubokførte filer», og beslutning **#14** sa **én
|
||||
kø-entry per berørt fil**. Begge premissene er nå fire ganger for små. Anbefalingen
|
||||
er å **splitte bokføringen etter om entryen bærer en åpen beslutning**:
|
||||
|
||||
**(1) ÉN klasse-entry for 42 medlemmer.** Disse er linjeform, uten flagg, med
|
||||
ratifisert grunn (uverifiserbarhet) og ratifisert operasjon (slett). Det finnes
|
||||
ingen åpen beslutning i dem — 42 individuelle entries ville vært 42 kopier av et
|
||||
allerede besvart spørsmål. Fillisten bor i datasettet, ikke i 42 prosatekster.
|
||||
**Presedensen taler for dette, ikke mot:** §9.15 viste at et tall sitert ordrett i
|
||||
sju kø-entries var målt over halve populasjonen, og *ingen av de sju kunne oppdage
|
||||
det — de siterte hverandre*. Duplisering er nettopp mekanismen som lot feilen leve.
|
||||
|
||||
**(2) 16 individuelle entries** — de som bærer en beslutning en klasse-entry ikke
|
||||
kan bære:
|
||||
|
||||
| Fil | Bøtte | Hvorfor egen entry |
|
||||
|-----|-------|--------------------|
|
||||
| `microsoft-graph-api-copilot-integration.md` | tvetydig | `ToolSearch` talt som MCP-kall |
|
||||
| `ai-act-annex-iii-checklist.md` | ikke sjekkbar | `WebSearch` + `tavily_extract` under overskrift «MCP-søk»; blokk |
|
||||
| `ai-act-compliance-guide.md` | ikke sjekkbar | `WebSearch` under «MCP-søk utført»; blokk |
|
||||
| `rag-document-preprocessing.md` | konsistent | etikett «MCP-kilder», verdi «MCP-kall» |
|
||||
| `ai-impact-assessment-framework.md` | ikke sjekkbar | etikett «dokumenter søkt», verdi = handlinger |
|
||||
| `inferencing-optimization-caching.md` | konsistent | tallet gjentatt i prosa (:1029) — krever rest-søk |
|
||||
| `chain-of-thought-prompting.md` | inkonsistent | eneste motsatt-vei-avvik; blokk |
|
||||
| `enterprise-governance-copilot-deployment.md` | ikke sjekkbar | blokk |
|
||||
| `domain-specific-prompt-optimization.md` | ikke sjekkbar | blokk; ett ledd uten tall |
|
||||
| `infrastructure-as-code-mlops.md` | ikke sjekkbar | blokk |
|
||||
| `model-versioning-registry-management.md` | ikke sjekkbar | blokk; naboklasse i samme liste |
|
||||
| `ai-risk-taxonomy-classification.md` | ikke sjekkbar | blokk |
|
||||
| `algorithmic-accountability-auditability.md` | konsistent | blokk (overskrift bærer totalen) |
|
||||
| `model-monitoring-drift-detection.md` | inkonsistent | blokk (overskrift bærer totalen) |
|
||||
| `responsible-ai-framework-overview.md` | ikke sjekkbar | blokk over to etiketter |
|
||||
| `prompt-injection-defense-patterns.md` | ikke sjekkbar | blokk |
|
||||
|
||||
De tre `provenance_mix`-tilfellene er **samme klasse som `idx-26w`** (åpent
|
||||
spørsmål #21) og bør avgjøres sammen med det, ikke hver for seg.
|
||||
|
||||
**Kostnadsforskjellen er ikke hovedargumentet.** 58 entries mot 17 sparer arbeid,
|
||||
men det som faktisk står på spill er at 42 nesten-identiske entries gjør køen til
|
||||
et sted hvor en feilmåling kan gjemme seg bak sine egne kopier.
|
||||
|
||||
### Gjenbrukbare funn
|
||||
|
||||
- **Et nett kan ikke bevise sin egen fullstendighet. Flere nett med ULIKE blindsoner
|
||||
kan** — når residualen til hvert nett leses for hånd. Ett bredere ord er ikke det
|
||||
samme som ett nett til.
|
||||
- **Enumerér vokabularet, ikke forekomstene.** Å telle hvor mange treff en gjetning
|
||||
gir sier ingenting om hva gjetningen ikke ser. Å liste alle *etiketter* i klassens
|
||||
strukturelle omgivelser er et argument som kan etterprøves.
|
||||
- **Test den blindheten du VET at du har.** Alle fire nett krevde et siffer; det tok
|
||||
én sveip å vise at tallord-formen er tom. Utestet blindhet er en påstand.
|
||||
- **Et «alle X går samme vei»-argument dør av ett moteksempel, men tendensen kan
|
||||
overleve.** Skill de to før du siterer noen av dem.
|
||||
- **En form kan være ratifisert for én STRUKTUR og stille anta at hele klassen har
|
||||
den.** «Slett linja» var aldri feil — den var udefinert for 20 % av klassen, og
|
||||
ingenting i formen sa fra.
|
||||
- **Duplisering i en kø er ikke bare kostnad — det er hvor en feilmåling gjemmer seg.**
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue