Kjell Tore Guttormsen
5d1ff620be
Read-only audit av 389 ref-filer: 0 ekte orphans (mappe-referanse), 6 ekte datoløse, median 481 linjer (183 >500), 34 header-varianter, 21% uten kilde-URL. Spor D-scorer 91-96 (struktur sunn) — innholdskorrekthet er den umålte aksen. Beslutningsnotat for retning genereres separat.
37 lines
3.8 KiB
Markdown
37 lines
3.8 KiB
Markdown
# Reference-KB audit — verifisert ground truth (2026-06-26)
|
||
|
||
_Read-only audit av de 389 ref-filene under `skills/<skill>/references/**/*.md`. Reproduserbar via `python3 scripts/kb-eval/ref-file-audit.py`. Utløst av spørsmålet «måler vi kvaliteten på ref-filene, og brukes de best mulig?». Beslutningsnotatet som velger retning lever separat (se nederst)._
|
||
|
||
## Bakgrunn
|
||
Skill-kvalitetsscoringen (Spor D, `scripts/kb-eval/`) scorer SKILL.md-forfatterkvalitet + ref-filenes STRUKTUR/hygiene — ikke substansiell innholdskorrekthet mot MS Learn. KB-refresh (`scripts/kb-update/`) flagger staleness, men gir ingen score. Gapet — «stemmer ref-innholdet mot MS Learn i dag» — måles ikke. Denne auditen kartla ref-filenes faktiske tilstand før vi velger hvordan gapet skal lukkes.
|
||
|
||
## Selvkorreksjoner (premiss-verifisering fanget to artefakter i en tidligere kjøring)
|
||
- **«220 orphans» → ekte: 0.** Den første heuristikken testet kun om filnavnet var navngitt i en hub. Men 220 filer nås via **mappe-referanse** (progressive disclosure — K5 named-ratio-mål er bare 0,2). Folder-bevisst telling gir 0 ekte orphans. KB-en bærer ingen død vekt.
|
||
- **«136 datoløse» → ekte: 6.** Heuristikken krevde full `YYYY-MM-DD`. 130 filer har bevisst **måned-presisjon** (`YYYY-MM`), som er konvensjonen `report-changes.mjs` forutsetter. Kun 6 er ekte datoløse.
|
||
|
||
## Verifiserte funn
|
||
|
||
| Dimensjon | Tall | Vurdering |
|
||
|-----------|------|-----------|
|
||
| **Inventar** | 389 filer: advisor 62, engineering 153, governance 78, infrastructure 34, security 62 | — |
|
||
| **Størrelse** | median 481 linjer, snitt 507, **183/389 >500 linjer**, største 1265 (`adr-template.md`); kun 2 filer ≤100 | KB-en er nesten utelukkende store filer. Granularitets-spørsmål (se notat). |
|
||
| **Dato** | 253 dag-presise · 130 måned-presise · **6 ekte datoløse** | De 6 (4 er AI Act-filer) bør stemples — kort, høyverdi fiks. |
|
||
| **Reachability** | 169 navngitt · 220 via mappe · **0 ekte orphans** | Ingen død vekt. Mappe-referanse er den dominerende lastemekanismen. |
|
||
| **Kilde-URI** | **83 filer (21 %) har ingen MS Learn/docs-URL** | Noen legitimt kildeløse (maler/metodikk); andre gjør MS-påstander uten sporbar kilde → ikke auto-verifiserbare. |
|
||
| **Metadata** | **34 distinkte prosa-header-nøkler**, 0 YAML-frontmatter (`Category` ×322 vs `Kategori` ×42; `Last updated` vs `Sist oppdatert` vs `Dato` vs `Oppdatert`) | Fragmentert → skjør detektor, ingen maskinlesbar kilde-URI for en korrekthets-judge. |
|
||
| **Topologi** | flatt tre; N3 forbyr ref→ref-lenker; kun 2/389 har .md-kryss-lenke | Bevisst — progressive disclosure, ikke en graf. |
|
||
| **TOC** | 384/389 store filer uten TOC (N4) | Reell, men lavvekt — skills står på 91–96 likevel. Polish. |
|
||
|
||
## Eksisterende Spor D-scorer (kontekst)
|
||
advisor 91 · engineering 96 · governance 96 · infrastructure 96 · security 96. **Null under mål (90).** Struktur/forfatterkvalitet er altså ikke problemet — innholdskorrekthet er den umålte aksen.
|
||
|
||
## De 6 ekte datoløse (quick-fix-kandidater)
|
||
- `ms-ai-advisor/references/architecture/decision-trees.md`
|
||
- `ms-ai-governance/references/monitoring-observability/anomaly-detection-ai-systems.md`
|
||
- `ms-ai-governance/references/responsible-ai/ai-act-classification-methodology.md`
|
||
- `ms-ai-governance/references/responsible-ai/ai-act-deployer-obligations.md`
|
||
- `ms-ai-governance/references/responsible-ai/ai-act-fria-template.md`
|
||
- `ms-ai-governance/references/responsible-ai/ai-act-provider-obligations.md`
|
||
|
||
## Neste steg
|
||
Et faktabasert, best-practice-forankret beslutningsnotat (5 akser: struktur/størrelse · innhold/korrekthet · kvalitetsmåling · MS Learn-fetch-dekning · metadata-substrat) avgjør retning før noen av de 389 filene endres. Se `docs/ref-kb-direction-note-2026-06.md` (genereres). Bakgrunn for gapet: `docs/kb-refresh-backlog-2026-06.md` («Separate spor»).
|