docs(okr): 360-re-evaluering v1.6.0 (C+ -> A-) + skills/KB-scoring
Tiltak #2 (full re-evaluering) levert. 5 Opus-agenter: 2 KB-ref-scorere (16 domene-filer mot freshen-rubrikken), 2 skill-evaluatorer, 1 360-delta- verifikator mot alle v1.3.0-funn. Lead reviewer ground-truth-verifiserte de baerende funnene mot fil. Resultat: alle KRITISKE/HOEYE 360-funn (DDT, scoringsterskel, UTF-8, find-replace, doc-motsigelser) bevist lukket; hele ms-ai-architect-gapet levert (org-katalog, /help, rubrikker, 55 groenne tester, PDF, org-lesende agenter). C+ -> A-. Holder igjen A: EN regresjon i samme klasse som showstopperen -- okr-quality-rubrics.md er ASCII-strippet (0 aa/oe/ae) og lastes brukervendt av /okr:kvalitet. + SKILL.md flaggskip-eksempel strippet; second-brain ~-glob soeker aldri hjemme-roten; kb-search-sitat uverifisert; oboard-guide regnefeil 52->65%. Prioritert retteliste = kandidat 1.6.1. Skills: okr-offentlig-sektor B+, okr-second-brain-search B (foerstegangs). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01SFW5scLL7oEwWWTv1fPQG6
This commit is contained in:
parent
6a595bf69e
commit
e2d5ddb85f
1 changed files with 155 additions and 0 deletions
155
docs/evaluering-360-2026-06-26.md
Normal file
155
docs/evaluering-360-2026-06-26.md
Normal file
|
|
@ -0,0 +1,155 @@
|
|||
# 360-re-evaluering: OKR Offentlig Sektor-plugin (v1.6.0)
|
||||
|
||||
**Dato:** 2026-06-26
|
||||
**Evaluator:** Lead reviewer (syntese av 5 Opus-agenter: 2 KB-ref-scorere, 2 skill-evaluatorer, 1 360-delta-verifikator)
|
||||
**Mål:** Verifisere at den forrige 360-en (v1.3.0, karakter C+) er innfridd, score begge skills + alle 16 KB-referansefiler mot ankret rubrikk på dagens innhold, og dekke det som aldri har vært evaluert.
|
||||
**Avgrensning:** Bygger på `docs/evaluering-360-2026-06-23.md` (v1.3.0) + `docs/plan-referansegrad-2026-06-23.md`. Sikkerhet/config/struktur ble dekket av piloten (`docs/review-2026-06-20.md`) og gjentas ikke. Alle bærende funn er verifisert direkte mot fil (file:line) — se Verifiseringslogg.
|
||||
|
||||
---
|
||||
|
||||
## Sammendrag
|
||||
|
||||
Pluginet er løftet **C+ → A−**. Alle KRITISKE og HØYE funn fra v1.3.0-360-en er bevist lukket i fil (DDT-fabrikasjon, scoringsterskel-selvmotsigelse, UTF-8-korrupsjon, find-replace-vrøvl, døde lenker, dokument-motsigelser), og hele referansegrad-gapet mot referanse-pluginen `ms-ai-architect` er levert (reinstall-overlevende org-katalog, `/okr:help`, ankrede rubrikker, hook-fixtures/55 grønne tester, PDF-eksport, org-lesende agenter). Pluginet er ikke lenger «utrygt å dele eksternt».
|
||||
|
||||
Det som holder igjen det siste steget til **A** er **én regresjon i nøyaktig samme klasse som den opprinnelige showstopperen**: den nye Fase 3-fila `okr-quality-rubrics.md` (den ankrede kvalitetsrubrikken) er **fullstendig ASCII-strippet** (0 å/ø/æ) — og den lastes aktivt av `/okr:kvalitet`, `kvalitetssjekker`-agenten, `/okr:freshen-references` og `SKILL.md`, så feilen forplanter seg til brukervendt kvalitetsscoring. Samme tekstkvalitetssykdom (strippet norsk) finnes i flaggskip-eksempelet i `SKILL.md` — det første konkrete eksemplet en bruker ser.
|
||||
|
||||
To skills ble evaluert. Hovedskillen `okr-offentlig-sektor`: **B+** (strukturelt moden, alle credibility-funn lukket, holdt under A av den strippede rubrikken + SKILL-eksempelet). Den nye `okr-second-brain-search` (førstegangs-evaluering, fantes ikke i juni-23-360-en): **B** — OKF-lagbeskrivelsen er verifisert korrekt i hver detalj, men har én funksjonell defekt (`~`-glob søker aldri hjemme-roten) og ett verifiseringsplikt-brudd (uverifisert `kb-search`-sitat motsagt av teamets egen funn-doc).
|
||||
|
||||
De 16 KB-referansefilene scorer i snitt ~3.6/5. Sterkest: `okr-offentlig-governance.md` og `metrics-library.md` (begge 37/40 — provenans- og aktualitets-forbilledlige). Svakest: `okr-oboard-guide.md` (22/40, + regnefeil i kanonisk eksempel) og `individual-vs-team-okr.md` (22/40, usitert). Systemisk svakhet på tvers: manglende interne **kryssreferanser** (5 av 16 filer isolert) og manglende **«Sist oppdatert»-markører** (kapper Aktualitet-scoren uavhengig av innhold).
|
||||
|
||||
**Samlet karakter: A−** (referansegrad innen rekkevidde; én fokusert saneringsrunde lukker gapet til A).
|
||||
|
||||
---
|
||||
|
||||
## Del 1 — Delta vs 360-en (v1.3.0 → v1.6.0)
|
||||
|
||||
Hvert 360-funn er åpnet mot dagens fil. Alle KRITISK/HØY/MEDIUM er **FIKSET** med følgende unntak:
|
||||
|
||||
| 360-funn | Status | Bevis |
|
||||
|----------|--------|-------|
|
||||
| Semantisk inkoherens: digital-etat «DDT» eier vei/trafikk-KR | **DELVIS (by design)** | Ikke splittet i reelle etater; løst via plan-default — konsekvent «(fiktiv eksempeletat)»-merking. Inkoherensen består som *erklært fiksjon*, ikke faktapåstand. `okr-framework.md:59`, `okr-integrations.md:392`, `okr-offentlig-governance.md` gjennomgående. |
|
||||
| Ankrede rubrikker (Fase 3 SHOULD) | **DELVIS** | `okr-quality-rubrics.md` finnes (5 ankere/dim) MEN er ASCII-strippet — se Del 4 #1. |
|
||||
| Uciterte statistikker (39/43/30-45 %) | **DELVIS** | Nå hedget «Industri-rapportert (ikke fagfellevurdert)» (`okr-implementation.md:7-10`, `okr-antipatterns.md:3`), men fortsatt uten *navngitt* kilde. |
|
||||
|
||||
Alt øvrig — scoringsterskel (én kanon `0.7 forventet / 0.6-0.7 sweet spot`), Intel/Locke/Kleingeld-rettelser, committed-vs-aspirational-aggregering, DDT ut av README, tertial-presisjon, dokumenttittel, tillitsreform-seksjon, målforskyvning-antipattern, UTF-8 i `individual-vs-team-okr.md`/`oppsett.md`/`coaching-hook.mjs`, alle find-replace-artefakter (0 gjenstående), Læring-regex, rm-rf-garde (OKR-01), reinstall-overlevende org-katalog, CONTRIBUTING↔GOVERNANCE, SECURITY→Forgejo, ASCII-kommandonavn, CLAUDE.md-count, SKILL-versjonssynk, 6 usiterte filer wiret inn, emne-guard, `/okr:help`, PDF-eksport, hook-fixtures (55/55 grønn), negative agent-triggere, org-lesende agenter — **bekreftet FIKSET**.
|
||||
|
||||
### Oppdatert scorecard (9 dimensjoner)
|
||||
|
||||
| Dimensjon | v1.3.0 | v1.6.0 | Begrunnelse |
|
||||
|-----------|--------|--------|-------------|
|
||||
| Domenekorrekthet/metodikk | C+ | **A** | Én kanonisk scoringsterskel; Intel/Locke/Kleingeld rettet; aggregering korrigert. |
|
||||
| Norsk forvaltningstilpasning | C | **A−** | DDT erklært fiktiv; tertial-regime presist; tillitsreform + målforskyvning inne. Trekk: digital-etat-eier-vei består som erklært fiksjon. |
|
||||
| Innholds- og språkkvalitet | D | **B** | De 2 navngitte filene + hook fullt rettet; 0 find-replace. Holdt nede av ny ASCII-strippet `okr-quality-rubrics.md`. |
|
||||
| Kommandoer | B | **A−** | Kontekstbevissthet komplett; gap/governance disambiguert; Syklusreview; `/okr:help`. |
|
||||
| Agenter | B | **A−** | Negative triggere + org-kontekst-lesing i alle 7. |
|
||||
| Hooks/state/arkitektur | B+ | **A** | Læring-regex + rm-rf-garde + reinstall-overlevende org + emne-guard + 55 grønne tester. |
|
||||
| Dokumentasjon/markedsplass | C | **A−** | DDT ut av README; ASCII-kommandonavn ut; CONTRIBUTING/SECURITY/count rettet. |
|
||||
| Modenhet vs ms-ai-architect | C+ | **A−** | Alle MUST/SHOULD-gap levert. Rubrikk-kvalitet svekket av encoding. |
|
||||
| Plugin-craft | B | **A−** | SKILL-versjon synket; 6 filer wiret inn; emne-guard. SKILL.md bevisst lean. |
|
||||
|
||||
---
|
||||
|
||||
## Del 2 — Skill-evalueringer
|
||||
|
||||
### `okr-offentlig-sektor` — **B+**
|
||||
|
||||
| # | Dimensjon | Score | Bevis |
|
||||
|---|-----------|-------|-------|
|
||||
| 1 | Description/triggering | 4 | Intent-tett (`SKILL.md:3-4`); trekk: ingen negative triggere, overlapp med søsterskill på «tildelingsbrev». |
|
||||
| 2 | Progressive disclosure | 4 | 155 linjer, lean; 17 ref eksternalisert. Trekk: flat ref-katalog vs ms-ai nestede. |
|
||||
| 3 | Struktur & navigerbarhet | 5 | Nummererte Core Tasks 1-10, grupperte Resources. |
|
||||
| 4 | Instruksjonskvalitet | 4 | Konkret mal + scoringsskala; cascade/track noe høynivå. |
|
||||
| 5 | Dekning/fullstendighet | 5 | Skriv/review/track/cascade/møter/CFR/governance + 17 ref. |
|
||||
| 6 | Korrekthet/integritet | 4 | Alle 17 ref-filer eksisterer; scoring-kanon konsistent. Trekk: stale telling «19 mistakes» (`SKILL.md:134`) vs 20; strippet norsk i eksempel. |
|
||||
| 7 | ms-ai-architect-paritet | 4 | Alle 360-gap lukket. Trekk: ms-ai har negativ-scoping + nestet disclosure. |
|
||||
| 8 | Vedlikeholdbarhet | 3 | Tester/fixtures finnes, men dekker hooks/scripts, ikke skill-*innhold* (innholdsdrift fanges ikke); 4/17 currency-markører. |
|
||||
|
||||
**≤2-flagg:** `okr-quality-rubrics.md` ASCII-strippet (kvalitet ≤2, brukervendt via `/okr:kvalitet`); SKILL.md flaggskip-eksempel (`:32-34, :41`) strippet norsk.
|
||||
|
||||
### `okr-second-brain-search` — **B** (førstegangs-evaluering)
|
||||
|
||||
| # | Dimensjon | Score | Bevis |
|
||||
|---|-----------|-------|-------|
|
||||
| 1 | Description/triggering | 4 | Possessiv-ankret («våre mål»), eksplisitt carve-out av metodikk (`SKILL.md:30-31`). Trekk: `tildelingsbrev`-overlapp m/ companion; selvmotsigelse om trigger-plassering (`:132-133`). |
|
||||
| 2 | Progressive disclosure | 4 | Én selvbærende fil, rimelig for retrieval-skill. |
|
||||
| 3 | Struktur & navigerbarhet | 4 | Rene seksjoner; test-digresjon midt i prosedyren (`:110-112`). |
|
||||
| 4 | Instruksjonskvalitet | 3 | Rank-tie-break presis, MEN `~`-glob-defekt (se Flagg). |
|
||||
| 5 | Dekning/fullstendighet | 4 | Begge røtter, index-pekere, type-verdier, edge-cases. Hull: ingen fallback for nivå uten `index.md`. |
|
||||
| 6 | Korrekthet/integritet | 4 | OKF-lag verifisert eksakt mot impl. (felt-rekkefølge, `okf_version`, index-format). Brudd: uverifisert `kb-search`-sitat. |
|
||||
| 7 | OKF-arkitektur-konsistens | 5 | Fullt i synk m/ to-bundle-modellen. |
|
||||
| 8 | Vedlikeholdbarhet | 4 | 2 fixtures + grundig regresjonstest (`okf-retrieval.test.mjs`). |
|
||||
|
||||
**Flagg 1 (funksjonell defekt):** `SKILL.md:88-89` instruerer `Glob ... ~/.claude/okr/org/**/*.md`. Glob-verktøyet ekspanderer ikke shell-`~` → hjemme-roten (org-identitet) blir stilltiende usøkt, mot kjernepåstanden «always search both» (`:36`). Hook-en gjør det riktig via `homedir()` (`inject-okr-context.mjs:106`); skillen overfører ikke samme presisjon.
|
||||
|
||||
**Flagg 2 (verifiseringsplikt-brudd):** `SKILL.md:84` hevder OKF har en `kb-search`-triad (`list_contents`/`read_file`/`search_content`). Teamets egen funn-doc motsier dette: `docs/innboks-ingestion-funn-2026-06.md:78-80` — «kb-search/SKILL.md ble IKKE funnet … Skillene heter `fileset-source` og `knowledge_catalog_discovery_agent`». Funn-doc-en (2026-06-26) kom etter SKILL-en; korrigeringen nådde aldri tilbake.
|
||||
|
||||
---
|
||||
|
||||
## Del 3 — KB-referansefiler (16 domene-filer)
|
||||
|
||||
Rubrikk: 4 dekning- + 4 kvalitetsdimensjoner (`commands/freshen-references.md`), 5 ankere hver, 1-5. UTF-8 bekreftet ren i alle 16 (v1.3.0-korrupsjonen i `individual-vs-team-okr.md` er fikset).
|
||||
|
||||
| Rang | Fil | Sum/40 | ≤2-flagg |
|
||||
|------|-----|--------|----------|
|
||||
| 1 | `okr-offentlig-governance.md` | 37 | — |
|
||||
| 1 | `metrics-library.md` | 37 | — |
|
||||
| 3 | `okr-sources.md` | 34 | Kryssref |
|
||||
| 4 | `dfo-okr-mapping.md` | 32 | — |
|
||||
| 4 | `okr-framework.md` | 32 | — |
|
||||
| 6 | `okr-antipatterns.md` | 31 | — |
|
||||
| 6 | `okr-integrations.md` | 31 | — |
|
||||
| 8 | `cfr-framework.md` | 31 | Kryssref (2) |
|
||||
| 9 | `okr-implementation.md` | 29 | Kryssref |
|
||||
| 10 | `okr-examples.md` | 28 | Kryssref (1) |
|
||||
| 11 | `okr-arshjul.md` | 28 | Provenans |
|
||||
| 12 | `okr-cheatsheet.md` | 26 | Off.-tilpasning, Kryssref |
|
||||
| 13 | `okr-calculator.md` | 26 | Kryssref (1), Provenans |
|
||||
| 14 | `meeting-guides.md` | 25 | Kryssref (1), Provenans |
|
||||
| 15 | `individual-vs-team-okr.md` | 22 | Off.-tilpasning, Eksempel, **Provenans (1)** |
|
||||
| 15 | `okr-oboard-guide.md` | 22 | Off.-tilpasning, Kryssref (1), Provenans |
|
||||
|
||||
### Systemiske mønstre (på tvers)
|
||||
|
||||
- **Kryssreferanser (størst):** 5 filer er reelt isolert fra KB-en (`okr-examples.md`=1, `okr-oboard-guide.md`=1, `meeting-guides.md`=1, `okr-calculator.md`=1, `cfr-framework.md`=2). How-to/mal-filer slutter på «Tips» uten Ressurser-seksjon. `okr-offentlig-governance.md`/`okr-integrations.md` viser standarden.
|
||||
- **«Sist oppdatert»-markører mangler** på de fleste filer → kapper Aktualitet uavhengig av innhold. Billig løft.
|
||||
- **Provenans-gradient:** `metrics-library.md`/`okr-sources.md`/`dfo-okr-mapping.md` er forbilledlige (per-påstand provenanstagging, DOI, «Ikke verifisert»-tagger). How-to-filene mangler kilde-seksjon helt.
|
||||
- **DDT-inkoherens** forplanter seg til flere ref-filer (se Del 1).
|
||||
|
||||
---
|
||||
|
||||
## Del 4 — Gjenstående funn (prioritert — kandidat for 1.6.1-sanering)
|
||||
|
||||
1. **[HØY — ny regresjon] `okr-quality-rubrics.md` fullstendig ASCII-strippet.** 0 å/ø/æ: «nivaabeskrivelse», «paa tvers», «maalbart», «ambisioest», «maaloppnaaelse», «aa baere». Eksakt samme sykdom 360-en kalte KRITISK — i en ny Fase 3-fil som lastes brukervendt av `/okr:kvalitet`, `kvalitetssjekker`, `freshen-references`, `SKILL.md`. *Fix:* manuell norsk omskriving + spellcheck (samme oppskrift som Fase 0).
|
||||
2. **[MEDIUM] `SKILL.md` flaggskip-eksempel strippet norsk** (`:32-34`, `:41`): «per ar», «hoyrisiko», «far», «sporreundersokelse», «Gjennomfore 5 moter». Første konkrete eksempel en bruker ser; undergraver «norsk forvaltning»-troverdighet.
|
||||
3. **[MEDIUM — funksjonell] `okr-second-brain-search` `~`-glob** (`SKILL.md:88-89`): instruér eksplisitt absolutt hjemme-sti før Glob, ellers søkes aldri org-roten.
|
||||
4. **[MEDIUM — integritet] `okr-second-brain-search` `kb-search`-sitat** (`SKILL.md:84`): rett til verifisert OKF-virkelighet (`fileset-source` / `discovery`-mønster) per `innboks-ingestion-funn-2026-06.md`.
|
||||
5. **[MEDIUM] `okr-oboard-guide.md:95` regnefeil:** KR1 32 ulykker (45→25) = 65 %, ikke «Progress: 52 %» (mot filens egen formel `:47`). + plassholderlenker `:124-125`. Svakest fil — vurder om vendor-spesifikk fil hører i KB.
|
||||
6. **[LAV-MEDIUM, systemisk] Kryssreferanser:** legg «Relaterte filer»-seksjon i de 5 isolerte filene.
|
||||
7. **[LAV, systemisk] «Sist oppdatert»-markører** på ref-filer som mangler dem.
|
||||
8. **[LAV] `individual-vs-team-okr.md`:** kilde Spotify-2013-påstand (`:5`), norsk off.-vinkling, ikke-privat-sektor-eksempler.
|
||||
9. **[LAV] `okr-implementation.md` statistikker:** navngi kilde bak 39/43/30-45 % eller dropp.
|
||||
10. **[TRIVIELT] Språk-nits:** `meeting-guides.md:82` «schuld»→«skyld», `:215` «Næste»→«Neste»; `dfo-okr-mapping.md:10` «resultmål»→«resultatmål»; `okr-arshjul.md:97` uverifisert «15. oktober»-budsjettdato; `SKILL.md:134` «19»→«20 mistakes».
|
||||
|
||||
---
|
||||
|
||||
## Verifiseringslogg
|
||||
|
||||
Bærende funn sjekket direkte mot fil (oppfyller verifiseringsplikten):
|
||||
|
||||
| Påstand | Verdikt | Bevis |
|
||||
|---------|---------|-------|
|
||||
| `okr-quality-rubrics.md` er ASCII-strippet | **Bekreftet** | `grep -o '[åøæ]' = 0`; «paa tvers» `:3`, «ambisioest» `:43`, «aa baere» `:5` |
|
||||
| `SKILL.md`-eksempel strippet norsk | **Bekreftet** | `:32` «per ar», `:33` «hoyrisiko … far», `:34` «sporreundersokelse», `:41` «Gjennomfore … moter» |
|
||||
| `okr-second-brain-search` bruker literal `~` i Glob | **Bekreftet** | `SKILL.md:89` `~/.claude/okr/org/**/*.md` |
|
||||
| `kb-search`-triaden finnes i OKF | **Avkreftet** | `innboks-ingestion-funn-2026-06.md:78-80` — heter `fileset-source`/`knowledge_catalog_discovery_agent` |
|
||||
| `okr-oboard-guide.md` Progress-% | **Feil i fil** | `:95` «52 %»; korrekt (45−32)/(45−25)=65 % per formel `:47` |
|
||||
| DDT fjernet fra README | **Bekreftet** | `grep DDT README.md = 0`; README:23 lister kun NAV/FINN.no |
|
||||
| Scoringsterskel konsistent | **Bekreftet** | `0.7-0.9`/`70-80%`/`0.6-0.8` = 0 treff; kanon `0.7 / 0.6-0.7` på tvers |
|
||||
| UTF-8 i `individual-vs-team-okr.md` | **Bekreftet fikset** | 13 å / 6 ø / 1 æ, 0 strippede ord |
|
||||
| Find-replace-artefakter | **Bekreftet 0** | hele vedlegg-A-mønsteret = 0 treff |
|
||||
| Testsuite | **Bekreftet** | `node --test tests/*.test.mjs` → 55 passerer, 0 feiler |
|
||||
| Reinstall-overlevende org-katalog | **Bekreftet** | `~/.claude/okr/org/profil.md` via `write-org-profile.mjs`, lest av `inject-okr-context.mjs`, testet |
|
||||
|
||||
### Metode
|
||||
|
||||
5 Opus-agenter (xhigh): Ref-scorer A (filer 1-8) + B (9-16) mot freshen-rubrikken; skill-evaluator × 2 (én per skill); 360-delta-verifikator mot alle v1.3.0-funn. Lead reviewer syntetiserte + ground-truth-verifiserte de bærende funnene. Gemini-triangulering ikke kjørt (bridge nede — deprecated SDK, jf. memory `gemini-mcp-sdk-outage`).
|
||||
Loading…
Add table
Add a link
Reference in a new issue