okr/docs/evaluering-360-2026-06-26.md
Kjell Tore Guttormsen e2d5ddb85f docs(okr): 360-re-evaluering v1.6.0 (C+ -> A-) + skills/KB-scoring
Tiltak #2 (full re-evaluering) levert. 5 Opus-agenter: 2 KB-ref-scorere
(16 domene-filer mot freshen-rubrikken), 2 skill-evaluatorer, 1 360-delta-
verifikator mot alle v1.3.0-funn. Lead reviewer ground-truth-verifiserte
de baerende funnene mot fil.

Resultat: alle KRITISKE/HOEYE 360-funn (DDT, scoringsterskel, UTF-8,
find-replace, doc-motsigelser) bevist lukket; hele ms-ai-architect-gapet
levert (org-katalog, /help, rubrikker, 55 groenne tester, PDF, org-lesende
agenter). C+ -> A-.

Holder igjen A: EN regresjon i samme klasse som showstopperen --
okr-quality-rubrics.md er ASCII-strippet (0 aa/oe/ae) og lastes brukervendt
av /okr:kvalitet. + SKILL.md flaggskip-eksempel strippet; second-brain
~-glob soeker aldri hjemme-roten; kb-search-sitat uverifisert; oboard-guide
regnefeil 52->65%. Prioritert retteliste = kandidat 1.6.1.

Skills: okr-offentlig-sektor B+, okr-second-brain-search B (foerstegangs).

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01SFW5scLL7oEwWWTv1fPQG6
2026-06-26 21:23:45 +02:00

14 KiB
Raw Permalink Blame History

360-re-evaluering: OKR Offentlig Sektor-plugin (v1.6.0)

Dato: 2026-06-26 Evaluator: Lead reviewer (syntese av 5 Opus-agenter: 2 KB-ref-scorere, 2 skill-evaluatorer, 1 360-delta-verifikator) Mål: Verifisere at den forrige 360-en (v1.3.0, karakter C+) er innfridd, score begge skills + alle 16 KB-referansefiler mot ankret rubrikk på dagens innhold, og dekke det som aldri har vært evaluert. Avgrensning: Bygger på docs/evaluering-360-2026-06-23.md (v1.3.0) + docs/plan-referansegrad-2026-06-23.md. Sikkerhet/config/struktur ble dekket av piloten (docs/review-2026-06-20.md) og gjentas ikke. Alle bærende funn er verifisert direkte mot fil (file:line) — se Verifiseringslogg.


Sammendrag

Pluginet er løftet C+ → A. Alle KRITISKE og HØYE funn fra v1.3.0-360-en er bevist lukket i fil (DDT-fabrikasjon, scoringsterskel-selvmotsigelse, UTF-8-korrupsjon, find-replace-vrøvl, døde lenker, dokument-motsigelser), og hele referansegrad-gapet mot referanse-pluginen ms-ai-architect er levert (reinstall-overlevende org-katalog, /okr:help, ankrede rubrikker, hook-fixtures/55 grønne tester, PDF-eksport, org-lesende agenter). Pluginet er ikke lenger «utrygt å dele eksternt».

Det som holder igjen det siste steget til A er én regresjon i nøyaktig samme klasse som den opprinnelige showstopperen: den nye Fase 3-fila okr-quality-rubrics.md (den ankrede kvalitetsrubrikken) er fullstendig ASCII-strippet (0 å/ø/æ) — og den lastes aktivt av /okr:kvalitet, kvalitetssjekker-agenten, /okr:freshen-references og SKILL.md, så feilen forplanter seg til brukervendt kvalitetsscoring. Samme tekstkvalitetssykdom (strippet norsk) finnes i flaggskip-eksempelet i SKILL.md — det første konkrete eksemplet en bruker ser.

To skills ble evaluert. Hovedskillen okr-offentlig-sektor: B+ (strukturelt moden, alle credibility-funn lukket, holdt under A av den strippede rubrikken + SKILL-eksempelet). Den nye okr-second-brain-search (førstegangs-evaluering, fantes ikke i juni-23-360-en): B — OKF-lagbeskrivelsen er verifisert korrekt i hver detalj, men har én funksjonell defekt (~-glob søker aldri hjemme-roten) og ett verifiseringsplikt-brudd (uverifisert kb-search-sitat motsagt av teamets egen funn-doc).

De 16 KB-referansefilene scorer i snitt ~3.6/5. Sterkest: okr-offentlig-governance.md og metrics-library.md (begge 37/40 — provenans- og aktualitets-forbilledlige). Svakest: okr-oboard-guide.md (22/40, + regnefeil i kanonisk eksempel) og individual-vs-team-okr.md (22/40, usitert). Systemisk svakhet på tvers: manglende interne kryssreferanser (5 av 16 filer isolert) og manglende «Sist oppdatert»-markører (kapper Aktualitet-scoren uavhengig av innhold).

Samlet karakter: A (referansegrad innen rekkevidde; én fokusert saneringsrunde lukker gapet til A).


Del 1 — Delta vs 360-en (v1.3.0 → v1.6.0)

Hvert 360-funn er åpnet mot dagens fil. Alle KRITISK/HØY/MEDIUM er FIKSET med følgende unntak:

360-funn Status Bevis
Semantisk inkoherens: digital-etat «DDT» eier vei/trafikk-KR DELVIS (by design) Ikke splittet i reelle etater; løst via plan-default — konsekvent «(fiktiv eksempeletat)»-merking. Inkoherensen består som erklært fiksjon, ikke faktapåstand. okr-framework.md:59, okr-integrations.md:392, okr-offentlig-governance.md gjennomgående.
Ankrede rubrikker (Fase 3 SHOULD) DELVIS okr-quality-rubrics.md finnes (5 ankere/dim) MEN er ASCII-strippet — se Del 4 #1.
Uciterte statistikker (39/43/30-45 %) DELVIS Nå hedget «Industri-rapportert (ikke fagfellevurdert)» (okr-implementation.md:7-10, okr-antipatterns.md:3), men fortsatt uten navngitt kilde.

Alt øvrig — scoringsterskel (én kanon 0.7 forventet / 0.6-0.7 sweet spot), Intel/Locke/Kleingeld-rettelser, committed-vs-aspirational-aggregering, DDT ut av README, tertial-presisjon, dokumenttittel, tillitsreform-seksjon, målforskyvning-antipattern, UTF-8 i individual-vs-team-okr.md/oppsett.md/coaching-hook.mjs, alle find-replace-artefakter (0 gjenstående), Læring-regex, rm-rf-garde (OKR-01), reinstall-overlevende org-katalog, CONTRIBUTING↔GOVERNANCE, SECURITY→Forgejo, ASCII-kommandonavn, CLAUDE.md-count, SKILL-versjonssynk, 6 usiterte filer wiret inn, emne-guard, /okr:help, PDF-eksport, hook-fixtures (55/55 grønn), negative agent-triggere, org-lesende agenter — bekreftet FIKSET.

Oppdatert scorecard (9 dimensjoner)

Dimensjon v1.3.0 v1.6.0 Begrunnelse
Domenekorrekthet/metodikk C+ A Én kanonisk scoringsterskel; Intel/Locke/Kleingeld rettet; aggregering korrigert.
Norsk forvaltningstilpasning C A DDT erklært fiktiv; tertial-regime presist; tillitsreform + målforskyvning inne. Trekk: digital-etat-eier-vei består som erklært fiksjon.
Innholds- og språkkvalitet D B De 2 navngitte filene + hook fullt rettet; 0 find-replace. Holdt nede av ny ASCII-strippet okr-quality-rubrics.md.
Kommandoer B A Kontekstbevissthet komplett; gap/governance disambiguert; Syklusreview; /okr:help.
Agenter B A Negative triggere + org-kontekst-lesing i alle 7.
Hooks/state/arkitektur B+ A Læring-regex + rm-rf-garde + reinstall-overlevende org + emne-guard + 55 grønne tester.
Dokumentasjon/markedsplass C A DDT ut av README; ASCII-kommandonavn ut; CONTRIBUTING/SECURITY/count rettet.
Modenhet vs ms-ai-architect C+ A Alle MUST/SHOULD-gap levert. Rubrikk-kvalitet svekket av encoding.
Plugin-craft B A SKILL-versjon synket; 6 filer wiret inn; emne-guard. SKILL.md bevisst lean.

Del 2 — Skill-evalueringer

okr-offentlig-sektorB+

# Dimensjon Score Bevis
1 Description/triggering 4 Intent-tett (SKILL.md:3-4); trekk: ingen negative triggere, overlapp med søsterskill på «tildelingsbrev».
2 Progressive disclosure 4 155 linjer, lean; 17 ref eksternalisert. Trekk: flat ref-katalog vs ms-ai nestede.
3 Struktur & navigerbarhet 5 Nummererte Core Tasks 1-10, grupperte Resources.
4 Instruksjonskvalitet 4 Konkret mal + scoringsskala; cascade/track noe høynivå.
5 Dekning/fullstendighet 5 Skriv/review/track/cascade/møter/CFR/governance + 17 ref.
6 Korrekthet/integritet 4 Alle 17 ref-filer eksisterer; scoring-kanon konsistent. Trekk: stale telling «19 mistakes» (SKILL.md:134) vs 20; strippet norsk i eksempel.
7 ms-ai-architect-paritet 4 Alle 360-gap lukket. Trekk: ms-ai har negativ-scoping + nestet disclosure.
8 Vedlikeholdbarhet 3 Tester/fixtures finnes, men dekker hooks/scripts, ikke skill-innhold (innholdsdrift fanges ikke); 4/17 currency-markører.

≤2-flagg: okr-quality-rubrics.md ASCII-strippet (kvalitet ≤2, brukervendt via /okr:kvalitet); SKILL.md flaggskip-eksempel (:32-34, :41) strippet norsk.

okr-second-brain-searchB (førstegangs-evaluering)

# Dimensjon Score Bevis
1 Description/triggering 4 Possessiv-ankret («våre mål»), eksplisitt carve-out av metodikk (SKILL.md:30-31). Trekk: tildelingsbrev-overlapp m/ companion; selvmotsigelse om trigger-plassering (:132-133).
2 Progressive disclosure 4 Én selvbærende fil, rimelig for retrieval-skill.
3 Struktur & navigerbarhet 4 Rene seksjoner; test-digresjon midt i prosedyren (:110-112).
4 Instruksjonskvalitet 3 Rank-tie-break presis, MEN ~-glob-defekt (se Flagg).
5 Dekning/fullstendighet 4 Begge røtter, index-pekere, type-verdier, edge-cases. Hull: ingen fallback for nivå uten index.md.
6 Korrekthet/integritet 4 OKF-lag verifisert eksakt mot impl. (felt-rekkefølge, okf_version, index-format). Brudd: uverifisert kb-search-sitat.
7 OKF-arkitektur-konsistens 5 Fullt i synk m/ to-bundle-modellen.
8 Vedlikeholdbarhet 4 2 fixtures + grundig regresjonstest (okf-retrieval.test.mjs).

Flagg 1 (funksjonell defekt): SKILL.md:88-89 instruerer Glob ... ~/.claude/okr/org/**/*.md. Glob-verktøyet ekspanderer ikke shell-~ → hjemme-roten (org-identitet) blir stilltiende usøkt, mot kjernepåstanden «always search both» (:36). Hook-en gjør det riktig via homedir() (inject-okr-context.mjs:106); skillen overfører ikke samme presisjon.

Flagg 2 (verifiseringsplikt-brudd): SKILL.md:84 hevder OKF har en kb-search-triad (list_contents/read_file/search_content). Teamets egen funn-doc motsier dette: docs/innboks-ingestion-funn-2026-06.md:78-80 — «kb-search/SKILL.md ble IKKE funnet … Skillene heter fileset-source og knowledge_catalog_discovery_agent». Funn-doc-en (2026-06-26) kom etter SKILL-en; korrigeringen nådde aldri tilbake.


Del 3 — KB-referansefiler (16 domene-filer)

Rubrikk: 4 dekning- + 4 kvalitetsdimensjoner (commands/freshen-references.md), 5 ankere hver, 1-5. UTF-8 bekreftet ren i alle 16 (v1.3.0-korrupsjonen i individual-vs-team-okr.md er fikset).

Rang Fil Sum/40 ≤2-flagg
1 okr-offentlig-governance.md 37
1 metrics-library.md 37
3 okr-sources.md 34 Kryssref
4 dfo-okr-mapping.md 32
4 okr-framework.md 32
6 okr-antipatterns.md 31
6 okr-integrations.md 31
8 cfr-framework.md 31 Kryssref (2)
9 okr-implementation.md 29 Kryssref
10 okr-examples.md 28 Kryssref (1)
11 okr-arshjul.md 28 Provenans
12 okr-cheatsheet.md 26 Off.-tilpasning, Kryssref
13 okr-calculator.md 26 Kryssref (1), Provenans
14 meeting-guides.md 25 Kryssref (1), Provenans
15 individual-vs-team-okr.md 22 Off.-tilpasning, Eksempel, Provenans (1)
15 okr-oboard-guide.md 22 Off.-tilpasning, Kryssref (1), Provenans

Systemiske mønstre (på tvers)

  • Kryssreferanser (størst): 5 filer er reelt isolert fra KB-en (okr-examples.md=1, okr-oboard-guide.md=1, meeting-guides.md=1, okr-calculator.md=1, cfr-framework.md=2). How-to/mal-filer slutter på «Tips» uten Ressurser-seksjon. okr-offentlig-governance.md/okr-integrations.md viser standarden.
  • «Sist oppdatert»-markører mangler på de fleste filer → kapper Aktualitet uavhengig av innhold. Billig løft.
  • Provenans-gradient: metrics-library.md/okr-sources.md/dfo-okr-mapping.md er forbilledlige (per-påstand provenanstagging, DOI, «Ikke verifisert»-tagger). How-to-filene mangler kilde-seksjon helt.
  • DDT-inkoherens forplanter seg til flere ref-filer (se Del 1).

Del 4 — Gjenstående funn (prioritert — kandidat for 1.6.1-sanering)

  1. [HØY — ny regresjon] okr-quality-rubrics.md fullstendig ASCII-strippet. 0 å/ø/æ: «nivaabeskrivelse», «paa tvers», «maalbart», «ambisioest», «maaloppnaaelse», «aa baere». Eksakt samme sykdom 360-en kalte KRITISK — i en ny Fase 3-fil som lastes brukervendt av /okr:kvalitet, kvalitetssjekker, freshen-references, SKILL.md. Fix: manuell norsk omskriving + spellcheck (samme oppskrift som Fase 0).
  2. [MEDIUM] SKILL.md flaggskip-eksempel strippet norsk (:32-34, :41): «per ar», «hoyrisiko», «far», «sporreundersokelse», «Gjennomfore 5 moter». Første konkrete eksempel en bruker ser; undergraver «norsk forvaltning»-troverdighet.
  3. [MEDIUM — funksjonell] okr-second-brain-search ~-glob (SKILL.md:88-89): instruér eksplisitt absolutt hjemme-sti før Glob, ellers søkes aldri org-roten.
  4. [MEDIUM — integritet] okr-second-brain-search kb-search-sitat (SKILL.md:84): rett til verifisert OKF-virkelighet (fileset-source / discovery-mønster) per innboks-ingestion-funn-2026-06.md.
  5. [MEDIUM] okr-oboard-guide.md:95 regnefeil: KR1 32 ulykker (45→25) = 65 %, ikke «Progress: 52 %» (mot filens egen formel :47). + plassholderlenker :124-125. Svakest fil — vurder om vendor-spesifikk fil hører i KB.
  6. [LAV-MEDIUM, systemisk] Kryssreferanser: legg «Relaterte filer»-seksjon i de 5 isolerte filene.
  7. [LAV, systemisk] «Sist oppdatert»-markører på ref-filer som mangler dem.
  8. [LAV] individual-vs-team-okr.md: kilde Spotify-2013-påstand (:5), norsk off.-vinkling, ikke-privat-sektor-eksempler.
  9. [LAV] okr-implementation.md statistikker: navngi kilde bak 39/43/30-45 % eller dropp.
  10. [TRIVIELT] Språk-nits: meeting-guides.md:82 «schuld»→«skyld», :215 «Næste»→«Neste»; dfo-okr-mapping.md:10 «resultmål»→«resultatmål»; okr-arshjul.md:97 uverifisert «15. oktober»-budsjettdato; SKILL.md:134 «19»→«20 mistakes».

Verifiseringslogg

Bærende funn sjekket direkte mot fil (oppfyller verifiseringsplikten):

Påstand Verdikt Bevis
okr-quality-rubrics.md er ASCII-strippet Bekreftet grep -o '[åøæ]' = 0; «paa tvers» :3, «ambisioest» :43, «aa baere» :5
SKILL.md-eksempel strippet norsk Bekreftet :32 «per ar», :33 «hoyrisiko … far», :34 «sporreundersokelse», :41 «Gjennomfore … moter»
okr-second-brain-search bruker literal ~ i Glob Bekreftet SKILL.md:89 ~/.claude/okr/org/**/*.md
kb-search-triaden finnes i OKF Avkreftet innboks-ingestion-funn-2026-06.md:78-80 — heter fileset-source/knowledge_catalog_discovery_agent
okr-oboard-guide.md Progress-% Feil i fil :95 «52 %»; korrekt (4532)/(4525)=65 % per formel :47
DDT fjernet fra README Bekreftet grep DDT README.md = 0; README:23 lister kun NAV/FINN.no
Scoringsterskel konsistent Bekreftet 0.7-0.9/70-80%/0.6-0.8 = 0 treff; kanon 0.7 / 0.6-0.7 på tvers
UTF-8 i individual-vs-team-okr.md Bekreftet fikset 13 å / 6 ø / 1 æ, 0 strippede ord
Find-replace-artefakter Bekreftet 0 hele vedlegg-A-mønsteret = 0 treff
Testsuite Bekreftet node --test tests/*.test.mjs → 55 passerer, 0 feiler
Reinstall-overlevende org-katalog Bekreftet ~/.claude/okr/org/profil.md via write-org-profile.mjs, lest av inject-okr-context.mjs, testet

Metode

5 Opus-agenter (xhigh): Ref-scorer A (filer 1-8) + B (9-16) mot freshen-rubrikken; skill-evaluator × 2 (én per skill); 360-delta-verifikator mot alle v1.3.0-funn. Lead reviewer syntetiserte + ground-truth-verifiserte de bærende funnene. Gemini-triangulering ikke kjørt (bridge nede — deprecated SDK, jf. memory gemini-mcp-sdk-outage).