Kjell Tore Guttormsen
ec1abf999c
Sektorspesifikt eksempelmateriale er erstattet med generiske, fiktive eksempler. Det fiktive direktoratet DDT får eksempler fra digitale tjenester, som samsvarer med navnet. Fjordvik kommune (fiktiv) får eksempler fra vann, avløp og avfall. Strukturen, tallene og poenget i hvert eksempel er bevart, blant annet committed-doktrinens stokastiske samfunnsutfall, progress-regnestykkene i Oboard-eksempelet og kaskadekjeden. Valg: - Én kildebelagt case er fjernet fra okr-sources.md og én virksomhetsliste er gjort generell («m.fl.»). Påstandene som står igjen, er fortsatt sanne. - Standardverdien i malens domene-felt er «digitalisering». «annet» dekker det som er tatt ut av alternativlistene. - De historiske evalueringsdokumentene er endret bare der de siterte det gamle eksempelinnholdet. Suite 350/350 grønn, vakten har 0 treff. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
15 KiB
360-re-evaluering: OKR Offentlig Sektor-plugin (v1.6.0)
Dato: 2026-06-26
Evaluator: Lead reviewer (syntese av 5 Opus-agenter: 2 KB-ref-scorere, 2 skill-evaluatorer, 1 360-delta-verifikator)
Mål: Verifisere at den forrige 360-en (v1.3.0, karakter C+) er innfridd, score begge skills + alle 16 KB-referansefiler mot ankret rubrikk på dagens innhold, og dekke det som aldri har vært evaluert.
Avgrensning: Bygger på docs/evaluering-360-2026-06-23.md (v1.3.0) + docs/plan-referansegrad-2026-06-23.md. Sikkerhet/config/struktur ble dekket av piloten (docs/review-2026-06-20.md) og gjentas ikke. Alle bærende funn er verifisert direkte mot fil (file:line) — se Verifiseringslogg.
Sammendrag
Pluginet er løftet C+ → A−. Alle KRITISKE og HØYE funn fra v1.3.0-360-en er bevist lukket i fil (DDT-fabrikasjon, scoringsterskel-selvmotsigelse, UTF-8-korrupsjon, find-replace-vrøvl, døde lenker, dokument-motsigelser), og hele referansegrad-gapet mot referanse-pluginen ms-ai-architect er levert (reinstall-overlevende org-katalog, /okr:help, ankrede rubrikker, hook-fixtures/55 grønne tester, PDF-eksport, org-lesende agenter). Pluginet er ikke lenger «utrygt å dele eksternt».
Det som holder igjen det siste steget til A er én regresjon i nøyaktig samme klasse som den opprinnelige showstopperen: den nye Fase 3-fila okr-quality-rubrics.md (den ankrede kvalitetsrubrikken) er fullstendig ASCII-strippet (0 å/ø/æ) — og den lastes aktivt av /okr:kvalitet, kvalitetssjekker-agenten, /okr:freshen-references og SKILL.md, så feilen forplanter seg til brukervendt kvalitetsscoring. Samme tekstkvalitetssykdom (strippet norsk) finnes i flaggskip-eksempelet i SKILL.md — det første konkrete eksemplet en bruker ser.
To skills ble evaluert. Hovedskillen okr-offentlig-sektor: B+ (strukturelt moden, alle credibility-funn lukket, holdt under A av den strippede rubrikken + SKILL-eksempelet). Den nye okr-second-brain-search (førstegangs-evaluering, fantes ikke i juni-23-360-en): B — OKF-lagbeskrivelsen er verifisert korrekt i hver detalj, men har én funksjonell defekt (~-glob søker aldri hjemme-roten) og ett verifiseringsplikt-brudd (uverifisert kb-search-sitat motsagt av teamets egen funn-doc).
De 16 KB-referansefilene scorer i snitt ~3.6/5. Sterkest: okr-offentlig-governance.md og metrics-library.md (begge 37/40 — provenans- og aktualitets-forbilledlige). Svakest: okr-oboard-guide.md (22/40, + regnefeil i kanonisk eksempel) og individual-vs-team-okr.md (22/40, usitert). Systemisk svakhet på tvers: manglende interne kryssreferanser (5 av 16 filer isolert) og manglende «Sist oppdatert»-markører (kapper Aktualitet-scoren uavhengig av innhold).
Samlet karakter: A− (referansegrad innen rekkevidde; én fokusert saneringsrunde lukker gapet til A).
Del 1 — Delta vs 360-en (v1.3.0 → v1.6.0)
Hvert 360-funn er åpnet mot dagens fil. Alle KRITISK/HØY/MEDIUM er FIKSET med følgende unntak:
| 360-funn | Status | Bevis |
|---|---|---|
| Semantisk inkoherens: digital-etat «DDT» eier KR fra et annet fagdomene | DELVIS (by design) | Ikke splittet i reelle etater; løst via plan-default — konsekvent «(fiktiv eksempeletat)»-merking. Inkoherensen består som erklært fiksjon, ikke faktapåstand. okr-framework.md:59, okr-integrations.md:392, okr-offentlig-governance.md gjennomgående. |
| Ankrede rubrikker (Fase 3 SHOULD) | DELVIS | okr-quality-rubrics.md finnes (5 ankere/dim) MEN er ASCII-strippet — se Del 4 #1. |
| Uciterte statistikker (39/43/30-45 %) | DELVIS | Nå hedget «Industri-rapportert (ikke fagfellevurdert)» (okr-implementation.md:7-10, okr-antipatterns.md:3), men fortsatt uten navngitt kilde. |
Alt øvrig — scoringsterskel (én kanon 0.7 forventet / 0.6-0.7 sweet spot), Intel/Locke/Kleingeld-rettelser, committed-vs-aspirational-aggregering, DDT ut av README, tertial-presisjon, dokumenttittel, tillitsreform-seksjon, målforskyvning-antipattern, UTF-8 i individual-vs-team-okr.md/oppsett.md/coaching-hook.mjs, alle find-replace-artefakter (0 gjenstående), Læring-regex, rm-rf-garde (OKR-01), reinstall-overlevende org-katalog, CONTRIBUTING↔GOVERNANCE, SECURITY→Forgejo, ASCII-kommandonavn, CLAUDE.md-count, SKILL-versjonssynk, 6 usiterte filer wiret inn, emne-guard, /okr:help, PDF-eksport, hook-fixtures (55/55 grønn), negative agent-triggere, org-lesende agenter — bekreftet FIKSET.
Oppdatert scorecard (9 dimensjoner)
| Dimensjon | v1.3.0 | v1.6.0 | Begrunnelse |
|---|---|---|---|
| Domenekorrekthet/metodikk | C+ | A | Én kanonisk scoringsterskel; Intel/Locke/Kleingeld rettet; aggregering korrigert. |
| Norsk forvaltningstilpasning | C | A− | DDT erklært fiktiv; tertial-regime presist; tillitsreform + målforskyvning inne. Trekk: digital-etat med fremmed fagdomene består som erklært fiksjon. |
| Innholds- og språkkvalitet | D | B | De 2 navngitte filene + hook fullt rettet; 0 find-replace. Holdt nede av ny ASCII-strippet okr-quality-rubrics.md. |
| Kommandoer | B | A− | Kontekstbevissthet komplett; gap/governance disambiguert; Syklusreview; /okr:help. |
| Agenter | B | A− | Negative triggere + org-kontekst-lesing i alle 7. |
| Hooks/state/arkitektur | B+ | A | Læring-regex + rm-rf-garde + reinstall-overlevende org + emne-guard + 55 grønne tester. |
| Dokumentasjon/markedsplass | C | A− | DDT ut av README; ASCII-kommandonavn ut; CONTRIBUTING/SECURITY/count rettet. |
| Modenhet vs ms-ai-architect | C+ | A− | Alle MUST/SHOULD-gap levert. Rubrikk-kvalitet svekket av encoding. |
| Plugin-craft | B | A− | SKILL-versjon synket; 6 filer wiret inn; emne-guard. SKILL.md bevisst lean. |
Del 2 — Skill-evalueringer
okr-offentlig-sektor — B+
| # | Dimensjon | Score | Bevis |
|---|---|---|---|
| 1 | Description/triggering | 4 | Intent-tett (SKILL.md:3-4); trekk: ingen negative triggere, overlapp med søsterskill på «tildelingsbrev». |
| 2 | Progressive disclosure | 4 | 155 linjer, lean; 17 ref eksternalisert. Trekk: flat ref-katalog vs ms-ai nestede. |
| 3 | Struktur & navigerbarhet | 5 | Nummererte Core Tasks 1-10, grupperte Resources. |
| 4 | Instruksjonskvalitet | 4 | Konkret mal + scoringsskala; cascade/track noe høynivå. |
| 5 | Dekning/fullstendighet | 5 | Skriv/review/track/cascade/møter/CFR/governance + 17 ref. |
| 6 | Korrekthet/integritet | 4 | Alle 17 ref-filer eksisterer; scoring-kanon konsistent. Trekk: stale telling «19 mistakes» (SKILL.md:134) vs 20; strippet norsk i eksempel. |
| 7 | ms-ai-architect-paritet | 4 | Alle 360-gap lukket. Trekk: ms-ai har negativ-scoping + nestet disclosure. |
| 8 | Vedlikeholdbarhet | 3 | Tester/fixtures finnes, men dekker hooks/scripts, ikke skill-innhold (innholdsdrift fanges ikke); 4/17 currency-markører. |
≤2-flagg: okr-quality-rubrics.md ASCII-strippet (kvalitet ≤2, brukervendt via /okr:kvalitet); SKILL.md flaggskip-eksempel (:32-34, :41) strippet norsk.
okr-second-brain-search — B (førstegangs-evaluering)
| # | Dimensjon | Score | Bevis |
|---|---|---|---|
| 1 | Description/triggering | 4 | Possessiv-ankret («våre mål»), eksplisitt carve-out av metodikk (SKILL.md:30-31). Trekk: tildelingsbrev-overlapp m/ companion; selvmotsigelse om trigger-plassering (:132-133). |
| 2 | Progressive disclosure | 4 | Én selvbærende fil, rimelig for retrieval-skill. |
| 3 | Struktur & navigerbarhet | 4 | Rene seksjoner; test-digresjon midt i prosedyren (:110-112). |
| 4 | Instruksjonskvalitet | 3 | Rank-tie-break presis, MEN ~-glob-defekt (se Flagg). |
| 5 | Dekning/fullstendighet | 4 | Begge røtter, index-pekere, type-verdier, edge-cases. Hull: ingen fallback for nivå uten index.md. |
| 6 | Korrekthet/integritet | 4 | OKF-lag verifisert eksakt mot impl. (felt-rekkefølge, okf_version, index-format). Brudd: uverifisert kb-search-sitat. |
| 7 | OKF-arkitektur-konsistens | 5 | Fullt i synk m/ to-bundle-modellen. |
| 8 | Vedlikeholdbarhet | 4 | 2 fixtures + grundig regresjonstest (okf-retrieval.test.mjs). |
Flagg 1 (funksjonell defekt): SKILL.md:88-89 instruerer Glob ... ~/.claude/okr/org/**/*.md. Glob-verktøyet ekspanderer ikke shell-~ → hjemme-roten (org-identitet) blir stilltiende usøkt, mot kjernepåstanden «always search both» (:36). Hook-en gjør det riktig via homedir() (inject-okr-context.mjs:106); skillen overfører ikke samme presisjon.
Flagg 2 (verifiseringsplikt-brudd): SKILL.md:84 hevder OKF har en kb-search-triad (list_contents/read_file/search_content). Teamets egen funn-doc motsier dette: docs/innboks-ingestion-funn-2026-06.md:78-80 — «kb-search/SKILL.md ble IKKE funnet … Skillene heter fileset-source og knowledge_catalog_discovery_agent». Funn-doc-en (2026-06-26) kom etter SKILL-en; korrigeringen nådde aldri tilbake.
Del 3 — KB-referansefiler (16 domene-filer)
Rubrikk: 4 dekning- + 4 kvalitetsdimensjoner (commands/freshen-references.md), 5 ankere hver, 1-5. UTF-8 bekreftet ren i alle 16 (v1.3.0-korrupsjonen i individual-vs-team-okr.md er fikset).
| Rang | Fil | Sum/40 | ≤2-flagg |
|---|---|---|---|
| 1 | okr-offentlig-governance.md |
37 | — |
| 1 | metrics-library.md |
37 | — |
| 3 | okr-sources.md |
34 | Kryssref |
| 4 | dfo-okr-mapping.md |
32 | — |
| 4 | okr-framework.md |
32 | — |
| 6 | okr-antipatterns.md |
31 | — |
| 6 | okr-integrations.md |
31 | — |
| 8 | cfr-framework.md |
31 | Kryssref (2) |
| 9 | okr-implementation.md |
29 | Kryssref |
| 10 | okr-examples.md |
28 | Kryssref (1) |
| 11 | okr-arshjul.md |
28 | Provenans |
| 12 | okr-cheatsheet.md |
26 | Off.-tilpasning, Kryssref |
| 13 | okr-calculator.md |
26 | Kryssref (1), Provenans |
| 14 | meeting-guides.md |
25 | Kryssref (1), Provenans |
| 15 | individual-vs-team-okr.md |
22 | Off.-tilpasning, Eksempel, Provenans (1) |
| 15 | okr-oboard-guide.md |
22 | Off.-tilpasning, Kryssref (1), Provenans |
Systemiske mønstre (på tvers)
- Kryssreferanser (størst): 5 filer er reelt isolert fra KB-en (
okr-examples.md=1,okr-oboard-guide.md=1,meeting-guides.md=1,okr-calculator.md=1,cfr-framework.md=2). How-to/mal-filer slutter på «Tips» uten Ressurser-seksjon.okr-offentlig-governance.md/okr-integrations.mdviser standarden. - «Sist oppdatert»-markører mangler på de fleste filer → kapper Aktualitet uavhengig av innhold. Billig løft.
- Provenans-gradient:
metrics-library.md/okr-sources.md/dfo-okr-mapping.mder forbilledlige (per-påstand provenanstagging, DOI, «Ikke verifisert»-tagger). How-to-filene mangler kilde-seksjon helt. - DDT-inkoherens forplanter seg til flere ref-filer (se Del 1).
Del 4 — Gjenstående funn (prioritert — kandidat for 1.6.1-sanering)
- [HØY — ny regresjon]
okr-quality-rubrics.mdfullstendig ASCII-strippet. 0 å/ø/æ: «nivaabeskrivelse», «paa tvers», «maalbart», «ambisioest», «maaloppnaaelse», «aa baere». Eksakt samme sykdom 360-en kalte KRITISK — i en ny Fase 3-fil som lastes brukervendt av/okr:kvalitet,kvalitetssjekker,freshen-references,SKILL.md. Fix: manuell norsk omskriving + spellcheck (samme oppskrift som Fase 0). - [MEDIUM]
SKILL.mdflaggskip-eksempel strippet norsk (:32-34,:41): «per ar», «hoyrisiko», «far», «sporreundersokelse», «Gjennomfore 5 moter». Første konkrete eksempel en bruker ser; undergraver «norsk forvaltning»-troverdighet. - [MEDIUM — funksjonell]
okr-second-brain-search~-glob (SKILL.md:88-89): instruér eksplisitt absolutt hjemme-sti før Glob, ellers søkes aldri org-roten. - [MEDIUM — integritet]
okr-second-brain-searchkb-search-sitat (SKILL.md:84): rett til verifisert OKF-virkelighet (fileset-source/discovery-mønster) perinnboks-ingestion-funn-2026-06.md. - [MEDIUM]
okr-oboard-guide.md:95regnefeil: KR1 32 (45→25) = 65 %, ikke «Progress: 52 %» (mot filens egen formel:47). + plassholderlenker:124-125. Svakest fil — vurder om vendor-spesifikk fil hører i KB. - [LAV-MEDIUM, systemisk] Kryssreferanser: legg «Relaterte filer»-seksjon i de 5 isolerte filene.
- [LAV, systemisk] «Sist oppdatert»-markører på ref-filer som mangler dem.
- [LAV]
individual-vs-team-okr.md: kilde Spotify-2013-påstand (:5), norsk off.-vinkling, ikke-privat-sektor-eksempler. - [LAV]
okr-implementation.mdstatistikker: navngi kilde bak 39/43/30-45 % eller dropp. - [TRIVIELT] Språk-nits:
meeting-guides.md:82«schuld»→«skyld»,:215«Næste»→«Neste»;dfo-okr-mapping.md:10«resultmål»→«resultatmål»;okr-arshjul.md:97uverifisert «15. oktober»-budsjettdato;SKILL.md:134«19»→«20 mistakes».
Verifiseringslogg
Bærende funn sjekket direkte mot fil (oppfyller verifiseringsplikten):
| Påstand | Verdikt | Bevis |
|---|---|---|
okr-quality-rubrics.md er ASCII-strippet |
Bekreftet | grep -o '[åøæ]' = 0; «paa tvers» :3, «ambisioest» :43, «aa baere» :5 |
SKILL.md-eksempel strippet norsk |
Bekreftet | :32 «per ar», :33 «hoyrisiko … far», :34 «sporreundersokelse», :41 «Gjennomfore … moter» |
okr-second-brain-search bruker literal ~ i Glob |
Bekreftet | SKILL.md:89 ~/.claude/okr/org/**/*.md |
kb-search-triaden finnes i OKF |
Avkreftet | innboks-ingestion-funn-2026-06.md:78-80 — heter fileset-source/knowledge_catalog_discovery_agent |
okr-oboard-guide.md Progress-% |
Feil i fil | :95 «52 %»; korrekt (45−32)/(45−25)=65 % per formel :47 |
| DDT fjernet fra README | Bekreftet | grep DDT README.md = 0; README:23 lister kun NAV/FINN.no |
| Scoringsterskel konsistent | Bekreftet | 0.7-0.9/70-80%/0.6-0.8 = 0 treff; kanon 0.7 / 0.6-0.7 på tvers |
UTF-8 i individual-vs-team-okr.md |
Bekreftet fikset | 13 å / 6 ø / 1 æ, 0 strippede ord |
| Find-replace-artefakter | Bekreftet 0 | hele vedlegg-A-mønsteret = 0 treff |
| Testsuite | Bekreftet | node --test tests/*.test.mjs → 55 passerer, 0 feiler |
| Reinstall-overlevende org-katalog | Bekreftet | ~/.claude/okr/org/profil.md via write-org-profile.mjs, lest av inject-okr-context.mjs, testet |
Metode
5 Opus-agenter (xhigh): Ref-scorer A (filer 1-8) + B (9-16) mot freshen-rubrikken; skill-evaluator × 2 (én per skill); 360-delta-verifikator mot alle v1.3.0-funn. Lead reviewer syntetiserte + ground-truth-verifiserte de bærende funnene. Gemini-triangulering ikke kjørt (bridge nede — deprecated SDK, jf. memory gemini-mcp-sdk-outage).