ms-ai-architect/docs/kb-refresh-backlog-2026-06.md

6.3 KiB

KB-refresh backlog — etter critical-klyngen (juni 2026)

Prioritert rekkefølge for gjenstående KB-refresh etter at critical cost-klyngen (8 filer) + release v1.16.2 ble fullført 2026-06-24. Tall fra node scripts/kb-update/report-changes.mjs (leser url-registry, ingen nettverk). Status-of-play i STATE.md.

Arbeidsmønster (bevist på critical-klyngen — gjenbruk per batch)

  1. Spawn read-only Sonnet drift-rapporter per batch (parallelt) → samler ✅ TRYGT vs VERIFY-funn.
  2. Main-agent = verifiseringsgaten: hver VERIFY-påstand bekreftes mot sitert MS Learn-kilde (search/fetch) FØR den skrives. Agenter kan feillese/overgeneralisere (jf. fil 8: Phi/Falcon-«retired»-påstand ble avkreftet).
  3. Kirurgiske edits — disclaimed/illustrative priser røres ALDRI. Bump header (dag-presis dato hvis kilde endret midt i måneden, ellers YYYY-MM).
  4. git diff-gate → ./tests/validate-plugin.sh (må være 239/0) → 1 fil = 1 commit (KB-refresh <tier> N/M).
  5. Når en tier er tom: re-kjør report-changes.mjs (bekreft count faller) → release via catalog/scripts/release-plugin.mjs ms-ai-architect <ver> --create-tag--write --commit --push (krever plugin.json == README-badge == ver + CHANGELOG + version-history FØRST; check-versions 0 ERROR).

Rekkefølge

0. Quick-triage: UNVERIFIED (1) — gjør først, billig

  • ms-ai-advisor/references/architecture/security.mddateless (mangler Last updated-header). Kjernefil lest av architecture-review-agent. Verifiser innhold + stamp header. Kan foldes inn i HIGH-sesjonen.

1. HIGH (11) → release v1.16.3

Batch etter område for kilde-gjenbruk:

  • A — ms-ai-security/ai-security-engineering (3): owasp-llm-top10-azure-mitigations · defender-threat-protection-ai-services · output-validation-grounding-verification. (Deler OWASP/Defender-kilder.)
  • B — ms-ai-governance/responsible-ai (4): content-safety-implementation · responsible-ai-policy-development · stakeholder-communication-ai-decisions · bias-detection-mitigation-strategies.
  • C — ms-ai-governance/monitoring-observability (2): model-performance-drift-detection · response-quality-metrics-rag.
  • D — blandet (2): governance/norwegian-public-sector-governance/copyright-ai-training-data-norway · engineering/agent-orchestration/agent-autonomy-and-control-governance.

2. MEDIUM (33) → release v1.16.4 (vurder splitt)

  • prompt-engineering (13, ms-ai-advisor): few-shot, domain-specific, temperature-sampling, multi-turn, chain-of-thought, regulatory-prompting, grounding-injection, token-optimization, real-time-reasoning, role-playing, structured-output, system-message-design, function-calling. (Stor kohesiv batch.)
  • performance-scalability (9, ms-ai-security): async-processing, response-chunking, perf-benchmarking, throughput, token-per-second, gpu-sizing, concurrent-request, load-testing, batch-api-usage.
  • rag-architecture (5, ms-ai-engineering): streaming-rag, rag-evaluation, self-reflective-rag, rag-hallucination-mitigation, late-chunking.
  • engineering-misc (5): agent-orchestration (2: evaluation-testing, memory-context) · mlops-genaiops (2: model-versioning, feedback-loops) · azure-ai-services (1: speech-speaker-recognition).
  • advisor/platforms (1): azure-ai-foundry (kjernefil — høyere reell verdi enn MEDIUM antyder; vurder å løfte tidlig).

3. LOW (52) → release v1.16.5 (splitt anbefalt, største område først)

  • data-engineering (20, ms-ai-engineering) — størst.
  • api-management (13, ms-ai-engineering).
  • bcdr (10, ms-ai-infrastructure).
  • advisor/architecture (7): ai-utredning-template, regional-availability-verification, migration-patterns, poc-template, licensing-matrix, public-sector-checklist, adr-template. (Templates + kjernefiler — lav drift-risiko, men leses ofte.)
  • rest (2): advisor/development/agent-framework · infrastructure/hybrid-edge/disconnected-ai-scenarios.

KB-refresh FERDIG 2026-06-24: alle tiers (Critical/High/Medium/Low) → 0. Releases v1.16.2 (critical) · v1.16.3 (high) · v1.16.4 (medium) · v1.16.5 (low 52/52). report-changes.mjs = 0 needing-update.

Separate spor (IKKE KB-refresh — egen prioritering)

Disse er kjent fra memory/docs, men ikke re-verifisert denne sesjonen — bekreft status før start:

  • Cosmo-persona — full utfasing (NY, godkjent 2026-06-24, gjøres SIST): se docs/cosmo-removal-brief-2026-06.md. 417 filer / 188 ## For Cosmo-seksjoner + persona-lag (SKILL.md, kommandoer, README, NOTICE, CLAUDE.md). Startet i v1.16.5 (2 filer). Egen plan + versjonsbump.
  • Spor C — kurs/training-deteksjon (C3): C3 Learn Platform API-creds satt opp (se memory c3-learn-platform-api-setup). Neste: faktisk deteksjons-implementasjon.
  • Onboarding-uplift-måling: alt onboarding-maskineri bygget; gjenstår å MÅLE faktisk uplift (memory onboarding-quality-bar).
  • Ref-fil INNHOLDSkvalitet — ikke dekket av Spor D (NY, notert 2026-06-26): Skill-kvalitetsscoringen (scripts/kb-eval/, Spor D, K1-K10 + N1-N5 + refCount) scorer SKILL.md-forfatterkvalitet + ref-filenes STRUKTUR/hygiene — IKKE den substansielle korrektheten/ferskheten i de ~389 ref-filenes innhold. De eneste kriteriene som leser ref-innhold er strukturelle: K8 (kilde-/Verified-header finnes, andel ≥0.80), N3 (ingen nøstede ref→ref-lenker), N4 (TOC i filer >100 linjer), refCount (tall matcher SKILL.md). Substansiell ferskhet dekkes av et SEPARAT system — KB-refresh (report-changes.mjs sitemap-poll: header-dato vs kilde-lastmod → microsoft_docs_fetch + agent-verifisering). Det flagger STALENESS, men gir ingen kvalitets-SCORE og hviler på per-refresh agent-verifisering — det finnes INGEN stående «er dette ref-innholdet korrekt + oppdatert mot Microsoft Learn»-score analogt til 0-100 skill-scoren. Operatøren markerer dette som det VIKTIGSTE å gjøre skikkelig. Neste steg: bekreft ønsket form (utvid Spor D med et content-correctness-kriterium? eget ref-eval-spor? styrke KB-refresh til å produsere en score?) FØR bygging.

Notater

  • Falske positiver er forventet: header-dato < sitemap-lastmod = KANDIDAT, ikke bekreftet drift. Mange LOW/MEDIUM kan vise seg å være header-bump-only (jf. critical-klyngens 2 falske positiver).
  • Tier-grensene er detektor-heuristikk, ikke hellige — løft en kjernefil (f.eks. azure-ai-foundry) tidligere hvis den har reell verdi.