79e34312ea
feat(ms-ai-architect): S1 judge bake-off RESULT — GATE FAIL (recall 68.4% < 80%) [skip-docs]
...
Blind fan-out: 15 batcher Opus 4.8 xhigh, 255 P-påstander dekket (0 missing/dupes/extra),
hver judget mot live MS Learn via microsoft_docs_fetch (judgen så aldri gull-verdict).
Resultat mot forhåndsregistrert gate (recall >=0.80, presisjon >=0.70):
- judge: presisjon 81.3% (PASS), recall 68.4% (FAIL, Wilson [52.5-80.9%]), F1 0.743, 26/38 fanget
- staleness baseline: recall 0/38 (judge slår den desisivt)
- recall-drag konsentrert: sku 37.5%, taxonomy 66.7%; version/status/tpm allerede 80-86%
- 10/12 bommer var grounded-men-feil (brittle dekomponering, isolert til sku/taxonomy)
Per pre-registrert gate: STOPP, bygg IKKE S3. Fork (operatør) registrert i plan-doc:
(a) honorer FAIL, (b) scoped judge, (c) målrettet iterasjon + re-kjør.
2026-06-26 20:45:09 +02:00
3e39f2df6b
feat(ms-ai-architect): S1 judge bake-off harness + forhåndsregistrert gate (TDD) [skip-docs]
...
Deterministisk de-risk-harness for Fase 3-judgen (kjøres på frosset 373-påstands gull-sett):
- lib/judge-bakeoff.mjs: P-filter (volatil+fetchbar, price ekskl.), confusion-matrix
for 3 armer (staleness/judge/hybrid), Wilson-bånd, forhåndsregistrert gate. 14 tester.
- extract-judge-claims.mjs: blind manifest (255 påstander, 0 label-lekkasje — testet invariant).
- judge-claim-prompt.md: blind per-påstands groundedness-judge (Opus xhigh, microsoft_docs_fetch).
- run-judge-bakeoff.mjs: join gull+results på id, gate-rapport (.json/.md).
Gate FORHÅNDSREGISTRERT (operatørvalg, før fan-out): recall ≥0.80, presisjon ≥0.70,
OG slår staleness (0/38). Evalueringspop P = 240 verifiserbare, 38 positive.
Suite 551/551 (538 + 13 nye).
2026-06-26 20:10:58 +02:00
f3836b0cfe
docs(ms-ai-architect): roadmap mål-først — de-risk judge (S1 bake-off) før scaffolding (S3) [skip-docs]
...
Bake-off bruker frosset gull-sett (evidence_url per paastand) -> uavhengig av backfill/frontmatter -> mål judgen FOERST. S3 (backfill+full frontmatter) gated bak S1: judge-spesifikk scaffolding, wasted hvis judgen ikke slaar staleness. S2 (type-tag) judge-uavhengig, kan tas foer/parallelt. Respekterer operatoerens maal-foerst-preferanse.
2026-06-26 17:50:46 +02:00
54b203eae7
docs(ms-ai-architect): fler-sesjons-roadmap etter Fase 0-gaten (S1-S4 kritisk sti + side-spor + Cosmo-resolusjon) [skip-docs]
...
Kritisk sti: S1 type-tag -> S2 backfill+frontmatter -> S3 judge+bake-off -> S4 integrasjon. Side-spor: SH (TOC, 1c foer 1b), S-Cosmo (sist, absorberer advisor-strukturarbeid), S-OKF. Hver sesjon har kjoerbar gate. Cosmo-kollisjon loest: bake-off bruker frosset gull-sett (uavhengig av frontmatter); advisor produksjons-frontmatter folder inn i S-Cosmo. Gating-valg 1 (maal-foerst vs bygg-begge) loest av gaten.
2026-06-26 17:47:56 +02:00
49fd18c6d2
feat(ms-ai-architect): Fase 0 steg 3 — base-rate-rapport + GATE: BYGG Fase 3 (scoped/hybrid) [skip-docs]
...
compute-base-rate.mjs (tynn CLI over testet lib/base-rate.mjs) -> base-rate-report.{json,md}.
373 paastander: verifiserbar feilrate 13,4 % (40/299), Wilson [10,0 %, 17,7 %]; unsourced 19,8 %.
staleness-recall 0/40 = 0 % -> korrekthets-judge er eneste mekanisme som fanger feilene.
Feil konsentrert i fetchbare typer (sku 36 %, version 25 %, tpm 20 %); pris 74 % unsourced -> operatoer-gated.
GATE besluttet i plan-doc: BYGG Fase 3 scoped til fetchbare claim_types (taxonomy/status/version/tpm/sku/region); pris ikke maskinverifiserbar.
2026-06-26 17:15:54 +02:00
6985ed1f5d
feat(ms-ai-architect): Fase 0 steg 2 — verifiserings-fan-out (373 påstander) + gull-sett m/ deterministisk lastmod-join + TDD [skip-docs]
...
15 batcher (Opus 4.8 xhigh, read-only) verifiserte 55 sample-frame-filer mot live
MS Learn (strikt v2 bevis-krav: correct/outdated/wrong krever hentet learn-sitat,
ellers unsourced). 373 påstander: 259 correct, 29 outdated, 11 wrong, 74 unsourced.
40 reelle feil. lastmod_changed joinet i kode (registry sitemap_lastmod vs filens
dato): 0 filer ville staleness-loopen flagget -> alle 40 feil er judge-unike (rå
funn, krever tolkning i base-rate-rapporten). lib/base-rate.mjs (Wilson, lastmod,
aggregering) TDD 15 tester. Suite 538/538. Steg 3 (compute-base-rate + gate) gjenstår.
2026-06-26 15:16:10 +02:00
f7fba5e4e7
feat(ms-ai-architect): Fase 0 steg 1 — deterministisk sample-frame (45 volatil + 10 kontroll) + TDD [skip-docs]
...
Internt Fase 0-måleverktøy (ingen brukervendt flate: ingen ny kommando/agent/skill).
- build-sample-frame.mjs: volatilitets-scorer (K9-grense for stabile identifikatorer)
+ sti-boost (cost-optimization/platforms) + stratifisering (floor + masse-vektet
largest-remainder). Deterministisk, ingen Math.random.
- 14 unit-tester (suite 509 -> 523, alle grønne)
- fase0-sample-frame.json: 55 filer fra 306 sourced-populasjon; oversampler
pris/SKU/TPM/region/versjon/preview-tette filer; kontroll-stratum fra
responsible-ai/npsg/architecture (stabile påstander)
2026-06-26 14:18:53 +02:00
91556a38b5
docs(ms-ai-architect): marker ✅ Verified-trust-hazard LØST ( 83fd9b5) + åpent bump-spørsmål
2026-06-26 12:33:16 +02:00
83fd9b58d3
fix(ms-ai-architect): ✅ Verified → ✅ Documented (tillit-hygiene)
...
Markøren over-påsto ekstern verifisering; faktisk semantikk (per legend i
m365-copilot-plugins-ecosystem.md) er «hentet fra MS Learn via MCP» = Documented.
Smal scope (operatør-besluttet A): de 101 ✅ Verified-konfidens-cellene i 13 filer
+ 5 kolonne-overskrifter (ptu, agent-memory) + skill-gen-taksonomien
(Verified/Baseline/Assumed → Documented/Baseline/Assumed) + licensing-seksjonstittel.
La de 137 plain «Verified»-cellene i 31 kilde-attribusjons-tabeller stå — de peker
på en faktisk kilde i nabokolonnen (proveniens bevart). Suite 509/509.
2026-06-26 12:31:45 +02:00
5cff871c99
docs(ms-ai-architect): noter ✅ Verified-trust-hazard som rest (selv-erklært ≠ eksternt sjekket)
2026-06-26 12:08:24 +02:00
7ec5ac60b8
docs(ms-ai-architect): Fase 0 utførelses-spec (locked) — ~45 filer + kontroll-stratum, registry-inversjon, gull-set-schema
2026-06-26 11:57:32 +02:00
bfc79710c8
feat(ms-ai-architect): insertToc + backfill-toc applier (Fase 1b-verktøy) — store-fil-TOC foldet inn i Cosmo-utfasing
...
1b-premisset (ikke-advisor storfiler er Cosmo-frie, trygt å TOC-e nå) er
motbevist mot ground truth: 11/12 har en `## …Cosmo…`-overskrift → en TOC
bygget fra `##`-overskriftene ville emittert ny Cosmo-anker (bryter «aldri
ny Cosmo-innhold»), og å nøytralisere overskriften er selve persona-fjerningen
(ikke en sidehandling — scope-guard). Store-fil-TOC (de 20 filene >800 linjer,
advisor + ikke-advisor) folder derfor inn i Cosmo-utfasingen. Denne committen
leverer kun det gjenbrukbare verktøyet; ingen ref-filer rørt.
- transform.insertToc: retrofitter `## Innhold` i en eksisterende storfil rett
før første ikke-fence `## `-seksjon (samme slot som composeKbFile), robust mot
de 3 legacy-header-variantene (med/uten `---`), idempotent, fence-aware.
- scripts/kb-update/backfill-toc.mjs: dry-run/--write applier (ren glue rundt
insertToc; transform.mjs forblir write-fri — arkitektur-invariant).
- docs/cosmo-removal-brief: «Sammenfall»-seksjon dokumenterer fold-inn + bruk.
- TDD: +6 transform-tester. Suite 509/509 (kb-update 355 + kb-eval 154).
2026-06-26 11:43:30 +02:00
2240f1efdd
feat(ms-ai-architect): generator-anti-regresjon Fase 1c — composeKbFile + TOC-gate
...
Nye ref-filer fodes best-practice-konforme sa neste KB-update ikke
reverserer TOC-arbeidet (write-path-regresjon). MA fore 1b.
- buildToc(body): deterministisk ## Innhold fra ##-seksjoner, GitHub-slugs,
fence-aware, idempotent (lister aldri seg selv)
- composeKbFile(meta, body): generatoren — header + (store filer >100 linjer) TOC
+ brodtekst; erstatter bar buildKbHeader+body-konkatenering
- validateKbFile: stor fil uten TOC -> missing:['toc'] (write-path-gaten)
- Terskel 100 speiler eval.mjs N4_LARGE_FILE_LINES; bundet atferdsmessig via
test som importerer ekte checkN4 (anti-regresjons-orakel), ikke cross-import
- Wiret composeKbFile inn i transform-prompt.md + kb-update.md (create + in-place)
TDD: +11 transform-tester. kb-update 349/349, kb-eval 154/154 (503 totalt).
Fikset pre-eksisterende skjor assertion i criterion-testen (stale
'Azure AI Foundry' -> 'AI Foundry'; produktet omdopt) — var rod for 1c.
2026-06-26 10:59:40 +02:00
89eccf8881
docs(ms-ai-architect): Fase 1a A+B levert, C utsatt → Cosmo (roadmap-fangst)
...
Marker A (sitemap-prefiks 18→23) + B (skjemaløs URL-ekstraksjon) som levert
i workflow-planen med bevist effekt (21/24 rescued, +19 ekstraherbare).
Endring C (redirect-følging, 44 legacy m365-copilot + 3 omdøpte) foldet inn i
Cosmo-utfasingen — 20/21 filer er advisor, redigeres uansett der; root-cause
citat-fiks via ekte redirect-resolusjon (slug-rename verifisert). Registry-
refresh utsatt til neste kadens. Operatør-beslutninger 2026-06-26.
2026-06-26 10:34:48 +02:00
e74646d395
fix(ms-ai-architect): registry-herding Fase 1a — +5 sitemap-prefiks + skjemaløs URL-ekstraksjon
...
Update-mekanismen lot siterte URL-er stå som not_in_sitemap fordi deres docset
aldri ble pollet, og skjemaløse citater (tabellceller: bare learn.microsoft.com/...
uten https://) ble aldri ekstrahert.
- Taxonomy: +5 docsets (graph, ai-builder, power-apps, power-automate,
microsoftsearch) — hver ett child-sitemap, verifisert live mot indeksen.
Bevist: 21/24 not_in_sitemap-URL-er i disse docsetene blir nå tracked.
- url-normalize: extractUrls fanger skjemaløse citater-med-sti (krever /path
etter domenet → avviser bare-domene-prosa og JSON-eksempler); normalizeUrl
kanonikaliserer scheme til https. Bevist: +19 nye URL-er ekstraherbare.
- Bugfix: backtick fra inline-kode-citat (`learn.microsoft.com/...`) lekket inn
i URL-en — ekskludert i regex + trailing-strip.
TDD: tests/kb-update/test-url-normalize.test.mjs (ny, 14) + test-taxonomy
prefiks-count 18→23 + Fase 1a-assertion. Full suite 338/338, 0 regresjon.
Registry-refresh (build-registry --merge + poll) bevisst utsatt — unngår
552KB re-order-churn; effekten er empirisk verifisert read-only.
2026-06-26 10:15:46 +02:00
6ae0ed5821
docs(ms-ai-architect): reconcile ref-KB named/folder-premiss — 169/220/0 autoritativt
...
ref-file-audit.py re-kjørt: reproduserbart 169 navngitt / 220 mappe / 0 orphans.
Workflow-akse-1s 151/238 var et ikke-reproduserbart engangsanslag (strammere
named-heuristikk) — forkastet. Immaterielt: intet tiltak kjører på named/folder-
grensen, kun «0 orphans» (begge enige). Lukker reconcile-flagget i plan + notat.
2026-06-26 10:15:46 +02:00
d98cce371a
docs(ms-ai-architect): gjennomtenkt plan for ref-fil-kvalitet + workflow (Fase 0-4, gated)
...
Fase 0 (gull-testsett/base-rate) gater korrekthets-bygging; Fase 1 trygge grep
(registry-herding + TOC + generator-anti-regresjon); Fase 2 minimal type-tag;
Fase 3 #2-på-#3-judge betinget; Fase 4 integrasjon. OKF-brief: full pakke for
second brain + følg standarden (operatør-direktiv).
2026-06-26 01:02:15 +02:00
1ed6efe3b0
docs(ms-ai-architect): ref-KB retningsnotat (mål-først, #2-på-#3) + OKF second-brain brief
...
Ref-KB-korrekthet: dynamic-workflow-analyse (5 akser + adversariell kritiker) →
mål base-rate FØR bygging; hvis judge, #2 på #3s substrat, aldri #1 . OKF holdes
UTENFOR skill-refs — reservert brukerens second brain (egen brief, scope-grense).
2026-06-26 00:47:07 +02:00
5d1ff620be
docs(ms-ai-architect): ref-KB audit — verifisert ground truth + reproduserbart audit-skript
...
Read-only audit av 389 ref-filer: 0 ekte orphans (mappe-referanse), 6 ekte
datoløse, median 481 linjer (183 >500), 34 header-varianter, 21% uten kilde-URL.
Spor D-scorer 91-96 (struktur sunn) — innholdskorrekthet er den umålte aksen.
Beslutningsnotat for retning genereres separat.
2026-06-26 00:25:39 +02:00
fe0bc9a648
docs(ms-ai-architect): noter ref-fil innholdskvalitet-gap i backlog — Spor D scorer struktur/hygiene (K8/N3/N4/refCount), ikke substansiell korrekthet mot MS Learn; 3 retningsvalg å avklare før bygging
2026-06-26 00:12:04 +02:00
7c41e20d7f
docs(ms-ai-architect): planlegg Cosmo-persona-utfasing (brief + backlog) — godkjent 2026-06-24, gjøres sist; KB-refresh markert ferdig (alle tiers 0)
2026-06-24 14:00:37 +02:00
9e94f37635
chore(release): v1.16.5 — KB-refresh LOW-tier (52 filer): agent-framework full-omskriving (ekte SDK) + norsk AI Act mykgjort + Fabric/APIM/BCDR-drift + Cosmo-utfasing startet (low 52→0)
2026-06-24 13:58:11 +02:00
51cb1b7f22
docs(ms-ai-architect): KB-refresh LOW 52/52 — disconnected-ai-scenarios: TRYGT (disconnected containers/commitment tier re-verifisert 2026-06-24, header-bump) + fjernet For-Cosmo
2026-06-24 13:54:37 +02:00
13ff4813a3
docs(ms-ai-architect): KB-refresh LOW 51/52 — agent-framework: full API-omskriving (fabrikkert azure.ai.agent → ekte agent-framework SDK, verifisert mot MS Learn 2026-06-24) + fjernet For-Cosmo
2026-06-24 13:54:37 +02:00
2b0d37f370
docs(ms-ai-architect): KB-refresh LOW 50/52 — adr-template: TRYGT (PTU/EUDB/data residency re-verifisert, header-bump)
2026-06-24 13:36:33 +02:00
00af7de1b1
docs(ms-ai-architect): KB-refresh LOW 49/52 — public-sector-checklist: AI Act norsk ikrafttredelse mykgjort (forsinket, 2 steder) + header/footer-bump
2026-06-24 13:36:33 +02:00
e5351c0eb1
docs(ms-ai-architect): KB-refresh LOW 48/52 — licensing-matrix: TRYGT (AI Builder-retirement/Copilot Credits/E7 re-verifisert, header-bump)
2026-06-24 13:36:33 +02:00
7022d622e2
docs(ms-ai-architect): KB-refresh LOW 47/52 — poc-template: TRYGT (header-bump + fjernet 2026-01-XX placeholder)
2026-06-24 13:36:32 +02:00
fc40e4e9e5
docs(ms-ai-architect): KB-refresh LOW 46/52 — migration-patterns: seksjon 6 korrigert (Agent Framework = egen SDK agent-framework, ikke SK-namespace) + Copilot Credits + api_version
2026-06-24 13:36:32 +02:00
a306993f62
docs(ms-ai-architect): KB-refresh LOW 45/52 — regional-availability-verification: TRYGT (Norway East/Sweden Central-tabeller re-verifisert mot live MS Learn, header-bump)
2026-06-24 13:36:32 +02:00
8d52d582b2
docs(ms-ai-architect): KB-refresh LOW 44/52 — ai-utredning-template: AI Act norsk lov-tidslinje mykgjort (forsinket pga EØS) + Foundry URL ai-studio→foundry
2026-06-24 13:36:32 +02:00
f7168c2c21
docs(ms-ai-architect): KB-refresh LOW 43/52 — backup-recovery-strategies-ai-workloads: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:41 +02:00
95f49aaedb
docs(ms-ai-architect): KB-refresh LOW 42/52 — compliance-requirements-bcdr: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:41 +02:00
5ddd2c0a47
docs(ms-ai-architect): KB-refresh LOW 41/52 — state-management-failover: la til Azure Cache for Redis retirement-notis (migrer til Azure Managed Redis)
2026-06-24 13:17:41 +02:00
c1894afbab
docs(ms-ai-architect): KB-refresh LOW 40/52 — network-resilience-patterns-ai: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:41 +02:00
6c94159f29
docs(ms-ai-architect): KB-refresh LOW 39/52 — ai-foundry-disaster-recovery-planning: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:41 +02:00
da473f057b
docs(ms-ai-architect): KB-refresh LOW 38/52 — data-replication-patterns-ai: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:41 +02:00
7b5a97d886
docs(ms-ai-architect): KB-refresh LOW 37/52 — incident-response-ai-systems: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:41 +02:00
4154f7d17e
docs(ms-ai-architect): KB-refresh LOW 36/52 — multi-region-azure-openai-deployment: fikset BCDR-ref-URL (foundry-classic→ai-foundry/openai BCDR)
2026-06-24 13:17:40 +02:00
dc3bfc2af4
docs(ms-ai-architect): KB-refresh LOW 35/52 — rto-rpo-planning-ai-services: fikset BCDR-ref-URL (foundry-classic→ai-foundry/openai BCDR)
2026-06-24 13:17:40 +02:00
7731bfba09
docs(ms-ai-architect): KB-refresh LOW 34/52 — geo-redundancy-azure-ai-search: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 13:17:40 +02:00
67729152fd
docs(ms-ai-architect): KB-refresh LOW 33/52 — apim-authentication-oauth-managed-identity: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 12:15:38 +02:00
564f473409
docs(ms-ai-architect): KB-refresh LOW 32/52 — versioning-ai-api-endpoints: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 12:15:38 +02:00
b098936291
docs(ms-ai-architect): KB-refresh LOW 31/52 — request-response-transformation-ai: la til unified model API (Preview) facade-notis
2026-06-24 12:15:38 +02:00
b600d84adb
docs(ms-ai-architect): KB-refresh LOW 30/52 — multi-region-ai-gateway-design: multi-region kun Premium (classic) (Premium v2 ikke), score-threshold 0.9→0.15
2026-06-24 12:15:38 +02:00
e1b42609d5
docs(ms-ai-architect): KB-refresh LOW 29/52 — apim-vs-direct-access-comparison: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 12:15:38 +02:00
e2354ad1e6
docs(ms-ai-architect): KB-refresh LOW 28/52 — apim-azure-front-door-ai: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 12:15:38 +02:00
e819152d18
docs(ms-ai-architect): KB-refresh LOW 27/52 — backend-pool-management: TRYGT (innhold verifisert gjeldende, header-bump)
2026-06-24 12:15:37 +02:00
451f1e6a2e
docs(ms-ai-architect): KB-refresh LOW 26/52 — security-hardening-ai-gateway: llm-content-safety syntaks (text-blocklist-ids→blocklists, shield-prompt, element-rekkefølge)
2026-06-24 12:15:37 +02:00
a05d238eba
docs(ms-ai-architect): KB-refresh LOW 25/52 — developer-portal-ai-apis: Developer Portal nå i alle v2-tiers (Basic v2 inkludert), kun Consumption mangler
2026-06-24 12:15:37 +02:00
