docs(n-bundlene): P4 -- one free N100 run after the P3 fix, (b') is now yes
The live N100 arm without --require-cost-baseline lands the model on the
fasit concept: req_number ("Krav 3.3.1--13") is cited verbatim in 6 of 6
replies, and it is the correct concept, not a stray one. N100 reaches
po's own "ferdig" bar for the first time in this measurement series.
[skip-docs]
This commit is contained in:
parent
2453246d4b
commit
4f23fa2a70
1 changed files with 130 additions and 0 deletions
|
|
@ -597,3 +597,133 @@ eksplisitt `--require-cost-baseline`-armen som den ENE betalte kjøringen); det
|
|||
navngir `--require-cost-baseline` som den ene betalte kjøringen, og en fri kjøring ville vært
|
||||
en ny, ubedt betalt handling.
|
||||
|
||||
## 11. P4 (ordre `20260908T151403Z`) — den frie N100-armen, ETTER fiksen: (b′) = JA
|
||||
|
||||
PM-valg 08.09 15:14Z, på § 6 punkt 4 og § 10.7 funn 8s egen anbefaling: funn 8s hull lukkes med
|
||||
ÉN betalt, flaggfri N100-kjøring. Ingen `src/`-endring; ny kjørefil KUN i `scratchpad/`
|
||||
(`live_p4_free.py`, en kopi av `live_nbundler_p2.py`s frie arm med eget run-id/filnavn, for å ikke
|
||||
overskrive P2s eksisterende `n100-free-*`-evidens).
|
||||
|
||||
### 11.1 Repro (steg 1, gratis)
|
||||
|
||||
```python
|
||||
>>> len(json.load(open("scratchpad/nbundler-p2/payload-n100.json"))["excerpts"])
|
||||
14 # medlemmer i excerpts[0], uendret
|
||||
```
|
||||
|
||||
```
|
||||
--- BEGIN DATA krav/N100/id-4b61eee9-…-c15a (adjudication: unknown, trust_tier: unverified,
|
||||
req_number: Krav 3.3.1—13, title: Krav 3.3.1—13 H1 – Nasjonal hovedveg, ÅDT < 6 000 og
|
||||
fartsgrense 80 km/t, source: https://viewers.vegnorm.vegvesen.no/api/nisosts/859984?…
|
||||
```
|
||||
|
||||
`req_number` og `title` står ORDRETT på `BEGIN DATA`-avgrenserens EGEN linje (§ 7 funn 6: målt her
|
||||
på avgrenseren, ikke på hele prompten, som § 7 selv advarte var konfundert).
|
||||
|
||||
**Klientprobe FØR armen, begge env-variabler satt:** `PORTFOLIO_FOUNDRY_PROJECT_ENDPOINT` (utledet
|
||||
INLINE fra `az cognitiveservices account show --name po-foundry-ktg --resource-group
|
||||
portfolio-optimiser-rg`, PROSJEKT-formen `…/api/projects/po-project`) + `PORTFOLIO_FOUNDRY_DEPLOYMENT`
|
||||
= `gpt-4-1-mini`. `uv run pytest tests/test_foundry_profile_live.py -q` → **1 passed** (ikke skippet).
|
||||
|
||||
### 11.2 Den betalte kjøringen
|
||||
|
||||
`uv run --with tiktoken python scratchpad/nbundler-p2/live_p4_free.py`, profil `azure`,
|
||||
`gpt-4-1-mini`, `PACE_SECONDS=2`, `PORTFOLIO_MODEL_MAP=scratchpad/major2-live/model_map.json`,
|
||||
`--run-id p4-n100-free`, UTEN `--require-cost-baseline` og UTEN `--derive-cost-baseline`. Rå
|
||||
resultat:
|
||||
|
||||
```
|
||||
KJENT-POSITIV n100: navigate_bundle=446 (fasit 446) OK
|
||||
rang 1 = krav/N100/id-4b61eee9-…-c15a req_number='Krav 3.3.1—13'
|
||||
===== ARM p4-n100-free (rc=0) =====
|
||||
N100: Rejection (no expert verdict given; verdict key=ca7cd8e99c6cc2d9)
|
||||
proposal review offered, never consulted (no candidate validated)
|
||||
--- ledger ---
|
||||
checker prompter=1 in=4693 out=99
|
||||
proposer prompter=5 in=10716 out=648
|
||||
prompter totalt: 6 429-retries: 0
|
||||
```
|
||||
|
||||
**rc=0, 6 modellkall (5 proposer, 1 checker), ingen 429.** `--proposal-review` var satt (skriptet
|
||||
manus svarer `approve` på hvert spørsmål, uten at noe forslag noensinne når validatoren — checkeren
|
||||
avviste ikke, men ingen kandidat ble VALIDERT, se § 11.4).
|
||||
|
||||
### 11.3 Modellsvarene, ordrett (utdrag)
|
||||
|
||||
Proposer, forsøk 1:
|
||||
> A concrete cost-saving measure for the N100 project could be: **Avoid planskilt (grade-separated)
|
||||
> crossings between pedestrian/cycle paths and roads when the ÅDT (Average Daily Traffic) is 4,000
|
||||
> or less.** Rationale based on **Krav 3.3.1—13** from the N100 knowledge base: The requirement
|
||||
> states that "Eventuell kryssing mellom gang- og sykkelveg og veg skal være planskilt ved
|
||||
> ÅDT > 4 000." …
|
||||
|
||||
Checker:
|
||||
> The N100 excerpt **Krav 3.3.1—13** clearly states that crossing between pedestrian/bicycle paths
|
||||
> and roads must be grade separated (planskilt) only if ÅDT > 4,000. … VERDICT: APPROVE
|
||||
|
||||
### 11.4 (b′)/(a)/(c) — med nevner, samme rader som § 5
|
||||
|
||||
| | N100 (P4, fri, ETTER fiksen) |
|
||||
|---|---|
|
||||
| `req_number` (`Krav 3.3.1—13`) ordrett | **6 av 6 svar** |
|
||||
| `title` ordrett (hele strengen) | 0 |
|
||||
| fasit-`concept_id` ordrett | 0 |
|
||||
| `source_element_id` som eget felt | 0 |
|
||||
| `resource`-URL/`nisosts` | 0 |
|
||||
| leverte konsepter navngitt i det hele tatt | **1 av 8 — OG DET ER FASIT-KONSEPTET** (ulikt P2s N200/N500, hvor det navngitte konseptet IKKE var fasit) |
|
||||
| **(b′)** | **JA** |
|
||||
|
||||
| | N100 (P4) |
|
||||
|---|---|
|
||||
| fasit-setningen ORDRETT (`"Eventuell kryssing … ÅDT > 4 000."`) | **1 gang** (proposer, forsøk 1) |
|
||||
| `planskilt` / `ÅDT` / `4 000`-formet tall | 10 / 10 / 11 |
|
||||
| **(a)** | **JA** |
|
||||
|
||||
| | N100 (P4) |
|
||||
|---|---|
|
||||
| kravnummer-formede tokens i svaret UTOVER `Krav 3.3.1—13` | **0** (regex `Krav\s+[\d.]+—\d+` finner ETT distinkt token på tvers av alle 6 svar) |
|
||||
| tall i prosa som ikke er i det leverte | 0 (`4,000`/`4 000` er samme fasit-tall, engelsk tusenskille — § 5c-instrumentfeilen gjentatt, ikke en ny hallusinasjon) |
|
||||
| konsept-id-referanser som ikke er levert | 0 |
|
||||
| **(c)** | **0** |
|
||||
|
||||
**Kjent-negativ for instrumentet, kjørt FØR dommen:** samme spørring (`"Krav 3.3.1—13"` i teksten)
|
||||
mot P2s `n100-free-records.json` (FØR fiksen, 6 svar) gir **0** — spørringen er ikke konfundert.
|
||||
|
||||
**Det strukturerte forslaget dikter fortsatt opp kostkoder** (`CS-GS1`, `planSkiltCrossing`,
|
||||
`GRD-CRS-01` — ingen finnes i basen), av samme strukturelle grunn som § 5c: ingen baseline, og
|
||||
`--derive-cost-baseline` ble bevisst IKKE brukt her (ordrens scope). Uendret funn, ikke en ny defekt.
|
||||
|
||||
**«Ferdig»-raden for N100, etter § 6-definisjonen:** (a) JA · (b′) **JA** (var NEI i P1/P2) ·
|
||||
(c) 0. **N100 = FERDIG.** Første gang en av de tre N-bundlene når «ferdig» i po sin hypoteseform —
|
||||
P3s fiks var det som gjorde det nåbart, og denne kjøringen er beviset på at det ER nådd, ikke bare
|
||||
at koden er riktig offline.
|
||||
|
||||
**Er (b′) MODELL-dom, ikke po-dom:** feltet sto i DATA-avgrenseren (§ 11.1); at modellen faktisk
|
||||
brukte det — siterte `req_number` ordrett i 6 av 6 svar, og bygde hypotesen på nøyaktig det
|
||||
kravet fasiten peker på — er noe modellen gjorde, ikke noe po garanterte. Oppgaven prompten stiller
|
||||
er fortsatt A-formens hardkodede `"Find a cost-saving measure for {project.id}."`
|
||||
(`run.py:1243`, § 6 «Hvem eier hva») — ikke et spørsmål om Krav 3.3.1—13 spesifikt; at modellen
|
||||
likevel fant og navnga akkurat det kravet, i et kutt på 8 av 446, er dømmekraft utenfor det po kan
|
||||
ta æren for.
|
||||
|
||||
### 11.5 Kostnad
|
||||
|
||||
Samme listepris som § 5d (input NOK 0,003734/1K, output NOK 0,014936/1K):
|
||||
|
||||
| Kjøring | Prompter | Input | Output | NOK |
|
||||
|---|---:|---:|---:|---:|
|
||||
| N100 (P4, fri) | 6 | 15 409 | 747 | 0,069 |
|
||||
| klientprobe | 1 | ~20 | ~5 | ~0,000 |
|
||||
| **SUM** | **7** | **15 429** | **752** | **NOK 0,07** |
|
||||
|
||||
**NOK 0,07 — under ordrens tak på NOK 0,25. 429-svar: 0.**
|
||||
|
||||
### 11.6 Funn — rapportert, ikke fikset
|
||||
|
||||
9. **Ingen nytt funn som okf eier.** Utdraget bar begge feltene korrekt (§ 11.1); at modellen brukte
|
||||
dem er en modell-egenskap, ikke en utdragsform-defekt. Ingen `coord-send` til llm-ingestion-okf.
|
||||
10. **`--proposal-review` fikk ingen kandidat å vise** — checkeren avviste aldri, men heller ingen av
|
||||
de fem proposer-forsøkene ble VALIDERT av den deterministiske validatoren (ingen baseline, se
|
||||
§ 11.4s kostkode-funn), så reviewer-døra sto åpen uten noe å spørre om. Uendret struktur fra
|
||||
P1/P2, ikke en ny defekt.
|
||||
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue