refactor(ms-ai-architect): R14 — persona ut av plugin-flaten, og de seks stedene som produserte den
Nøytral arkitekt-ramme (ratifisert 15.09) i SKILL.md-ene, 23 kommandoer, 70 redaksjonelle forekomster i ref-korpuset, README/CLAUDE.md/NOTICE og A11Y-rapportens proveniens-linje. Hver av de 70 avgjort i kontekst: dialog fikk ny taler, proveniens ny opphavspåstand. Ordren navnga fem produsent-steder; den live sjette manglet. `PROMPT_TEMPLATE` settes i generate-skills.sh:27 og leses ALDRI — prompten er en heredoc i samme script. Å rette bare prompt-template.md ville latt generatoren re-minte personaen ved neste KB-kjøring. Ny G4-klausul i check-cosmo-gate.mjs: persona i leveranseflaten = 0, derivasjonsregisteret pinnet per fil PÅ TALL (et filnavn-unntak er blindt for hva fila senere inneholder). Registeret utvidet med README.md 3 — versjonstabellens rader er historikk, ikke leveranse. Den ene genitiv-formede produktlinja adjudiseres på cosmos-db-URL-en i samme rad; regelen er målt lukket (8 tvetydige linjer totalt, 33 URL-linjer, 2 persona-klassifiserte, begge produkt) og hvitvasker ikke bar `Cosmo`. classifyCosmo urørt — baselinene hviler på den. R3 godtar nå R14-utført (0) men ingenting imellom: et halvveis sveip felles fortsatt. Bevis: gate PASSED + NETTET VALIDERT BEGGE VEIER · 1137/1137 · validate-plugin 250/0/0 · begge --dry-drivere 0 · Layer B 45/45 OK (kjent-positiv feller, exit 1). Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
1c9af82daa
commit
ced0c5f46d
80 changed files with 400 additions and 152 deletions
|
|
@ -609,7 +609,7 @@ Pricing not publicly disclosed — contact Microsoft for quote
|
|||
|
||||
**Steg 1: Kartlegg risiko**
|
||||
|
||||
*Cosmo:* "La oss starte med å forstå risikoprofilen. Hvilken type AI-system planlegger dere?
|
||||
*Arkitekten:* "La oss starte med å forstå risikoprofilen. Hvilken type AI-system planlegger dere?
|
||||
- User-facing chatbot?
|
||||
- Internal copilot?
|
||||
- AI agent med tool access?
|
||||
|
|
@ -617,7 +617,7 @@ Pricing not publicly disclosed — contact Microsoft for quote
|
|||
|
||||
**Steg 2: Identifiser angrepsflater**
|
||||
|
||||
*Cosmo:* "Based på beskrivelsen, ser jeg følgende angrepsflater:
|
||||
*Arkitekten:* "Based på beskrivelsen, ser jeg følgende angrepsflater:
|
||||
- **User prompts:** Direkte jailbreak-forsøk fra brukere
|
||||
- **Documents:** Indirect prompt injection via eksterne dokumenter
|
||||
- **Tool outputs:** XPIA via agent tool calls
|
||||
|
|
@ -626,7 +626,7 @@ Jeg anbefaler følgende defense-in-depth arkitektur: [vis Pattern 1 diagram]"
|
|||
|
||||
**Steg 3: Velg security controls**
|
||||
|
||||
*Cosmo:* "For deres use case anbefaler jeg:
|
||||
*Arkitekten:* "For deres use case anbefaler jeg:
|
||||
|
||||
**Tier 1 (Must-have):**
|
||||
- Prompt Shields (user + document attacks)
|
||||
|
|
@ -646,7 +646,7 @@ Estimert kostnad: ~8,700 NOK/måned. Er dette innenfor budsjettet?"
|
|||
|
||||
**Steg 4: Design red teaming strategy**
|
||||
|
||||
*Cosmo:* "For continuous security validation, anbefaler jeg:
|
||||
*Arkitekten:* "For continuous security validation, anbefaler jeg:
|
||||
|
||||
**Pre-deployment:**
|
||||
- Run Azure AI Red Teaming Agent med 100+ attacks
|
||||
|
|
@ -693,25 +693,25 @@ Kan jeg hjelpe med å sette opp CI/CD integration?"
|
|||
|
||||
*Problem:* "Vi setter opp content filters på output, det holder vel?"
|
||||
|
||||
*Cosmo:* "Nei — det er for sent. Hvis en prompt injector får modellen til å generere ondsinnede tool calls, er skaden skjedd før output filtering. Bruk defense-in-depth: Prompt Shields på input + safety meta-prompts + output filters."
|
||||
*Arkitekten:* "Nei — det er for sent. Hvis en prompt injector får modellen til å generere ondsinnede tool calls, er skaden skjedd før output filtering. Bruk defense-in-depth: Prompt Shields på input + safety meta-prompts + output filters."
|
||||
|
||||
**Pitfall 2: One-time testing**
|
||||
|
||||
*Problem:* "Vi kjørte red teaming før launch, trenger ikke mer testing?"
|
||||
|
||||
*Cosmo:* "Models og attack vectors evolves. En gang-testing gir false sense of security. Implementer continuous red teaming (monthly) + real-time monitoring. DORA krever også periodic resilience testing."
|
||||
*Arkitekten:* "Models og attack vectors evolves. En gang-testing gir false sense of security. Implementer continuous red teaming (monthly) + real-time monitoring. DORA krever også periodic resilience testing."
|
||||
|
||||
**Pitfall 3: Ignorer indirect attacks (XPIA)**
|
||||
|
||||
*Problem:* "RAG system med eksterne docs — kun testet user prompts?"
|
||||
|
||||
*Cosmo:* "Kritisk gap! Indirect prompt injection via documents er en stor risikoflate. Attackers kan embedde hidden instructions i PDFs, emails, websites. Enable Prompt Shields for Documents + test med Azure AI Red Teaming Agent's XPIA scenarios."
|
||||
*Arkitekten:* "Kritisk gap! Indirect prompt injection via documents er en stor risikoflate. Attackers kan embedde hidden instructions i PDFs, emails, websites. Enable Prompt Shields for Documents + test med Azure AI Red Teaming Agent's XPIA scenarios."
|
||||
|
||||
**Pitfall 4: Over-reliance på ASR metric**
|
||||
|
||||
*Problem:* "ASR = 2%, vi er sikre?"
|
||||
|
||||
*Cosmo:* "ASR er en proxy metric, ikke garanti. Den dekker kjente attack patterns, ikke zero-days. Supplement med:
|
||||
*Arkitekten:* "ASR er en proxy metric, ikke garanti. Den dekker kjente attack patterns, ikke zero-days. Supplement med:
|
||||
- Manual red teaming (creative attacks)
|
||||
- Domain-specific risk scenarios
|
||||
- Real-world monitoring (Defender for AI)
|
||||
|
|
|
|||
|
|
@ -531,7 +531,7 @@ Basert på testing (Azure OpenAI dokumentasjon):
|
|||
| **inScope=false** | Modellen hallusinerer ved siden av grounding data | Sett `inScope=true` for compliance-domener |
|
||||
| **Manglende citation** | Ikke mulig å verifisere svar | Bruk `"type": "CONTENT"` citation pattern i API |
|
||||
|
||||
*(Confidence: HIGH — Basert på Azure OpenAI best practices og Cosmo's erfaring)*
|
||||
*(Confidence: HIGH — Basert på Azure OpenAI best practices og arkitekturpraksis)*
|
||||
|
||||
### Anbefalte verktøy
|
||||
|
||||
|
|
@ -591,5 +591,5 @@ Basert på testing (Azure OpenAI dokumentasjon):
|
|||
|
||||
---
|
||||
|
||||
**Generert av:** Cosmo Skyberg (AI Architect) via MCP-research
|
||||
**Generert av:** AI Architect-pluginen via MCP-research
|
||||
**Neste review:** 2026-08 (6 måneder) eller ved major Azure OpenAI API update
|
||||
|
|
|
|||
|
|
@ -546,6 +546,6 @@ Denne kunnskapsreferansen er basert på offisiell Microsoft Learn-dokumentasjon
|
|||
- **Integrasjon med Microsoft-stakken:** Verified (MCP + baseline)
|
||||
- **Offentlig sektor (Norge):** Baseline (legal/compliance-kunnskap + Azure docs)
|
||||
- **Kostnad og lisensiering:** Baseline (pricing estimert, lisensiering verifisert via MCP)
|
||||
- **For arkitekten:** Baseline (erfaring + Cosmo-persona)
|
||||
- **For arkitekten:** Baseline (erfaring + arkitekturpraksis)
|
||||
|
||||
**Merk:** Priser er omtrentlige og basert på global Azure-prising. Faktiske norske priser kan variere og må verifiseres i Azure Portal eller via Microsoft-representanter.
|
||||
|
|
|
|||
|
|
@ -763,7 +763,7 @@ Kritisk: Compliance-features koster minimalt, men gir juridisk trygghet
|
|||
|
||||
**Når kunde sier:** "Vi trenger en chatbot for kundeservice."
|
||||
|
||||
**Cosmo spør:**
|
||||
**Arkitekten spør:**
|
||||
|
||||
1. "Håndterer chatboten personopplysninger? (navn, e-post, tlf?)"
|
||||
- Hvis ja → PII detection pipeline obligatorisk
|
||||
|
|
@ -780,7 +780,7 @@ Kritisk: Compliance-features koster minimalt, men gir juridisk trygghet
|
|||
|
||||
**Når kunde sier:** "Er ikke Azure OpenAI GDPR-compliant by default?"
|
||||
|
||||
**Cosmo forklarer:**
|
||||
**Arkitekten forklarer:**
|
||||
|
||||
"Ja, Azure OpenAI er GDPR-compliant, MEN:
|
||||
- Standard deployment kan prosessere data globalt (hvis 'Global' type)
|
||||
|
|
@ -790,7 +790,7 @@ Kritisk: Compliance-features koster minimalt, men gir juridisk trygghet
|
|||
|
||||
**Når kunde sier:** "Vi kan ikke vente på Microsoft approval for abuse monitoring opt-out."
|
||||
|
||||
**Cosmo forklarer:**
|
||||
**Arkitekten forklarer:**
|
||||
|
||||
"Du kan starte med abuse monitoring ON (default):
|
||||
- Microsoft reviewer kun flagged content (algorithms + AI models first, humans if severe)
|
||||
|
|
@ -937,4 +937,4 @@ Før produksjonsdeploy, gjennomfør en 2-dagers compliance sprint:
|
|||
|
||||
**Ansvarsfraskrivelse:**
|
||||
|
||||
> Denne referansen er teknisk veiledning, IKKE juridisk rådgivning. For GDPR/EU AI Act compliance, konsulter alltid en kvalifisert jurist eller personvernombud. Cosmo er teknisk arkitekt, ikke advokat. Regulatory tolkning varierer per organisasjon og jurisdiksjon.
|
||||
> Denne referansen er teknisk veiledning, IKKE juridisk rådgivning. For GDPR/EU AI Act compliance, konsulter alltid en kvalifisert jurist eller personvernombud. Rådgivningen her er teknisk arkitektur, ikke juss. Regulatory tolkning varierer per organisasjon og jurisdiksjon.
|
||||
|
|
|
|||
|
|
@ -597,5 +597,5 @@ Break-even requests/måned: $1,224 / $0.00036 = 3.4M requests
|
|||
|
||||
---
|
||||
|
||||
**Sist oppdatert av Cosmo Skyberg, Microsoft AI Solution Architect**
|
||||
**Sist oppdatert av AI Architect-pluginen**
|
||||
*For spørsmål om token-optimalisering i din løsning, start en arkitektursesjon med `/architect`.*
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue