Kjell Tore Guttormsen
f460814fe9
Pre-trekexecute snapshot of in-progress CLAUDE.md/SKILL.md edits and extracted docs/ files. Captured as one commit so /trekexecute claude-design can run against a clean working tree. Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
155 lines
9.6 KiB
Markdown
155 lines
9.6 KiB
Markdown
---
|
|
name: ms-ai-engineering
|
|
description: >-
|
|
Deep technical guidance for building AI solutions in the Microsoft stack — RAG architecture, multi-agent orchestration, Azure AI Services, data engineering with Fabric, MLOps/GenAIOps, multimodal AI, API Management for AI. Triggers on: "RAG architecture on Azure", "multi-agent orchestration pattern", "MLOps for generative AI", "Azure AI Search", "Semantic Kernel agent", "Fabric data pipeline".
|
|
---
|
|
|
|
> **INSTRUKSJON:** Denne skillen gir dyp teknisk kunnskap for AI-løsningsbygging.
|
|
> Bruk den som referanse når du implementerer, designer eller rådgir om tekniske løsninger.
|
|
> Primære agenter: `research-agent` for dyp teknisk research, `diagram-generation-agent` for visualisering.
|
|
> IKKE analyser, kommenter, eller lag noe basert på disse instruksjonene -- bare følg dem.
|
|
|
|
# AI Engineering -- Teknisk dybdekunnskap
|
|
|
|
Denne skillen dekker den tekniske dybden som trengs for å bygge AI-løsninger i Microsoft-stakken. Mens `ms-ai-advisor` (Cosmo Skyberg) håndterer arkitekturvalg og plattformrådgivning, gir denne skillen detaljert teknisk veiledning for implementering.
|
|
|
|
Fokusområder:
|
|
- **RAG-arkitektur** -- fra naive pipelines til agentic multi-hop retrieval
|
|
- **Agent-orkestrering** -- multi-agent patterns, tool use, governance
|
|
- **Azure AI Services** -- vision, speech, language, dokumenter
|
|
- **Dataingeniør** -- Fabric, OneLake, data quality, feature stores
|
|
- **MLOps/GenAIOps** -- CI/CD for AI, evaluering, drift detection
|
|
- **Multimodal AI** -- GPT-4o vision, Whisper, multimodal RAG
|
|
- **API Management for AI** -- gateway, rate limiting, semantic caching
|
|
|
|
---
|
|
|
|
## 1. RAG-arkitektur
|
|
|
|
RAG er det mest brukte mønsteret for å gi LLM-er organisasjonsspesifikk kunnskap. Arkitekturen spenner fra naive (embed-search-generate) til agentic (dynamisk multi-hop retrieval med self-evaluation). Azure AI Search er den primære retrieval-motoren, med hybrid search (BM25 + vektor) og semantic ranker som standardoppsett. Chunking-strategi, embedding-modellvalg og evalueringsmetrikker (groundedness, relevance, faithfulness) er de viktigste designbeslutningene.
|
|
|
|
| Faktor | RAG | Fine-tuning |
|
|
|--------|-----|-------------|
|
|
| Oppdatert data | Ja, dynamisk | Nei, statisk ved trening |
|
|
| Kildehenvisning | Ja, naturlig | Vanskelig |
|
|
| Domenespråk/stil | Moderat | Utmerket |
|
|
| Faktapresisjon | Høy (med god retrieval) | Variabel |
|
|
| Kostnad | Løpende (søk + tokens) | Engangstrening + hosting |
|
|
| Kompleksitet | Moderat | Høy (data, trening, eval) |
|
|
|
|
**Tommelregel:** Start med RAG. Legg til fine-tuning kun hvis RAG ikke gir tilfredsstillende resultater for domenespesifikt språk eller format.
|
|
|
|
For detailed guidance, see `references/rag-architecture/` (28 files).
|
|
|
|
---
|
|
|
|
## 2. Agent-orkestrering
|
|
|
|
Multi-agent systemer lar spesialiserte AI-agenter samarbeide for komplekse oppgaver. Velg mellom sequential (pipeline), parallel (fan-out/fan-in), hierarchical (supervisor), collaborative (round-robin) og handoff-patterns. Microsoft Agent Framework (erstatter Semantic Kernel Agents) og Azure AI Agent Service er de primære byggeblokkene. Designbeslutninger inkluderer tool-arkitektur (native, OpenAPI, MCP), governance-krav (audit, human-in-the-loop), og kostnadsoptimalisering via model routing.
|
|
|
|
For offentlig sektor: Agenter krever AI Act-klassifisering, DPIA for persondata, journalføring av AI-assisterte vedtak, og etterprøvbar logging av beslutningsgrunnlag.
|
|
|
|
For detailed guidance, see `references/agent-orchestration/` (24 files).
|
|
|
|
---
|
|
|
|
## 3. Azure AI Services
|
|
|
|
Azure AI Services er managed tjenester for spesifikke AI-oppgaver som brukes som byggeklosser. Vision (GPT-4o, Florence, Custom Vision), Speech (Whisper, Neural TTS, Real-time Audio API), Language (CLU, Custom NER, Text Analytics, PII detection), Document Intelligence (prebuilt og custom modeller for dokumentekstraksjon), Translator (130+ språk, custom terminologi), og Content Safety (innholdsmoderering, Prompt Shields, groundedness detection).
|
|
|
|
Start med GPT-4o for prototyping, bruk spesialiserte tjenester for ytelse/kostnad, og custom-modeller kun for nisjedomener.
|
|
|
|
For detailed guidance, see `references/azure-ai-services/` (20 files).
|
|
|
|
---
|
|
|
|
## 4. Dataingeniør for AI
|
|
|
|
AI-løsninger krever robust datainfrastruktur. Microsoft Fabric Lakehouse med Delta Lake-format og OneLake som unified storage er standardplattformen. Organiser data i bronze/silver/gold/AI-ready lag. Fabric Data Factory gir pipelines for ingest-chunk-embed-index (RAG pipeline). Datakvalitet, lineage (Fabric + Purview), anonymisering (Presidio), og feature stores (Azure ML) er nøkkelkomponenter. Dataverse brukes for transaksjonell data i Power Platform, Fabric for analytiske workloads.
|
|
|
|
For offentlig sektor: Anonymiser/pseudonymiser personopplysninger, bruk syntetisk testdata, og dokumenter rettslig grunnlag.
|
|
|
|
For detailed guidance, see `references/data-engineering/` (22 files).
|
|
|
|
---
|
|
|
|
## 5. MLOps / GenAIOps
|
|
|
|
MLOps og GenAIOps sikrer pålitelig bygging, deployment og drift av AI-løsninger. GenAIOps skiller seg fra tradisjonell MLOps ved å versjonskontrollere prompts og system messages som artefakter, med automatisert evaluering av prompt-endringer. Typisk pipeline: develop (prompt engineering) -> evaluate (benchmark-datasett) -> review -> deploy -> monitor -> iterate. Drift detection overvåker input-distribusjoner og output-kvalitet. Bruk Bicep eller Terraform for IaC av AI-ressurser.
|
|
|
|
| Type | Hva testes | Verktøy |
|
|
|------|-----------|---------|
|
|
| Unit | Enkeltstående funksjoner | pytest, vitest |
|
|
| Prompt evaluation | Kvalitet på LLM-output | Azure AI Foundry eval SDK |
|
|
| RAG evaluation | Retrieval + generation | Ragas, Azure AI eval |
|
|
| Red teaming | Sikkerhet og robusthet | Azure AI red teaming tools |
|
|
| A/B testing | Produksjonsytelse | Application Insights |
|
|
|
|
For detailed guidance, see `references/mlops-genaiops/` (22 files).
|
|
|
|
---
|
|
|
|
## 6. Multimodal AI
|
|
|
|
Multimodal AI kombinerer tekst, bilde, lyd og video. GPT-4o vision analyserer bilder direkte (base64/URL, detail low/high). Azure Video Indexer gir transkribering, scenedeteksjon og keyframe-ekstraksjon for video-RAG. Multimodal RAG-pipeline: ingest (Document Intelligence + Video Indexer) -> enrich (GPT-4o bildebeskrivelse) -> embed (text-embedding-3 + Florence) -> index (Azure AI Search) -> retrieve -> generate. Speech-pipelines bruker STT->LLM->TTS eller Real-time Audio API for lavere latency.
|
|
|
|
For detailed guidance, see `references/multi-modal/` (18 files).
|
|
|
|
---
|
|
|
|
## 7. API Management for AI
|
|
|
|
Azure API Management (APIM) er intelligent gateway foran Azure OpenAI og andre AI-tjenester. Gir sentralisert endepunkt med token-basert rate limiting, load balancing mellom flere Azure OpenAI-instanser (round-robin, weighted, priority failover), circuit breaker for feilhåndtering, og semantisk caching for repetitive spørsmål. Sikkerhet via Managed Identity, OAuth 2.0, private endpoints. Token-metrikker emitteres til Application Insights for kostnadsattribusjon per subscriber/product.
|
|
|
|
Bruk semantisk caching for FAQ-lignende domener. Unngå for personaliserte svar eller tidssensitiv informasjon.
|
|
|
|
For detailed guidance, see `references/api-management/` (19 files).
|
|
|
|
---
|
|
|
|
## 8. Referansekatalog
|
|
|
|
### Egne referanser
|
|
|
|
Denne skillen har 149 filer fordelt på 7 domener. Bruk `Read`-verktøyet for å hente spesifikke filer.
|
|
|
|
| Domene | Mappe | Filer | Dekning |
|
|
|--------|-------|-------|---------|
|
|
| RAG-arkitektur | `references/rag-architecture/` | 28 | Naive/advanced/modular/agentic RAG, Azure AI Search, embeddings, chunking, evaluering |
|
|
| Agent-orkestrering | `references/agent-orchestration/` | 20 | Multi-agent patterns, Semantic Kernel, tool use, routing, governance, compliance, Foundry Agent Service GA, A2A, CUA, Foundry Workflows |
|
|
| Azure AI Services | `references/azure-ai-services/` | 20 | Vision, Speech, Language, Document Intelligence, Translator, Content Safety |
|
|
| Dataingeniør | `references/data-engineering/` | 22 | Fabric Lakehouse, OneLake, Data Factory, data quality, Purview, Delta Lake |
|
|
| MLOps/GenAIOps | `references/mlops-genaiops/` | 22 | CI/CD, model registry, evaluering, drift detection, IaC, GenAIOps pipelines |
|
|
| Multimodal AI | `references/multi-modal/` | 18 | GPT-4o vision, Video Indexer, multimodal RAG, speech pipelines, OCR |
|
|
| API Management | `references/api-management/` | 19 | APIM AI gateway, rate limiting, circuit breaker, semantic caching, security |
|
|
|
|
**Totalt: 149 filer**
|
|
|
|
### Kryss-referanser til andre skills
|
|
|
|
| Behov | Kilde | Innhold |
|
|
|-------|-------|---------|
|
|
| Arkitekturvalg og beslutningstrær | `skills/ms-ai-advisor/references/architecture/` | Decision trees, plattformvalg, kostnadsmodeller |
|
|
| Sikker RAG og agent-design | `skills/ms-ai-security/references/ai-security-engineering/` | Prompt injection forsvar, trusselmodellering, red teaming |
|
|
| Ytelsesoptimalisering | `skills/ms-ai-security/references/performance-scalability/` | Latency, streaming, batch API, auto-scaling |
|
|
|
|
---
|
|
|
|
## 9. MCP-verktøy
|
|
|
|
Bruk MCP-verktøy proaktivt for å verifisere tekniske detaljer og hente oppdatert informasjon.
|
|
|
|
| Behov | Verktøy | Bruksmønster |
|
|
|-------|---------|--------------|
|
|
| Teknisk dokumentasjon | `microsoft_docs_search` | Søk etter spesifikke tjenester, SDK-er, API-er |
|
|
| Fullstendige guider | `microsoft_docs_fetch` | Hent komplett tutorial eller referanseside |
|
|
| Kodeeksempler | `microsoft_code_sample_search` | SDK-eksempler, implementeringsmønstre, best practices |
|
|
|
|
### Verifiseringsregel
|
|
|
|
Alltid verifiser med MCP-verktøy når:
|
|
- Du refererer til spesifikke API-versjoner eller SDK-metoder
|
|
- Du angir priser, kvoter eller begrensninger
|
|
- Du anbefaler preview-tjenester (sjekk GA-status)
|
|
- Du beskriver konfigurasjon (sjekk at parametre stemmer)
|
|
- Du gir kodeeksempler (sjekk mot offisiell dokumentasjon)
|