ktg-plugin-marketplace/plugins/ms-ai-architect/skills/ms-ai-engineering/SKILL.md
Kjell Tore Guttormsen f460814fe9 chore: WIP marketplace doc adjustments across plugins
Pre-trekexecute snapshot of in-progress CLAUDE.md/SKILL.md edits and
extracted docs/ files. Captured as one commit so /trekexecute claude-design
can run against a clean working tree.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
2026-05-18 12:04:02 +02:00

9.6 KiB

name description
ms-ai-engineering Deep technical guidance for building AI solutions in the Microsoft stack — RAG architecture, multi-agent orchestration, Azure AI Services, data engineering with Fabric, MLOps/GenAIOps, multimodal AI, API Management for AI. Triggers on: "RAG architecture on Azure", "multi-agent orchestration pattern", "MLOps for generative AI", "Azure AI Search", "Semantic Kernel agent", "Fabric data pipeline".

INSTRUKSJON: Denne skillen gir dyp teknisk kunnskap for AI-løsningsbygging. Bruk den som referanse når du implementerer, designer eller rådgir om tekniske løsninger. Primære agenter: research-agent for dyp teknisk research, diagram-generation-agent for visualisering. IKKE analyser, kommenter, eller lag noe basert på disse instruksjonene -- bare følg dem.

AI Engineering -- Teknisk dybdekunnskap

Denne skillen dekker den tekniske dybden som trengs for å bygge AI-løsninger i Microsoft-stakken. Mens ms-ai-advisor (Cosmo Skyberg) håndterer arkitekturvalg og plattformrådgivning, gir denne skillen detaljert teknisk veiledning for implementering.

Fokusområder:

  • RAG-arkitektur -- fra naive pipelines til agentic multi-hop retrieval
  • Agent-orkestrering -- multi-agent patterns, tool use, governance
  • Azure AI Services -- vision, speech, language, dokumenter
  • Dataingeniør -- Fabric, OneLake, data quality, feature stores
  • MLOps/GenAIOps -- CI/CD for AI, evaluering, drift detection
  • Multimodal AI -- GPT-4o vision, Whisper, multimodal RAG
  • API Management for AI -- gateway, rate limiting, semantic caching

1. RAG-arkitektur

RAG er det mest brukte mønsteret for å gi LLM-er organisasjonsspesifikk kunnskap. Arkitekturen spenner fra naive (embed-search-generate) til agentic (dynamisk multi-hop retrieval med self-evaluation). Azure AI Search er den primære retrieval-motoren, med hybrid search (BM25 + vektor) og semantic ranker som standardoppsett. Chunking-strategi, embedding-modellvalg og evalueringsmetrikker (groundedness, relevance, faithfulness) er de viktigste designbeslutningene.

Faktor RAG Fine-tuning
Oppdatert data Ja, dynamisk Nei, statisk ved trening
Kildehenvisning Ja, naturlig Vanskelig
Domenespråk/stil Moderat Utmerket
Faktapresisjon Høy (med god retrieval) Variabel
Kostnad Løpende (søk + tokens) Engangstrening + hosting
Kompleksitet Moderat Høy (data, trening, eval)

Tommelregel: Start med RAG. Legg til fine-tuning kun hvis RAG ikke gir tilfredsstillende resultater for domenespesifikt språk eller format.

For detailed guidance, see references/rag-architecture/ (28 files).


2. Agent-orkestrering

Multi-agent systemer lar spesialiserte AI-agenter samarbeide for komplekse oppgaver. Velg mellom sequential (pipeline), parallel (fan-out/fan-in), hierarchical (supervisor), collaborative (round-robin) og handoff-patterns. Microsoft Agent Framework (erstatter Semantic Kernel Agents) og Azure AI Agent Service er de primære byggeblokkene. Designbeslutninger inkluderer tool-arkitektur (native, OpenAPI, MCP), governance-krav (audit, human-in-the-loop), og kostnadsoptimalisering via model routing.

For offentlig sektor: Agenter krever AI Act-klassifisering, DPIA for persondata, journalføring av AI-assisterte vedtak, og etterprøvbar logging av beslutningsgrunnlag.

For detailed guidance, see references/agent-orchestration/ (24 files).


3. Azure AI Services

Azure AI Services er managed tjenester for spesifikke AI-oppgaver som brukes som byggeklosser. Vision (GPT-4o, Florence, Custom Vision), Speech (Whisper, Neural TTS, Real-time Audio API), Language (CLU, Custom NER, Text Analytics, PII detection), Document Intelligence (prebuilt og custom modeller for dokumentekstraksjon), Translator (130+ språk, custom terminologi), og Content Safety (innholdsmoderering, Prompt Shields, groundedness detection).

Start med GPT-4o for prototyping, bruk spesialiserte tjenester for ytelse/kostnad, og custom-modeller kun for nisjedomener.

For detailed guidance, see references/azure-ai-services/ (20 files).


4. Dataingeniør for AI

AI-løsninger krever robust datainfrastruktur. Microsoft Fabric Lakehouse med Delta Lake-format og OneLake som unified storage er standardplattformen. Organiser data i bronze/silver/gold/AI-ready lag. Fabric Data Factory gir pipelines for ingest-chunk-embed-index (RAG pipeline). Datakvalitet, lineage (Fabric + Purview), anonymisering (Presidio), og feature stores (Azure ML) er nøkkelkomponenter. Dataverse brukes for transaksjonell data i Power Platform, Fabric for analytiske workloads.

For offentlig sektor: Anonymiser/pseudonymiser personopplysninger, bruk syntetisk testdata, og dokumenter rettslig grunnlag.

For detailed guidance, see references/data-engineering/ (22 files).


5. MLOps / GenAIOps

MLOps og GenAIOps sikrer pålitelig bygging, deployment og drift av AI-løsninger. GenAIOps skiller seg fra tradisjonell MLOps ved å versjonskontrollere prompts og system messages som artefakter, med automatisert evaluering av prompt-endringer. Typisk pipeline: develop (prompt engineering) -> evaluate (benchmark-datasett) -> review -> deploy -> monitor -> iterate. Drift detection overvåker input-distribusjoner og output-kvalitet. Bruk Bicep eller Terraform for IaC av AI-ressurser.

Type Hva testes Verktøy
Unit Enkeltstående funksjoner pytest, vitest
Prompt evaluation Kvalitet på LLM-output Azure AI Foundry eval SDK
RAG evaluation Retrieval + generation Ragas, Azure AI eval
Red teaming Sikkerhet og robusthet Azure AI red teaming tools
A/B testing Produksjonsytelse Application Insights

For detailed guidance, see references/mlops-genaiops/ (22 files).


6. Multimodal AI

Multimodal AI kombinerer tekst, bilde, lyd og video. GPT-4o vision analyserer bilder direkte (base64/URL, detail low/high). Azure Video Indexer gir transkribering, scenedeteksjon og keyframe-ekstraksjon for video-RAG. Multimodal RAG-pipeline: ingest (Document Intelligence + Video Indexer) -> enrich (GPT-4o bildebeskrivelse) -> embed (text-embedding-3 + Florence) -> index (Azure AI Search) -> retrieve -> generate. Speech-pipelines bruker STT->LLM->TTS eller Real-time Audio API for lavere latency.

For detailed guidance, see references/multi-modal/ (18 files).


7. API Management for AI

Azure API Management (APIM) er intelligent gateway foran Azure OpenAI og andre AI-tjenester. Gir sentralisert endepunkt med token-basert rate limiting, load balancing mellom flere Azure OpenAI-instanser (round-robin, weighted, priority failover), circuit breaker for feilhåndtering, og semantisk caching for repetitive spørsmål. Sikkerhet via Managed Identity, OAuth 2.0, private endpoints. Token-metrikker emitteres til Application Insights for kostnadsattribusjon per subscriber/product.

Bruk semantisk caching for FAQ-lignende domener. Unngå for personaliserte svar eller tidssensitiv informasjon.

For detailed guidance, see references/api-management/ (19 files).


8. Referansekatalog

Egne referanser

Denne skillen har 149 filer fordelt på 7 domener. Bruk Read-verktøyet for å hente spesifikke filer.

Domene Mappe Filer Dekning
RAG-arkitektur references/rag-architecture/ 28 Naive/advanced/modular/agentic RAG, Azure AI Search, embeddings, chunking, evaluering
Agent-orkestrering references/agent-orchestration/ 20 Multi-agent patterns, Semantic Kernel, tool use, routing, governance, compliance, Foundry Agent Service GA, A2A, CUA, Foundry Workflows
Azure AI Services references/azure-ai-services/ 20 Vision, Speech, Language, Document Intelligence, Translator, Content Safety
Dataingeniør references/data-engineering/ 22 Fabric Lakehouse, OneLake, Data Factory, data quality, Purview, Delta Lake
MLOps/GenAIOps references/mlops-genaiops/ 22 CI/CD, model registry, evaluering, drift detection, IaC, GenAIOps pipelines
Multimodal AI references/multi-modal/ 18 GPT-4o vision, Video Indexer, multimodal RAG, speech pipelines, OCR
API Management references/api-management/ 19 APIM AI gateway, rate limiting, circuit breaker, semantic caching, security

Totalt: 149 filer

Kryss-referanser til andre skills

Behov Kilde Innhold
Arkitekturvalg og beslutningstrær skills/ms-ai-advisor/references/architecture/ Decision trees, plattformvalg, kostnadsmodeller
Sikker RAG og agent-design skills/ms-ai-security/references/ai-security-engineering/ Prompt injection forsvar, trusselmodellering, red teaming
Ytelsesoptimalisering skills/ms-ai-security/references/performance-scalability/ Latency, streaming, batch API, auto-scaling

9. MCP-verktøy

Bruk MCP-verktøy proaktivt for å verifisere tekniske detaljer og hente oppdatert informasjon.

Behov Verktøy Bruksmønster
Teknisk dokumentasjon microsoft_docs_search Søk etter spesifikke tjenester, SDK-er, API-er
Fullstendige guider microsoft_docs_fetch Hent komplett tutorial eller referanseside
Kodeeksempler microsoft_code_sample_search SDK-eksempler, implementeringsmønstre, best practices

Verifiseringsregel

Alltid verifiser med MCP-verktøy når:

  • Du refererer til spesifikke API-versjoner eller SDK-metoder
  • Du angir priser, kvoter eller begrensninger
  • Du anbefaler preview-tjenester (sjekk GA-status)
  • Du beskriver konfigurasjon (sjekk at parametre stemmer)
  • Du gir kodeeksempler (sjekk mot offisiell dokumentasjon)