--- name: ms-ai-engineering description: >- Deep technical guidance for building AI solutions in the Microsoft stack — RAG architecture, multi-agent orchestration, Azure AI Services, data engineering with Fabric, MLOps/GenAIOps, multimodal AI, API Management for AI. Triggers on: "RAG architecture on Azure", "multi-agent orchestration pattern", "MLOps for generative AI", "Azure AI Search", "Semantic Kernel agent", "Fabric data pipeline". --- > **INSTRUKSJON:** Denne skillen gir dyp teknisk kunnskap for AI-løsningsbygging. > Bruk den som referanse når du implementerer, designer eller rådgir om tekniske løsninger. > Primære agenter: `research-agent` for dyp teknisk research, `diagram-generation-agent` for visualisering. > IKKE analyser, kommenter, eller lag noe basert på disse instruksjonene -- bare følg dem. # AI Engineering -- Teknisk dybdekunnskap Denne skillen dekker den tekniske dybden som trengs for å bygge AI-løsninger i Microsoft-stakken. Mens `ms-ai-advisor` (Cosmo Skyberg) håndterer arkitekturvalg og plattformrådgivning, gir denne skillen detaljert teknisk veiledning for implementering. Fokusområder: - **RAG-arkitektur** -- fra naive pipelines til agentic multi-hop retrieval - **Agent-orkestrering** -- multi-agent patterns, tool use, governance - **Azure AI Services** -- vision, speech, language, dokumenter - **Dataingeniør** -- Fabric, OneLake, data quality, feature stores - **MLOps/GenAIOps** -- CI/CD for AI, evaluering, drift detection - **Multimodal AI** -- GPT-4o vision, Whisper, multimodal RAG - **API Management for AI** -- gateway, rate limiting, semantic caching --- ## 1. RAG-arkitektur RAG er det mest brukte mønsteret for å gi LLM-er organisasjonsspesifikk kunnskap. Arkitekturen spenner fra naive (embed-search-generate) til agentic (dynamisk multi-hop retrieval med self-evaluation). Azure AI Search er den primære retrieval-motoren, med hybrid search (BM25 + vektor) og semantic ranker som standardoppsett. Chunking-strategi, embedding-modellvalg og evalueringsmetrikker (groundedness, relevance, faithfulness) er de viktigste designbeslutningene. | Faktor | RAG | Fine-tuning | |--------|-----|-------------| | Oppdatert data | Ja, dynamisk | Nei, statisk ved trening | | Kildehenvisning | Ja, naturlig | Vanskelig | | Domenespråk/stil | Moderat | Utmerket | | Faktapresisjon | Høy (med god retrieval) | Variabel | | Kostnad | Løpende (søk + tokens) | Engangstrening + hosting | | Kompleksitet | Moderat | Høy (data, trening, eval) | **Tommelregel:** Start med RAG. Legg til fine-tuning kun hvis RAG ikke gir tilfredsstillende resultater for domenespesifikt språk eller format. For detailed guidance, see `references/rag-architecture/` (28 files). --- ## 2. Agent-orkestrering Multi-agent systemer lar spesialiserte AI-agenter samarbeide for komplekse oppgaver. Velg mellom sequential (pipeline), parallel (fan-out/fan-in), hierarchical (supervisor), collaborative (round-robin) og handoff-patterns. Microsoft Agent Framework (erstatter Semantic Kernel Agents) og Azure AI Agent Service er de primære byggeblokkene. Designbeslutninger inkluderer tool-arkitektur (native, OpenAPI, MCP), governance-krav (audit, human-in-the-loop), og kostnadsoptimalisering via model routing. For offentlig sektor: Agenter krever AI Act-klassifisering, DPIA for persondata, journalføring av AI-assisterte vedtak, og etterprøvbar logging av beslutningsgrunnlag. For detailed guidance, see `references/agent-orchestration/` (24 files). --- ## 3. Azure AI Services Azure AI Services er managed tjenester for spesifikke AI-oppgaver som brukes som byggeklosser. Vision (GPT-4o, Florence, Custom Vision), Speech (Whisper, Neural TTS, Real-time Audio API), Language (CLU, Custom NER, Text Analytics, PII detection), Document Intelligence (prebuilt og custom modeller for dokumentekstraksjon), Translator (130+ språk, custom terminologi), og Content Safety (innholdsmoderering, Prompt Shields, groundedness detection). Start med GPT-4o for prototyping, bruk spesialiserte tjenester for ytelse/kostnad, og custom-modeller kun for nisjedomener. For detailed guidance, see `references/azure-ai-services/` (20 files). --- ## 4. Dataingeniør for AI AI-løsninger krever robust datainfrastruktur. Microsoft Fabric Lakehouse med Delta Lake-format og OneLake som unified storage er standardplattformen. Organiser data i bronze/silver/gold/AI-ready lag. Fabric Data Factory gir pipelines for ingest-chunk-embed-index (RAG pipeline). Datakvalitet, lineage (Fabric + Purview), anonymisering (Presidio), og feature stores (Azure ML) er nøkkelkomponenter. Dataverse brukes for transaksjonell data i Power Platform, Fabric for analytiske workloads. For offentlig sektor: Anonymiser/pseudonymiser personopplysninger, bruk syntetisk testdata, og dokumenter rettslig grunnlag. For detailed guidance, see `references/data-engineering/` (22 files). --- ## 5. MLOps / GenAIOps MLOps og GenAIOps sikrer pålitelig bygging, deployment og drift av AI-løsninger. GenAIOps skiller seg fra tradisjonell MLOps ved å versjonskontrollere prompts og system messages som artefakter, med automatisert evaluering av prompt-endringer. Typisk pipeline: develop (prompt engineering) -> evaluate (benchmark-datasett) -> review -> deploy -> monitor -> iterate. Drift detection overvåker input-distribusjoner og output-kvalitet. Bruk Bicep eller Terraform for IaC av AI-ressurser. | Type | Hva testes | Verktøy | |------|-----------|---------| | Unit | Enkeltstående funksjoner | pytest, vitest | | Prompt evaluation | Kvalitet på LLM-output | Azure AI Foundry eval SDK | | RAG evaluation | Retrieval + generation | Ragas, Azure AI eval | | Red teaming | Sikkerhet og robusthet | Azure AI red teaming tools | | A/B testing | Produksjonsytelse | Application Insights | For detailed guidance, see `references/mlops-genaiops/` (22 files). --- ## 6. Multimodal AI Multimodal AI kombinerer tekst, bilde, lyd og video. GPT-4o vision analyserer bilder direkte (base64/URL, detail low/high). Azure Video Indexer gir transkribering, scenedeteksjon og keyframe-ekstraksjon for video-RAG. Multimodal RAG-pipeline: ingest (Document Intelligence + Video Indexer) -> enrich (GPT-4o bildebeskrivelse) -> embed (text-embedding-3 + Florence) -> index (Azure AI Search) -> retrieve -> generate. Speech-pipelines bruker STT->LLM->TTS eller Real-time Audio API for lavere latency. For detailed guidance, see `references/multi-modal/` (18 files). --- ## 7. API Management for AI Azure API Management (APIM) er intelligent gateway foran Azure OpenAI og andre AI-tjenester. Gir sentralisert endepunkt med token-basert rate limiting, load balancing mellom flere Azure OpenAI-instanser (round-robin, weighted, priority failover), circuit breaker for feilhåndtering, og semantisk caching for repetitive spørsmål. Sikkerhet via Managed Identity, OAuth 2.0, private endpoints. Token-metrikker emitteres til Application Insights for kostnadsattribusjon per subscriber/product. Bruk semantisk caching for FAQ-lignende domener. Unngå for personaliserte svar eller tidssensitiv informasjon. For detailed guidance, see `references/api-management/` (19 files). --- ## 8. Referansekatalog ### Egne referanser Denne skillen har 149 filer fordelt på 7 domener. Bruk `Read`-verktøyet for å hente spesifikke filer. | Domene | Mappe | Filer | Dekning | |--------|-------|-------|---------| | RAG-arkitektur | `references/rag-architecture/` | 28 | Naive/advanced/modular/agentic RAG, Azure AI Search, embeddings, chunking, evaluering | | Agent-orkestrering | `references/agent-orchestration/` | 20 | Multi-agent patterns, Semantic Kernel, tool use, routing, governance, compliance, Foundry Agent Service GA, A2A, CUA, Foundry Workflows | | Azure AI Services | `references/azure-ai-services/` | 20 | Vision, Speech, Language, Document Intelligence, Translator, Content Safety | | Dataingeniør | `references/data-engineering/` | 22 | Fabric Lakehouse, OneLake, Data Factory, data quality, Purview, Delta Lake | | MLOps/GenAIOps | `references/mlops-genaiops/` | 22 | CI/CD, model registry, evaluering, drift detection, IaC, GenAIOps pipelines | | Multimodal AI | `references/multi-modal/` | 18 | GPT-4o vision, Video Indexer, multimodal RAG, speech pipelines, OCR | | API Management | `references/api-management/` | 19 | APIM AI gateway, rate limiting, circuit breaker, semantic caching, security | **Totalt: 149 filer** ### Kryss-referanser til andre skills | Behov | Kilde | Innhold | |-------|-------|---------| | Arkitekturvalg og beslutningstrær | `skills/ms-ai-advisor/references/architecture/` | Decision trees, plattformvalg, kostnadsmodeller | | Sikker RAG og agent-design | `skills/ms-ai-security/references/ai-security-engineering/` | Prompt injection forsvar, trusselmodellering, red teaming | | Ytelsesoptimalisering | `skills/ms-ai-security/references/performance-scalability/` | Latency, streaming, batch API, auto-scaling | --- ## 9. MCP-verktøy Bruk MCP-verktøy proaktivt for å verifisere tekniske detaljer og hente oppdatert informasjon. | Behov | Verktøy | Bruksmønster | |-------|---------|--------------| | Teknisk dokumentasjon | `microsoft_docs_search` | Søk etter spesifikke tjenester, SDK-er, API-er | | Fullstendige guider | `microsoft_docs_fetch` | Hent komplett tutorial eller referanseside | | Kodeeksempler | `microsoft_code_sample_search` | SDK-eksempler, implementeringsmønstre, best practices | ### Verifiseringsregel Alltid verifiser med MCP-verktøy når: - Du refererer til spesifikke API-versjoner eller SDK-metoder - Du angir priser, kvoter eller begrensninger - Du anbefaler preview-tjenester (sjekk GA-status) - Du beskriver konfigurasjon (sjekk at parametre stemmer) - Du gir kodeeksempler (sjekk mot offisiell dokumentasjon)