ms-ai-architect/skills/ms-ai-engineering/references/rag-architecture/citation-tracking.md

Citation Tracking and Source Attribution

Last updated: 2026-06-19 Status: GA (classic RAG); agentic retrieval delvis GA via REST 2026-04-01 — grounding-overflaten (references + activity-log) er GA, mens LLM query planning (ikke-minimal reasoning effort) + answer synthesis + multi-turn messages forblir preview (2026-05-01-preview); portal/Foundry preview Category: RAG Architecture & Semantic Search Type: reference Source: https://learn.microsoft.com/azure/search/retrieval-augmented-generation-overview

---

Innhold

• Introduksjon
• Kjernekomponenter
• Arkitekturmønstre
• Beslutningsveiledning
• Konfidensscoring
• Integrasjon med Microsoft-stakken
• Offentlig sektor (Norge)
• Kostnad og lisensiering
• For arkitekten
• Kilder og verifisering

Introduksjon

Citation tracking er en kritisk komponent i enterprise RAG-systemer. Det handler om å spore og eksponere kildene som ligger til grunn for AI-genererte svar, slik at brukere kan verifisere informasjonen. I Azure-økosystemet støttes citation tracking gjennom to hovedmønstre: Classic RAG (GA) med Azure AI Search og Azure OpenAI, og Agentic Retrieval (grounding-overflaten med references + activity er GA via REST 2026-04-01; LLM query planning/answer synthesis/multi-turn = preview; portal/Foundry preview) med strukturerte grounding data.

God citation tracking reduserer hallusinering ved å tvinge LLM-en til å basere seg på hentet kontekst, gir brukerne tillit til svarene, og oppfyller compliance-krav i offentlig sektor der sporbarhet er lovpålagt. Azure AI Search returnerer automatisk kildemetadata med søkeresultater, og Azure OpenAI "On Your Data"-mønsteret inkluderer citation annotations i responser.

Agentic Retrieval representerer neste evolusjon med LLM-assistert query planning, parallelle subqueries, og strukturerte citation-responser med full provenance tracking. Citation-overflaten (references + activity-log) er GA via REST 2026-04-01; LLM-assistert query planning (ikke-minimal reasoning effort) og answer synthesis forblir preview (2026-05-01-preview), og Azure-/Foundry-portalen gir kun preview-tilgang.

Kjernekomponenter

Citation-formater

URL Citation Annotations (Azure OpenAI)

for event in stream_response:
    if event.type == "response.output_item.done":
        if event.item.type == "message":
            text_content = event.item.content[-1]
            for annotation in text_content.annotations:
                if annotation.type == "url_citation":
                    print(f"URL: {annotation.url}")
                    print(f"Start: {annotation.start_index}")
                    print(f"End: {annotation.end_index}")

File Citation Annotations (Assistants API)

message_content = message.content[0].text
annotations = message_content.annotations
citations = []

for index, annotation in enumerate(annotations):
    message_content.value = message_content.value.replace(
        annotation.text, f' [{index}]'
    )
    if file_citation := getattr(annotation, 'file_citation', None):
        cited_file = client.files.retrieve(file_citation.file_id)
        citations.append(
            f'[{index}] {file_citation.quote} from {cited_file.filename}'
        )

message_content.value += '\n' + '\n'.join(citations)

Citation Metadata-elementer

Element	Beskrivelse	Eksempel
title	Dokument- eller kildetittel	"Veileder for offentlige anskaffelser"
url	URL til kildedokument	https://docs.example.com/guide
file_id	Referanse til opplastet fil	file-abc123
snippet	Relevant utdrag fra kilden	"I henhold til §4..."
doc_uri	Dokumentlokasjon	docs/mlflow/guide.md
chunk_id	Spesifikk chunk-identifikator	chunk_001
relevance_score	Konfidensverdi	0.95
start_index / end_index	Tekstregion som er grounded	142 / 287

Grounding Data (Agentic Retrieval)

{
  "grounding_data": "Ekstraherte relevante passasjer...",
  "references": [
    {
      "title": "Dokumenttittel",
      "url": "https://...",
      "chunk_id": "chunk_001",
      "relevance_score": 0.95
    }
  ],
  "activity": [
    {
      "operation": "subquery_1",
      "tokens_used": 150,
      "latency_ms": 245
    }
  ]
}

Arkitekturmønstre

Mønster 1: Classic RAG med automatisk citation

Flyt: Query → Azure AI Search → Top-k dokumenter med metadata → LLM med citation-instruks → Svar med fotnoter

Implementering:

template = """
Answer the following question using only the context below.
Include citations [1], [2] etc. for each fact.
Only include information specifically discussed in the context.

Question: {question}
Context: {context}
"""

Fordeler:

• Enkel implementering via Azure OpenAI "On Your Data"
• Automatisk citation-generering
• GA-funksjonalitet, produksjonsklart

Ulemper:

• LLM kan fremdeles hallusinere citations
• Krever post-validering av citation-nøyaktighet
• Begrenset til kontekstvindu-størrelse

Mønster 2: Agentic Retrieval med provenance

Flyt: Query → LLM query planning → Subqueries → Parallel retrieval → Grounding data + references → LLM → Svar med strukturerte citations

Fordeler:

• Full provenance tracking (hvilke subqueries hentet hvilke dokumenter)
• Strukturert output med references array
• Activity log for audit og debugging
• LLM planlegger optimale søk for bedre dekning

Ulemper:

• Grounding-overflaten (references + activity) er GA via REST 2026-04-01; LLM query planning (ikke-minimal reasoning effort) + answer synthesis + multi-turn forblir preview, og portal/Foundry gir fortsatt kun preview-tilgang
• Høyere kompleksitet og token-kostnad (faktureres token-basert, ikke per query)
• Token-forbruk over månedlig gratis-kvote faktureres pay-as-you-go (Azure AI Search + Azure OpenAI separat)

Mønster 3: Fakta-verifisering med LLM-judge

Flyt: RAG-svar med citations → Fakta-verifikasjon-agent → Krysssjekk mot kildedokumenter → Verifisert svar

from azure.ai.evaluation import GroundednessProEvaluator

groundedness_eval = GroundednessProEvaluator(
    azure_ai_project=project,
    credential=credential,
    threshold=2
)

result = groundedness_eval(
    query="Hva er reglene for offentlige anskaffelser?",
    response="I henhold til anskaffelsesloven §4...",
    context="Anskaffelsesloven §4 sier at..."
)

Fordeler:

• Automatisk validering av citation-nøyaktighet
• Kan flagge hallusinerte fakta
• Skalerbar QA-pipeline

Ulemper:

• Ekstra LLM-kall = ekstra kostnad
• LLM-judges er ikke ufeilbarlige
• Økt latency

Beslutningsveiledning

Når bruke hvilket mønster

Scenario	Anbefaling	Begrunnelse
Intern kunnskapsbase	Classic RAG med citations	GA, tilstrekkelig for de fleste behov
Publikumstjenester (høy tillit)	Agentic + fakta-verifisering	Sporbarhet og kvalitetssikring er kritisk
Juridisk/medisinsk rådgivning	Alle tre mønstre	Maksimal grounding og verifisering
Intern chatbot	Classic RAG	Enklest og billigst
Compliance-rapportering	Agentic med full audit log	Activity-loggen dokumenterer hele søkeprosessen

Vanlige feil

1. Ikke validere citations post-generering — LLM-er kan generere plausible men feilaktige kildereferanser
2. Mangle chunk-til-dokument-mapping — Brukere trenger å navigere til kilden, ikke bare se en chunk-ID
3. Ignorere konfidensscoring — Vis ikke citations med lav relevance_score som primærkilde
4. Glemme tilgangskontroll — Citations til dokumenter brukeren ikke har tilgang til er en sikkerhetsfeil

Røde flagg

• Citations som peker til ikke-eksisterende dokumenter → Hallusinering i citation-genereringen
• Høy andel scores under 0.5 → Dårlig retrieval-kvalitet, ikke kun citation-problem
• Brukere som rapporterer at citations ikke stemmer → Trenger fakta-verifiseringslagret

Konfidensscoring

Tilgjengelige scoring-mekanismer

Mekanisme	Skala	Kilde
Semantic Ranking	0.0–4.0	Azure AI Search
Vector Similarity (Cosine)	0.333–1.0	Azure AI Search
Groundedness Pro	Threshold-basert	Azure AI Content Safety
Semantic Answer Confidence	70% terskel	Azure AI Search
Custom relevance_score	0.0–1.0	Applikasjonskode

Anbefalte terskelverdier for RAG

Terskelverdi	Handling
rerankerScore ≥ 3.0	Vis citation med høy konfidensindikator
rerankerScore 2.0–3.0	Vis citation med moderat konfidensindikator
rerankerScore < 2.0	Utelat fra primærcitations, men behold i "Se også"
relevance_score < 0.5	Ikke vis som citation

Integrasjon med Microsoft-stakken

Tjeneste	Rolle i citation tracking
Azure AI Search	Primær retrieval med metadata og scores
Azure OpenAI	LLM-generering med citation annotations
Microsoft Foundry	Evaluering av groundedness og citation-kvalitet
MLflow	Tracing og observerbarhet for citation pipeline
Azure AI Content Safety	Groundedness-deteksjon med korreksjonsfunksjon
Copilot Studio	Automatisk citation i Copilot-svar

Offentlig sektor (Norge)

Lovmessige krav

• Forvaltningsloven: Vedtak skal begrunnes med referanse til relevant regelverk
• Offentleglova: Innsynsrett krever sporbar saksbehandling
• AI Act: Transparenskrav for AI-systemer i offentlig forvaltning
• Arkivloven: Dokumentasjon av beslutningsgrunnlag

Praktiske implikasjoner

• Citations er ikke bare "nice to have" — de er juridisk nødvendige i mange offentlige kontekster
• Audit trail (agentic retrieval activity log) kan brukes som dokumentasjon for tilsyn
• Brukere i offentlig sektor forventer å kunne klikke seg gjennom til kildedokumentet

Sikkerhet

• Dokumentnivå-sikkerhet (RBAC) må filtrere citations basert på brukeridentitet
• Sensitive dokumenter skal ikke siteres til brukere uten tilgang
• Implement security trimming i Azure AI Search før citations eksponeres

Kostnad og lisensiering

Komponenter som påvirker kostnad

Komponent	Kostnadsdriver
Azure AI Search	Standard spørringskostnad (ingen ekstra for metadata)
Semantic Ranker	Free plan (månedlig gratis request-kvote) + standard pay-as-you-go etter kvoten
Azure OpenAI	Token-kostnad for citation-generering i LLM-respons
Agentic Retrieval	Retrieval-tokens (månedlig gratis-kvote, deretter pay-as-you-go), Azure OpenAI for query planning/answer synthesis
Groundedness Pro	Per evaluerings-kall (Azure AI Content Safety)

Kostnadsoptimering

• Returner kun citation-relevante felt via select for å redusere token-bruk
• Bruk caching for gjentatte queries med samme citations
• Evaluer groundedness kun for brukervendte svar, ikke interne prosesser
• Begrens antall citations per svar (3–5 er typisk tilstrekkelig)

For arkitekten

Spørsmål å stille kunden

1. Har dere lovmessige krav til sporbarhet og kildehenvisning?
2. Skal brukerne kunne navigere direkte til kildedokumentene?
3. Hvilken grad av konfidensindikasjon trenger brukerne?
4. Er det behov for audit trail av hele retrieval-prosessen?
5. Har dokumentene ulik sikkerhetsgraddering som påvirker citation-eksponering?
6. Hva er akseptabel feilrate for citations (hallusinerte kilder)?
7. Trengs fakta-verifisering, eller er standard citation tilstrekkelig?
8. Hvordan chunkes dokumentene — trengs chunk-til-dokument navigering?

Fallgruver

• Å anta at LLM-genererte citations alltid er korrekte — de er ikke det
• Å eksponere chunk-IDer i brukergrensesnittet uten å mappe dem til lesbare dokumentreferanser
• Å bruke agentic retrieval i produksjon uten å forstå at det er preview
• Å ignorere tilgangskontroll i citation-laget — dette er et vanlig sikkerhetshull

Anbefalinger per modenhetsnivå

Nivå	Anbefaling
Starter	Classic RAG med Azure OpenAI "On Your Data" citation
Intermediær	Custom citation-formatering, konfidensscoring, chunk-til-dokument mapping
Avansert	Agentic retrieval med provenance, fakta-verifisering, audit logging

Kilder og verifisering

Verified (MCP-research)

• RAG overview in Azure AI Search
• Agentic retrieval overview
• Transparency note for Azure AI Search
• Grounding data design
• Microsoft Foundry agents - AI Search tools

Baseline (modellkunnskap)

• Norsk lovgivning (Forvaltningsloven, Offentleglova, Arkivloven)
• Kostnadsoptimerings-anbefalinger
• Modenhetsnivå-tabellen

Agentic Retrieval — Citation Tracking (oppdatert 2026-06-19)

Azure AI Search agentic retrieval (grounding-overflaten GA via REST 2026-04-01; LLM query planning/answer synthesis/multi-turn = preview; portal/Foundry preview) returnerer et svar som gjør citation tracking robust:

1. Merged content — samlet grounding data for LLM (returneres alltid)
2. Source references — kildereferanser for inspeksjon og citation (valgfritt)
3. Activity log — query execution-detaljer (subqueries, sources, parameters) (valgfritt)

Agentic retrieval bruker LLM til å rive ned komplekse queries til subqueries som kjøres parallelt, med semantisk reranking av hvert delresultat. Dette gir bedre grounding data enn klassisk RAG for komplekse spørsmål. Source references med full provenance tracking støtter transparenskrav i norsk offentlig sektor.