# RAG erklärt: Ursprünge und Grundlagen
Die RAG (Retrieval-Augmented Generation) löst dies durch das Verständnis von Bedeutung, nicht nur von Keywords. Diese Serie zeigt Ihnen, wie RAG entstanden ist, wie es unter der Haube funktioniert und wie man Produktionssysteme baut. Von der semantischen Suche bis hin zu KI-powered Q&A mit Zitaten – alles mit funktionierenden C#-Code-Beispielen.
2025-11-22T09:00
# Einleitung
**Navigation der Serie:** Dies ist Teil 1 der Serie RAG (Retrieval-Augmented Generation):
- **Teil 1: Ursprung und Grundlagen der RAG** (dieser Artikel) - Was Einbettungen sind, warum sie wichtig sind
- [Teil 2: RAG-Architektur und Innenarchitektur](/blog/rag-architecture) - Chunking, Tokenisierung, Vektordatenbanken
- [Teil 3: RAG in der Praxis](/blog/rag-practical-applications) - Bau kompletter RAG-Systeme
- [Teil 4a: ONNX & Qdrant-Umsetzung](/blog/semantic-search-with-onnx-and-qdrant) - CPU-freundliche semantische Suche Stiftung
- [Teil 4b: Semantische Suche in Aktion](/blog/semantic-search-in-action) - Typeahead, hybride Suche und UI-Komponenten
- [Teil 5: Hybride Suche & Auto-Indexierung](/blog/rag-hybrid-search-and-indexing) - Produktionsintegrationsmuster
- [Teil 6: GraphRAG](/blog/graphrag-knowledge-graphs-for-rag) - Wissensgraphen für das Verständnis auf Korpusebene
RAG (Retrieval-Augmented Generation) wurde entwickelt, um KI intelligenter zu machen – LLMs Zugang zu Informationen zu geben, an denen sie nicht ausgebildet wurden. Aber hier ist, was interessant ist: die Technologie eröffnet Möglichkeiten weit über KI-Chatbots. Es ermöglicht semantische Suche auf Websites, Inhaltsempfehlung, Schreibhilfe und Wissensmanagement.
**Der duale Charakter:** RAG kann Kunden helfen (bessere Suche, genaue Antworten mit Zitaten) oder sie nutzen (manipulative Empfehlungen, Vergraben von negativen Bewertungen, surfacing upsell Inhalt). Der Unterschied ist nicht die Technologie - es ist Absicht. Eine semantische Suche, die Benutzern hilft, zu finden, was sie tatsächlich brauchen? Großartig. Eine, die priorisiert, was macht Sie das Geld, während sie hilfreich? Das ist dunkle Muster Gebiet, und es ist, warum verstehen, wie das funktioniert wichtig ist.
**Hier ist die Wahrheit über RAG:** Es klingt einschüchternd. Vektor-Embeddings? Transformer-Modelle? KV-Caches? Aber wie alles andere in der Software, es geht nur darum, zu verstehen, wie es funktioniert. Sie müssen nicht mehr die Mathematik hinter Transformator-Architekturen wissen, als Sie brauchen, um die Montage zu verstehen, um C# schreiben.
**RAG in drei Schritten:**
1. Verwandeln Sie Text in Zahlen (Embeddings)
2. Ähnliche Zahlen finden (Vektorsuche)
3. Verwenden Sie, was Sie gefunden haben (Anzeige von Ergebnissen oder Feed zu LLM)
Das war's. Der Rest sind Umsetzungsdetails.
Diese Serie zeigt Ihnen, wie Sie RAG-Systeme mit funktionierendem C#-Code bauen. Keine Handwave. Keine Annahmen. Nur die Stücke und wie sie zusammenpassen.
**Was Sie in dieser Serie lernen werden:**
- **Teil 1 (dieser Artikel)**: Wie RAG entstanden ist und warum es wichtig ist
- **Teil 2**: Komplette technische Architektur und LLM-Innenräume
- **Teil 3**: Reale Systeme mit Code-Beispielen bauen
Später werde ich Ihnen auch zeigen, wie Sie komplette RAG-Systeme bauen, einschließlich:
- [CPU-freundliche semantische Suche mit ONNX-Einbettungen](/blog/semantic-search-with-onnx-and-qdrant) (Teil 4)
- [Selbstgehostete Vektordatenbanken mit Qdrant](/blog/semantic-search-with-onnx-and-qdrant) (Teil 4)
- [Hybride Suche und automatische Indexierung](/blog/rag-hybrid-search-and-indexing) (Teil 5)
[TOC]
# Was ist RAG?
**Retrieval-Augmented Generation:** Finden Sie relevante Informationen, dann verwenden Sie sie.
```mermaid
flowchart LR
A[User Question] --> B[Retrieve Relevant Info]
B --> C[Retrieved Documents/Context]
C --> D[Generate Response]
A --> D
D --> E[Grounded, Accurate Answer]
style B stroke:#f9f,stroke-width:2px
style D stroke:#bbf,stroke-width:2px
```
**Ohne RAG:** Benutzer fragt → LLM Vermutungen aus dem Speicher → könnte halluzinieren
**Mit RAG:** Benutzer fragt → Finden Sie relevante docs → LLM-Antworten mit diesen docs → geerdet in der Realität
```csharp
// Without RAG: Hope the LLM knows
var answer = await llm.GenerateAsync("How do I deploy Docker?");
// Risk: Might make up outdated or wrong steps
// With RAG: Give it the docs
var relevantDocs = await vectorSearch.FindSimilar("How do I deploy Docker?");
var context = string.Join("\n", relevantDocs.Select(d => d.Text));
var answer = await llm.GenerateAsync($"Context: {context}\n\nQuestion: How do I deploy Docker?");
// Result: Answer based on YOUR actual Docker deployment docs
```
**Wichtige Erkenntnisse:** Trennen Sie Wissensspeicher (Suche) von Argumentation (LLM). Aktualisieren Sie Ihre docs, Suche bleibt aktuell. Keine Umschulung erforderlich.
# Woher kam die RAG?
RAG baut auf jahrzehntelanger Suche und NLP-Forschung auf. Das Verständnis dieser Geschichte hilft Ihnen zu verstehen, warum RAG so gestaltet ist, wie es ist – und welche Probleme es löst.
## Traditionelle Suche (vor 2010)
**Stichwortsuche:**
- **TF-IDF**: Term-Frequenz × inverse Dokument-Frequenz - häufige Wörter sind weniger wichtig
- **BM25**: Probabilistische Rangfolge - immer noch die Basis für Schlüsselwortsuche
- **Fuzzy-Matching**:
- **Soundex**: Phonetischer Algorithmus ("Smith" entspricht "Smythe")
- **Entfernung von Levenshtein**: Entfernung bearbeiten (wie viele Einfügungen/Delektionen/Ersetzungen)
- **N-Gramm**: Zeichen/Wort-Sequenzen für partielles Matching
**Das Problem:** Diese *Zeichen*, nicht *Bedeutung*. Suchen Sie "Container Orchestrierung" und Sie werden nicht finden "Docker Schwarm", es sei denn, diese genauen Wörter erscheinen. Sie könnten mit Tippfehlern umgehen, aber keine Semantik.
## Antworten auf die ersten Fragen (2010)
**Watson (IBM, 2011):**
- Kombiniertes Retrieval mit regelbasierter Argumentation
- Won Jeopardy! aber erfordert massive handwerkliche Wissens-Engineering
- Immer noch stark auf Keyword-Matching
**Leseverständnismodelle:**
- Konnte Antworten aus bereitgestellten Passagen extrahieren
- Aber du musstest ihnen zuerst die richtige Passage geben.
- Keine semantische Suche, um diese Passage zu finden
## Die Revolution des tiefen Lernens (2017+)
**Transformatoren (2017):** "[Achtung ist alles, was du brauchst](https://arxiv.org/abs/1706.03762)"
- Neurale Netzwerke, die Kontext verstehen könnten
- Grundlage für alles, was folgte
**BERT (2018):**
- Kontextuelles Verständnis der Sprache
- "Bank" bedeutet verschiedene Dinge in "Flussbank" gegen "Sparkasse"
- Könnte Einbettungen erzeugen, die Bedeutung einfangen
**GPT-2/3 (2019/2020):**
- Große Sprachmodelle, die kohärenten Text erzeugen könnten
- Aber beschränkt auf ihre Trainingsdaten
- Halluzinationen traten auf
**Dense-Vektor-Darstellungen:**
- Text → aussagekräftige Zahlen im hochdimensionalen Raum
- Ähnliche Bedeutungen → nahe gelegene Vektoren
- Dies machte die semantische Suche möglich
**BART (Facebook AI, Oktober 2019):**
- Bidirektionaler und Auto-Regressiver Transformer von Mike Lewis et al.
- Kombinierter BERT-ähnlicher Encoder mit GPT-ähnlichem Decoder
- Denoising Autoencoder durch korrupte Text dann rekonstruieren trainiert
- Hervorragend für Textgenerierungs- und Verständnisaufgaben
- Gründung der RAG
**M2M-100 (Facebook-KI, Oktober 2020):**
- Erstes multilinguales Übersetzungsmodell von vielen bis vielen
- Direkte Übersetzung zwischen 100 Sprachen ohne Englisch Pivot
- 2.200 Sprachrichtungen (10x mehr als frühere Modelle)
- Gezeigte Transformatoren könnten massive linguistische Aufgaben bewältigen
**Beispiel für die reale Welt:** Meine [neuronale maschinelle Übersetzungswerkzeug](https://github.com/scottgal/mostlyucid-nmt) BART wird als Fallback-Übersetzungsmodell verwendet, wenn Primärdienste nicht verfügbar sind, was zeigt, wie diese Transformatoren-basierten Modelle zu praktischen Bausteinen für Produktionssysteme wurden.
## Die Geburt der modernen RAG (Mai 2020)
Das wegweisende Papier "[Retrieval-Augmented Generation für wissensintensive NLP-Aufgaben](https://arxiv.org/abs/2005.11401)" von Patrick Lewis et al. (Facebook AI Research) offiziell eingeführt RAG, Gebäude direkt auf BART:
**Was sie kombinierten:**
- Dense Passage Retrieval (DPR) - gelernte Vektordarstellungen, nicht Schlüsselwörter
- BART-Generator - Modell ff2seq ab 2019
- End-to-End differenzierbare Architektur - gemeinsam abrufen und generieren
**Die Ergebnisse:** RAG-Systeme übertrafen viel größere Modelle für wissensintensive Aufgaben und waren effizienter und aktueller. Sie könnten die Wissensbasis aktualisieren, ohne das Modell umzuschulen.
## Warum die RAG explodierte (2023-Präsident)
ChatGPT, GPT-4 und Claude machten RAG wichtig:
1. **Halluzinationsprobleme** - LLMs stellen selbstbewusst Fakten zusammen. RAG begründet Antworten in echten Dokumenten.
2. **Wissensunterbrechung** - LLMs ausgebildet auf 2021 Daten wissen nicht über 2024 Ereignisse. RAG verwendet aktuelle Dokumente.
3. **Private Daten** - LLMs können nicht auf die internen Dokumente Ihrer Firma zugreifen.
4. **Kosten** - Feinabstimmung LLMs ist teuer ($10K-100K+). RAG ist billig (Speicher + Einbettungen).
5. **Erklärbarkeit** - RAG kann Quellen zitieren, so dass es prüfbar und vertrauenswürdig.
**Heute (2024-2025):** RAG ist der De-facto-Standard für KI-Produktionssysteme, die Genauigkeit und Auditierbarkeit benötigen. Jedes große KI-Unternehmen bietet RAG-Werkzeuge an.
# Wie RAG funktioniert: Das große Bild
Bevor wir tief in die technischen Details tauchen (die wir in Teil 2 abdecken werden), lassen Sie uns den High-Level-Workflow verstehen.
## Die drei Phasen
RAG-Systeme arbeiten in drei verschiedenen Phasen:
### Phase 1: Indexierung (One-Time-Setup)
```mermaid
flowchart LR
A[Your Documents] --> B[Split into Chunks]
B --> C[Generate Embeddings]
C --> D[Store in Vector DB]
style C stroke:#f9f,stroke-width:2px
style D stroke:#bbf,stroke-width:2px
```
**Was passiert:**
1. Nehmen Sie Ihre Wissensbasis (Docs, Blogposts, Handbücher)
2. Aufteilen in überschaubare Stücke (Absätze, Abschnitte)
3. Jeder Brocken in einen Vektor embedding umrechnen (Zahlenreihe)
4. Vektoren in einer für die Ähnlichkeitssuche optimierten Datenbank speichern
**Schlüsselbegriff:** Ähnliche Bedeutungen erzeugen ähnliche Vektoren, so dass "Docker Container" und "Containerization Platform" in der Nähe des Vektorraums enden.
### Phase 2: Wiederaufnahme (jede Abfrage)
```mermaid
flowchart LR
A[User Question] --> B[Generate Query Embedding]
B --> C[Search Vector DB]
C --> D[Top K Most Similar Chunks]
style B stroke:#f9f,stroke-width:2px
style C stroke:#bbf,stroke-width:2px
```
**Was passiert:**
1. Benutzer stellt eine Frage
2. Frage in einen Vektor konvertieren (gleiches Modell für die Indexierung)
3. Die meisten ähnlichen Vektoren in der Datenbank finden
4. Geben Sie die Top K relevantesten Stücke zurück (in der Regel 3-10)
**Warum es funktioniert:** "Wie kann ich Container bereitstellen?" (Query) ist semantisch ähnlich wie Brocken über Docker-Deployment, auch wenn sich die genauen Wörter unterscheiden.
### Phase 3: Erzeugung (jede Abfrage)
```mermaid
flowchart TB
A[User Question] --> B[Build Prompt]
C[Retrieved Context] --> B
B --> D[LLM]
D --> E[Generated Answer with Citations]
style B stroke:#f9f,stroke-width:2px
style D stroke:#bbf,stroke-width:2px
```
**Was passiert:**
1. Nehmen Sie die Frage des Benutzers
2. Nehmen Sie die abgerufenen Kontext Stücke
3. Konstruieren Sie eine Aufforderung: "Angesichts dieses Kontextes..., beantworten Sie diese Frage..."
4. An LLM für die Generierung senden
5. LLM produziert Antwort geerdet im bereitgestellten Kontext
**Die Magie:** Die LLM kann nicht halluzinieren Fakten, die nicht im Kontext sind. Es kann nur synthetisieren und erklären, was zur Verfügung gestellt wird.
## Ein einfaches Beispiel
Lassen Sie uns eine Abfrage durch das System verfolgen:
**Der Benutzer fragt:** "Wie verwende ich Docker Compose?"
**Schritt 1 - Rückfahrt:**
```
Query embedding: [0.234, -0.891, 0.567, ...]
Search vector DB for similar embeddings...
Retrieved chunks:
1. "Docker Compose is a tool for defining multi-container applications..." (similarity: 0.92)
2. "To use Docker Compose, create a docker-compose.yml file..." (similarity: 0.87)
3. "The docker-compose up command starts all services..." (similarity: 0.83)
```
**Schritt 2 - Erzeugung:**
```
Prompt to LLM:
"Context:
[1] Docker Compose is a tool for defining multi-container applications...
[2] To use Docker Compose, create a docker-compose.yml file...
[3] The docker-compose up command starts all services...
Question: How do I use Docker Compose?
Answer (use the context above):"
LLM Response:
"To use Docker Compose [1], start by creating a docker-compose.yml file [2] that
defines your services. Then run 'docker-compose up' to start all services [3]..."
```
**Ergebnis:** Genaue Antwort mit impliziten Zitaten aus Ihrer Dokumentation.
# RAG vs. Sonstige Ansätze
Das Verständnis, wann RAG verwendet werden sollen (und wann nicht), erfordert einen Vergleich mit Alternativen.
## RAG gegen Feinsteuerung
Aspect-RAG-Fine-Tuning
|--------|-----|-------------|
| **Wissensaktualisierungen** Sofortig (nur die Wissensbasis aktualisieren)
| **Kosten** Niedrig (Speicher + Einbettung)Hoch (GPU-Trainingszeit)
| **Genauigkeit** In Quellen geerdet, kann halluzinieren
| **Anpassung** Begrenzt auf die Retrieval-Anpassung Tiefes Modell
| **Erklärbarkeit** Hoch (kann Quellen zitieren)
| **Am besten für** Wissensintensive Aufgaben, Stil/Format-Anpassung,
**Wann Sie Fine-Tuning verwenden:**
- Sie brauchen das Modell, um eine bestimmte **Stil** oder **Format**
- Sie haben einen großen, sauberen Datensatz
- Sie brauchen das Modell, um zu verinnerlichen **Muster**, nicht Fakten
- Beispiel: GPT schreiben wie Shakespeare
**Wann ist RAG anzuwenden:**
- Du brauchst **sachliche Genauigkeit** mit Zitaten
- Ihre Wissensbasis ändert sich häufig
- Sie haben private/proprietäre Daten
- Kosten und Einfachheit
- Beispiel: Customer support chatbot (die docs meines Unternehmens ändern sich wöchentlich)
**Kannst du beides kombinieren?** Ja! Feinabstimmung für Stil, RAG für Fakten.
## RAG vs. Long Context Windows
Moderne LLMs verfügen über riesige Kontextfenster (GPT-4: 128K Tokens, Claude: 200K Tokens). Warum nicht einfach alle Dokumente in den Kontext werfen?
**Probleme mit einem langen Kontext:**
1. **Kosten**: Preisskalen mit Token - $10-100 pro Abfrage addiert sich schnell
2. **Latenz**: Die Verarbeitung von 100K Token braucht Zeit
3. **Verloren in der Mitte**: LLMs kämpfen, um Informationen in der Mitte der langen Kontexte zu verwenden
4. **Verdünnung**: Relevante Infos werden im Lärm vergraben
5. **Praktische Grenzen**: Sie können nicht passen Ihre gesamte Firma docs in Kontext
**Wenn ein langer Kontext Sinn macht:**
- Ein einziges großes Dokument (z.B. Analyse eines Vertrags)
- Alles ist relevant (keine Notwendigkeit zu filtern)
- Kosten sind kein Problem
- Niedriges Abfragevolumen
**Wenn RAG Sinn macht:**
- Große Wissensbasis (Millionen von Dokumenten)
- Notwendigkeit, relevante Teilmenge zu finden
- Hohes Abfragevolumen (Kosten sind wichtig)
- Aktualisierung des Wissens in Echtzeit
**Bewährte Verfahren:** Verwenden Sie RAG, um den relevantesten Inhalt auszuwählen, dann verwenden Sie langen Kontext für diese Untermenge.
## RAG vs. Prompting mit Beispielen
Nur wenige Aufforderun gen (Beispiele in der Eingabeaufforderung) sind eine einfache Basis.
**Beispielaufforderung:**
```
Examples:
Q: What is Docker?
A: Docker is a containerization platform...
Q: How does Kubernetes work?
A: Kubernetes orchestrates containers...
Q: What is my new question?
A: [LLM generates answer]
```
**Einschränkungen:**
- Begrenzt auf das, was in Kontextfenster passt
- Manuelle Aushärtung von Beispielen
- Er skaliert nicht zu großen Wissensbasen
- Keine semantische Suche - Sie wählen manuell Beispiele aus
**Verbesserung der RAG:**
- Findet automatisch die besten Beispiele (durch Ähnlichkeitssuche)
- Skaliert auf unbegrenzte Beispiele (nur oben K an LLM gesendet)
- Anpasst die Abfrage (verschiedene Abfragen rufen verschiedene Beispiele ab)
Sie können denken, RAG als "automatisierte paar-shot Aufforderung auf Skala."
## Hybride Suche: RAG + Traditionelle Suche
Sie können RAG mit der traditionellen Volltextsuche mit Reciprocal Rank Fusion (RRF) kombinieren.
**Warum Hybrid?**
- **Semantische Suche**: Großartig für konzeptionelle Matches ("Fehlerhandling" findet "Ausnahme-Management")
- **Stichwortsuche**: Großartig für genaue Begriffe ("Docker Compose", "Entity Framework")
- **Hybrid**: Das Beste aus beiden Welten
```csharp
public async Task> HybridSearchAsync(string query)
{
// Run both searches in parallel
var semanticTask = SemanticSearchAsync(query, limit: 20);
var keywordTask = KeywordSearchAsync(query, limit: 20);
await Task.WhenAll(semanticTask, keywordTask);
var semanticResults = await semanticTask;
var keywordResults = await keywordTask;
// Combine using Reciprocal Rank Fusion
return ApplyRRF(semanticResults, keywordResults);
}
private List ApplyRRF(
List list1,
List list2,
int k = 60)
{
var scores = new Dictionary();
// Score from first list
for (int i = 0; i < list1.Count; i++)
{
var id = list1[i].Id;
scores[id] = scores.GetValueOrDefault(id, 0) + 1.0 / (k + i + 1);
}
// Score from second list
for (int i = 0; i < list2.Count; i++)
{
var id = list2[i].Id;
scores[id] = scores.GetValueOrDefault(id, 0) + 1.0 / (k + i + 1);
}
// Merge and sort by combined score
var allResults = list1.Concat(list2)
.GroupBy(r => r.Id)
.Select(g => g.First())
.OrderByDescending(r => scores[r.Id])
.ToList();
return allResults;
}
```
# Warum RAGs von Bedeutung sind
Nun, da Sie verstehen, was RAG ist, woher es kam und wie es mit Alternativen verglichen wird, ist es hier der Grund, warum es zählt:
**1. Demokratisierung der KI**
- Du brauchst kein $100K Feinabstimmungs-Budget
- Sie brauchen kein Team von ML-Ingenieuren
- Jeder Entwickler kann RAG-Systeme mit vorhandenen Tools bauen
**2. Praktische Genauigkeit**
- Halluzination ist das #1 Problem mit LLMs in der Produktion
- RAG löst sie, indem sie Antworten in realen Dokumenten einordnet
- Zitate machen es auditierbar und vertrauenswürdig
**3. Immer auf dem neuesten Stand**
- Traditionelle KI: Trainieren Sie einmal, Wissen ist eingefroren
- RAG: Aktualisieren Sie Ihre Dokumente, Wissensaktualisierungen sofort
- Kritisch für schnelllebige Domains (Tech, News, Regulations)
**4. Privatsphäre und Kontrolle**
- Ihre Daten bleiben in Ihrer Infrastruktur
- Kann ganz lokal ausgeführt werden (lokale Einbettungen + lokale LLM + lokale Vektor DB)
- Keine Daten an OpenAI oder andere Cloud-Anbieter gesendet
**5. Kostenwirksame**
- Lagerung ist billig (Pennies pro GB)
- Einbettungen sind billig (Frakturen von einem Prozent pro 1000 Dokumente)
- Viel billiger als Feinabstimmung oder lange Kontextfenster
**6. Vielseitige Anwendungen**
- Semantische Suche (keine LLM erforderlich!)
- Q&A-Systeme mit Zitaten
- Inhaltliche Empfehlung
- Schreibassistenten
- Wissensmanagement
- Dokumentationshelfer
- Wissenschaftliche Mitarbeiter
# Fazit: Von der Geschichte zur Umsetzung
Wir haben die Entwicklung der RAG verfolgt:
- **Vor 2010**: Stichwortsuche (Zeichen, keine Bedeutung)
- **2010er Jahre**: Leseverständnis (benötigt die richtige Passage)
- **2017-2020**: Transformer und Einbettungen (d.h. → Vektoren)
- **2020**: Moderne RAG (Retrieve + Generieren)
- **2023-Präsentation**: Produktionsstandard (Halluzination + Kosten + Privatsphäre)
**Wichtigste Erkenntnisse aus Teil 1:**
- RAG getrennt **Wissensspeicherung** (Vektor DB) von **Begründung** (SCHLÜSSELT)
- Es löst das Halluzinationsproblem, indem es Antworten in echten Dokumenten aufgreift.
- Es ist billiger und flexibler als Feinabstimmung
- Es funktioniert besser als langer Kontext für große Wissensgrundlagen
- Es ist im Wesentlichen "automatisierte paar-shot prompt auf Skala"
**Das dreistufige mentale Modell:**
1. Verwandeln Sie Text in Zahlen (Embeddings)
2. Ähnliche Zahlen finden (Vektorsuche)
3. Verwenden Sie, was Sie gefunden haben (Anzeige oder Feed an LLM)
Alles andere ist Optimierung.
# Weiter zu Teil 2: Architektur und Inneres
Du verstehst es jetzt. **Was ist?** RAG ist, **warum** es zählt, und **Dabei ist** Aber wie funktioniert es eigentlich unter der Haube?
Im **[Teil 2: RAG-Architektur und Innenarchitektur](/blog/rag-architecture)**Wir tauchen tief in die technischen Details ein:
**Vollständige RAG-Pipeline:**
- Phase 1: Indexierung (Textextraktion, Chunking-Strategien, Embedding-Generierung, Vektorspeicher)
- Phase 2: Retrieval (Quereinbettungen, Ähnlichkeitsmetriken, Reranking)
- Phase 3: Erzeugung (prompte Konstruktion, LLM-Parameter, Nachbearbeitung)
**LLM Interne:**
- Was sind Token und warum sie für RAG wichtig sind
- Der KV-Cache: Wie sich LLMs an Kontext erinnern
- Kontextfenster und Token-Management-Strategien
- RAG für Token Effizienz und Kosten optimieren
**Technische Tiefentauchgänge:**
- Vektordatenbanken und Ähnlichkeitssuchalgorithmen
- Einbetten von Modellen und Normalisierung
- Chunking-Strategien, die den Kontext erhalten
- Beispiele für praktische Codes in C#
**[Weiter zu Teil 2: Architektur und Interna →](/blog/rag-architecture)**
Nach Teil 2 sind Sie bereit für Teil 3, wo wir echte Systeme bauen, gemeinsame Herausforderungen lösen und fortschrittliche Techniken wie HyDE, Multi-Query RAG und Kontextkompression erforschen.
## Aufkommen
**Grundlagenpapiere:**
- [Retrieval-Augmented Generation für wissensintensive NLP-Aufgaben](https://arxiv.org/abs/2005.11401) - Das ursprüngliche RAG-Papier
- [Dense Passage Retrieval für Open-Domain-Frage-Antworten](https://arxiv.org/abs/2004.04906) - DPR (Retrieval-Stiftung)
- [Achtung ist alles, was du brauchst](https://arxiv.org/abs/1706.03762) - Transformatoren (Embedding Foundation)
**Weitere Literaturhinweise:**
- [Wie neurale maschinelle Übersetzung funktioniert](/blog/how-neural-machine-translation-works) - Verständnis der KI-Modelle hinter Einbettungen
**Der Nächste in dieser Serie:**
- [Teil 2: RAG-Architektur und Innenarchitektur](/blog/rag-architecture) - Technischer Tieftauchgang
- [Teil 3: RAG in der Praxis](/blog/rag-practical-applications) - Bau von realen Systemen
**[Weiter zu Teil 2 →](/blog/rag-architecture)**