Quiz: RAG in der Praxis — Pipeline-Schritte und Qualitätsmetriken

Question 1

Welcher Schritt folgt in einer RAG-Pipeline typischerweise unmittelbar nach der Datenaufnahme (Ingestion)?

Accepted Answer

Dokument-Parsing und Normalisierung (z. B. Extraktion von Text, Entfernen von Artefakten, Vereinheitlichung von Formaten)

Answer

LLM-Antwortgenerierung auf Nutzerfragen

Answer

Hyperparameter-Tuning des Embedding-Modells

Answer

Manuelles A/B-Testing mit Endnutzern

Question 2

Welche Chunking-Technik gilt als Best Practice, um semantischen Zusammenhang zu bewahren und Überschneidungen überschaubar zu halten?

Accepted Answer

Semantisches Chunking entlang von Satz- und Abschnittsgrenzen mit kleiner, konstanter Überlappung

Answer

Starre 100-Token-Fenster ohne Rücksicht auf Satzgrenzen

Answer

Zufälliges Permutieren von Sätzen vor dem Splitten

Answer

Seitenweises Splitten ohne Berücksichtigung von Überschriften oder Listen

Question 3

Welche Index-Strategie ist für RAG als Hybrid-Suche gängig, um robuste Treffer zu erzielen?

Accepted Answer

Kombination aus BM25-Invertindex und Vektorindex (Hybrid Search)

Answer

Ausschließlich Bloom-Filter zur schnellen Mitgliedschaftsprüfung

Answer

Reine Volltextsuche ohne Tokenisierung

Answer

Suffix-Arrays auf 1-Token-Grammbasis

Question 4

Welche Metrik misst im Retrieval, wie viele der relevanten Dokumente tatsächlich gefunden werden?

Accepted Answer

Recall@k

Answer

Precision@k

Answer

MRR

Answer

nDCG

Question 5

Welcher Ansatz wird in RAG-Pipelines häufig für das Reranking der abgerufenen Passagen verwendet?

Accepted Answer

Cross-Encoder-Reranker, der Query und Passage gemeinsam bewertet

Answer

Reiner Bi-Encoder ohne Neusortierung

Answer

K-Means-Clustering der Passagen statt Ranking

Answer

Regelbasiertes Scoring ausschließlich nach Dokumentlänge

Question 6

Welche Metrik adressiert speziell die inhaltliche Fundierung generierter Antworten im gegebenen Kontext?

Accepted Answer

Faithfulness/Groundedness anhand von Belegen aus dem Kontext

Answer

BLEU-Score zwischen Antwort und Referenz

Answer

Perplexity des Sprachmodells

Answer

Klickrate (CTR) im UI

Question 7

Wofür werden MRR und nDCG im Retrieval typischerweise eingesetzt?

Accepted Answer

Bewertung der Rangfolge, wobei Top-Positionen stärker gewichtet werden

Answer

Messung der Einbettungsdimension im Index

Answer

Schätzung der Tokenisierungsgeschwindigkeit

Answer

Bewertung der Kosten pro Anfrage

Question 8

Welcher Schritt vor dem Retrieval ist gängig, um schwach formulierte Nutzeranfragen zu verbessern?

Accepted Answer

Query-Rewriting oder -Expansion (z. B. HyDE) mit anschließendem Retrieval

Answer

Label Smoothing während des Trainings

Answer

Beam Search in der Antwortgenerierung

Answer

Teacher Forcing bei der Modellfeinabstimmung

Question 9

Welche Praxis ist Standard, um ein belastbares Evaluations-Set für RAG aufzubauen?

Accepted Answer

Kuratiertes Set aus Fragen mit Gold-Passagen und akzeptierten Referenzantworten

Answer

Zufällige Log-Abfragen ohne Ground Truth

Answer

Nur synthetische Antworten ohne überprüfbare Belege

Answer

Verzicht auf Offline-Evaluation zugunsten von Live-Feedback

Question 10

Welche Maßnahme senkt Latenz in der Produktion, ohne die Antwortqualität unnötig zu riskieren?

Accepted Answer

Caching von Einbettungen und wiederkehrenden Retrieval-Ergebnissen

Answer

Drastische Reduktion der Embedding-Dimension auf Kosten der Semantik

Answer

Deaktivierung des Rerankings unabhängig vom Qualitätsverlust

Answer

Bereitstellung kompletter Rohdokumente im Prompt statt Chunks

Quiz: RAG in der Praxis — Pipeline-Schritte und Qualitätsmetriken

Einmal die Woche das, was wirklich neu ist.