Retrieval-Augmented Generation (RAG)

auch: RAG · Retrieval Augmented Generation · RAG-System

Kurz gesagt: Retrieval-Augmented Generation (RAG) verbindet ein Sprachmodell mit einer Wissensdatenbank: Vor der Antwort werden passende Dokumente gesucht und dem Modell als Kontext mitgegeben. So antwortet KI faktenbasiert auf den eigenen Daten.

Retrieval-Augmented Generation (RAG) ist ein Verfahren, das ein grosses Sprachmodell mit einer externen Wissensquelle kombiniert. Statt nur auf das Trainingswissen zurückzugreifen, sucht das System zur Anfrage zuerst relevante Passagen aus den eigenen Dokumenten und übergibt sie dem Modell. Das Ergebnis: Antworten, die aktuell, nachvollziehbar und auf gesichertem Firmenwissen verankert sind – die Grundlage zuverlässiger KI-Chatbots.

Definition

RAG wurde 2020 in einer Arbeit von Lewis et al. beschrieben^[1]. Die Idee: Ein generatives Sprachmodell wird mit einem Retrieval-Schritt erweitert, der relevante Informationen aus einer durchsuchbaren Wissensbasis holt, bevor die Antwort erzeugt wird.

Dadurch ist das Modell nicht auf sein – möglicherweise veraltetes – Trainingswissen beschränkt, sondern kann auf aktuelle und unternehmensspezifische Daten zugreifen.

Wie RAG funktioniert

Der Ablauf hat drei Schritte. 1. Indexierung: Dokumente werden in Abschnitte zerlegt, in Vektoren («Embeddings») umgewandelt und in einer Vektordatenbank gespeichert. 2. Retrieval: Zur Nutzerfrage werden die semantisch ähnlichsten Abschnitte gesucht^[2].

3. Generation: Die gefundenen Passagen werden zusammen mit der Frage an das Sprachmodell übergeben, das daraus eine fundierte Antwort formuliert – idealerweise mit Quellenangabe. So bleibt die Antwort überprüfbar.

Warum RAG wichtig ist

Reine Sprachmodelle neigen zu Halluzinationen – sie erzeugen plausibel klingende, aber falsche Aussagen. RAG dämmt dieses Risiko spürbar ein, weil die Antwort an konkrete Quellen gebunden wird.

Für KMU bedeutet das: Ein Chatbot kann verlässlich Auskunft über die eigenen Produkte, Preise oder Richtlinien geben, ohne dass das Modell neu trainiert werden muss. Aktualisieren heisst hier einfach, die Wissensbasis zu aktualisieren.

Einsatzgebiete

Wissens-Chatbots

Beantworten Fragen zu Produkten, Verträgen oder internen Richtlinien.

Kundensupport

Liefern Support-Antworten aus der geprüften Wissensdatenbank.

Dokumenten-Suche

Durchsuchen grosse Aktenbestände semantisch statt nur per Stichwort.

Internes Wissen

Erschliessen Firmenwissen für neue Mitarbeitende.

Vorteile & Grenzen

Vorteile

Faktenbasierte Antworten mit Quellenangabe
Aktualisierung ohne erneutes Modelltraining
Reduziert Halluzinationen stark
Funktioniert mit privaten, sensiblen Daten

Grenzen & Risiken

Qualität hängt von der Aufbereitung der Wissensbasis ab
Schlechtes Retrieval führt zu schlechten Antworten
Benötigt eine Vektordatenbank und Infrastruktur
Erfordert sorgfältiges Chunking der Dokumente

Häufig gestellte Fragen

Was ist Retrieval-Augmented Generation?

RAG kombiniert zwei Schritte: Erst durchsucht das System eine Wissensdatenbank nach den zur Frage passenden Textstellen, dann formuliert ein Sprachmodell die Antwort allein auf dieser Grundlage. Dadurch stützt sich die KI auf echte, aktuelle Firmendaten statt auf ihr allgemeines Trainingswissen.

Wozu braucht man RAG?

RAG sorgt dafür, dass KI-Systeme faktenbasiert und mit Quellen antworten, statt Inhalte zu erfinden. Für Unternehmen ist es der Weg, um Chatbots verlässlich auf den eigenen Produkten, Preisen und Dokumenten antworten zu lassen.

Was ist der Unterschied zwischen RAG und einem fein abgestimmten Modell?

Beim Fine-Tuning wird das Modell selbst auf neuen Daten nachtrainiert – aufwendig und statisch. Bei RAG bleibt das Modell unverändert; das Wissen liegt in einer durchsuchbaren Datenbank und lässt sich jederzeit aktualisieren, ohne neu zu trainieren.

Reduziert RAG Halluzinationen?

Ja, deutlich. Weil die Antwort an konkrete, abgerufene Quellen gebunden wird, sinkt das Risiko erfundener Aussagen erheblich – vorausgesetzt, die Wissensbasis ist gut aufbereitet und das Retrieval liefert relevante Passagen.

Eignet sich RAG für sensible Firmendaten?

Ja. Die Wissensbasis kann auf eigener Infrastruktur in der Schweiz betrieben werden. So bleiben vertrauliche Dokumente unter eigener Kontrolle, während das Sprachmodell nur den jeweils nötigen Kontext erhält.

Quellen

Lewis et al.: «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» (2020) – arxiv.org/abs/2005.11401
Wikipedia: Retrieval-augmented generation – en.wikipedia.org/wiki/Retrieval-augmented_generation