RAG erklärt: KI, die mit Ihren eigenen Daten arbeitet
RAG verbindet ein Sprachmodell mit einer durchsuchbaren Wissensbasis. Das kann Antworten besser belegen und leichter aktualisierbar machen – verhindert aber weder falsche Treffer noch erfundene Schlussfolgerungen.
- RAG sucht zuerst passende Passagen und gibt sie dem Sprachmodell als Kontext.
- Quellen sind nur sichtbar, wenn die Anwendung Fundstellen bewusst mitführt.
- Berechtigungen, Aktualisierung und Qualität müssen separat getestet werden.
Das Problem, das RAG lösen soll
Ein allgemeines Sprachmodell kennt weder die aktuelle Preisliste noch interne Richtlinien eines KMU. Bei Retrieval-Augmented Generation (RAG) werden deshalb vor einer Antwort passende Stellen aus einer freigegebenen Dokumentensammlung gesucht und dem Modell als Kontext übergeben.
Das ist etwas anderes als ein Neutraining des Modells. Dokumente bleiben in einer separaten Wissensbasis und können ausgetauscht oder neu indexiert werden.
Vom Dokument zur Antwort
- Aufbereiten: Dateien werden gelesen, in sinnvolle Abschnitte geteilt und mit Metadaten versehen.
- Indexieren: Die Abschnitte werden für eine spätere Suche abgelegt, häufig mit Vektorrepräsentationen.
- Abrufen: Eine Anfrage sucht mehrere vermutlich passende Passagen.
- Formulieren: Das Sprachmodell erhält Frage und Fundstellen und erzeugt daraus eine Antwort.
- Belegen: Die Anwendung zeigt die tatsächlich verwendeten Dokumente oder Abschnitte an.
Eine neue Datei ist erst verfügbar, wenn die Verarbeitung und Indexierung erfolgreich abgeschlossen wurden. «Sofort aktuell» ist deshalb nur mit einem zuverlässig überwachten Aktualisierungsprozess richtig.
Wo RAG weiterhin Fehler macht
- Die Suche findet eine ähnliche, aber nicht die richtige Passage.
- Ein altes Dokument erhält einen höheren Rang als die gültige Fassung.
- Die Antwort geht über den Inhalt der Fundstellen hinaus.
- Eine Quelle wird angezeigt, stützt die konkrete Aussage aber nicht vollständig.
- Ein Nutzer sieht Dokumente, für die seine Berechtigung nicht sauber durchgesetzt wurde.
Darum sollten Antworten anhand eines festen Fragensatzes geprüft werden. Bei sensiblen oder folgenreichen Themen ist eine menschliche Kontrolle weiterhin nötig.
Was Schweizer KMU vorab festlegen sollten
Für einen Support-Assistenten oder eine interne Wissenssuche braucht es einen Dokumentverantwortlichen, Versionen und Löschregeln. Zugriffsrechte sollten bereits beim Abruf gelten – nicht erst nachdem das Modell eine Antwort erzeugt hat. Enthält die Wissensbasis Personendaten, gehört der gesamte Verarbeitungsweg in die Datenschutzprüfung.
Ein kleiner Pilot mit wenigen, gut gepflegten Dokumenten ist oft aussagekräftiger als der sofortige Import eines ganzen Dateiarchivs.
Originalarbeit und Einordnung
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks – Forschungsarbeit, die den Begriff RAG geprägt hat
Kurz nachgefragt
Verhindert RAG Halluzinationen?
Nein. RAG kann relevante Fakten bereitstellen, aber Suche und Formulierung können weiterhin fehlerhaft sein. Quellenanzeige, Tests und gegebenenfalls menschliche Prüfung bleiben nötig.
Muss das Sprachmodell bei neuen Dokumenten neu trainiert werden?
Üblicherweise nicht. Die Dokumente werden in der separaten Wissensbasis verarbeitet und neu indexiert. Ob eine Änderung schnell verfügbar ist, hängt vom Aktualisierungsprozess ab.
