Wie funktioniert RAG? Einfach erklärt am Leistungsverzeichnis
RAG steht für „Retrieval-Augmented Generation“, auf Deutsch etwa: Antworten erzeugen, nachdem man vorher nachgeschlagen hat. Die KI beantwortet deine Frage nicht aus dem Gedächtnis, sie sucht zuerst die passenden Stellen in deinen eigenen Unterlagen und formuliert die Antwort nur aus diesen Stellen. Deshalb kann sie dir sagen, wo es steht, und deshalb kann sie auch sagen, dass es nirgends steht.
Das klingt simpel. Die Qualität einer solchen Antwort hängt aber fast vollständig davon ab, was vor dem eigentlichen Schreiben passiert. Darum geht es hier.
Das Bild aus dem Büro
Stell dir eine erfahrene Kollegin vor, die du fragst: „Welche Türen sind für den Flur im 2. OG vorgesehen?“ Sie weiß es nicht auswendig. Sie geht an den Schrank, zieht das Leistungsverzeichnis, blättert zu Position 4.3, liest nach und sagt dir dann die Antwort. Und weil sie gewissenhaft ist, sagt sie dazu: „Steht auf Seite 7.“
Genau das macht ein RAG-System. Der Schrank ist eine Datenbank, das Blättern ist eine Suche, und die Kollegin, die am Ende einen ordentlichen Satz formuliert, ist das Sprachmodell.
Die fünf Schritte
1. Einlesen
Bevor irgendjemand fragen kann, werden die Unterlagen eingelesen. Jede Datei bekommt eine Fassung, jede Seite wird für sich erfasst. Aus einem PDF mit Textebene lässt sich der Text direkt herauslesen, ein eingescanntes Blatt braucht ein Bildmodell, das den Text erst erkennt.
Eingelesen wird nur, was ausdrücklich freigegeben ist. Warum das wichtig ist, steht in Warum wir nur die Ordner einlesen, die du nennst.
2. In Abschnitte zerlegen
Ein Leistungsverzeichnis mit 200 Seiten ist zu groß, um es bei jeder Frage komplett an ein Sprachmodell zu geben. Also wird es in Abschnitte zerlegt, zum Beispiel Position für Position. Jeder Abschnitt bleibt mit Dokument, Fassung und Seite verknüpft.
Wie man zerlegt, entscheidet über die Qualität. Bei einer Excel-Tabelle braucht jeder Abschnitt die Kopfzeile, sonst weiß niemand, welche Zahl der Preis ist. Mehr dazu in Warum Excel für eine KI kein Textdokument ist.
3. Durchsuchbar machen
Jeder Abschnitt wird auf zwei Arten auffindbar gemacht. Einmal klassisch über seine Wörter, so wie eine Suchfunktion im Explorer. Und einmal über seine Bedeutung: Ein Rechenverfahren übersetzt den Text in eine lange Zahlenreihe, eine sogenannte Einbettung. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlenreihen, auch wenn sie andere Wörter benutzen. So findet die Suche „Flurtür“ auch dann, wenn im Dokument „Tür im Verkehrsbereich“ steht.
Warum es beide Arten braucht, haben wir in Warum eine KI-Suche Stichwörter braucht mit Zahlen aufgeschrieben.
4. Suchen und sortieren
Jetzt kommt deine Frage. Das System sucht die Abschnitte, die am besten passen, mit beiden Suchverfahren gleichzeitig. Die Treffer werden zusammengeführt und von einem zweiten Modell noch einmal nach Relevanz sortiert. Übrig bleiben eine Handvoll Stellen.
5. Antworten, mit Quelle
Erst jetzt kommt das Sprachmodell ins Spiel. Es bekommt deine Frage und genau diese Handvoll Stellen, dazu die Anweisung, nur daraus zu antworten. Es formuliert einen Satz und markiert, welche Aussage aus welcher Stelle kommt.
Die Quellenangabe, die du siehst, stammt dabei aus der Datenbank, in der jeder Abschnitt mit seiner Seite gespeichert ist. Das Modell kann also keine Seite angeben, die es nicht gibt. Warum uns das so wichtig ist, steht in Warum eine KI-Antwort eine Quelle braucht.
Was RAG nicht ist
RAG ist kein Training. Deine Unterlagen werden dem Sprachmodell nicht dauerhaft beigebracht. Das Modell sieht bei jeder Frage nur die paar Stellen, die gerade gebraucht werden, und vergisst sie danach wieder. Das hat zwei Vorteile: Ein neues Dokument ist sofort abfragbar, und ein gelöschtes Dokument ist wirklich weg, weil es nirgends eintrainiert wurde.
RAG ist auch keine Garantie für richtige Antworten. Findet die Suche die falsche Stelle, bekommst du eine gut formulierte Antwort auf Grundlage der falschen Seite. Deshalb ist der Klick auf die Quelle so wichtig. Du prüfst in Sekunden, ob die Stelle passt.
Was die Aufsichtsbehörden dazu sagen
Die Datenschutzkonferenz, das Gremium der deutschen Datenschutzaufsichtsbehörden, hat im Oktober 2025 eine Orientierungshilfe zu RAG-Systemen veröffentlicht. Sie verlangt unter anderem, dass ein solches System nur aus den herangezogenen Quellen antwortet und dass Mitarbeitende nur abfragen können, was für sie bestimmt ist. Beides sind Fragen der Bauweise, nicht des Modells.
Woran du ein gutes RAG-System erkennst
- Jede Aussage hat eine Quelle, und ein Klick zeigt dir die Originalseite.
- „Dazu finde ich nichts in deinen Unterlagen“ kommt als ehrliche Antwort vor, und zwar nicht selten.
- Du weißt, welche Ordner eingelesen sind, und wer sie sehen kann.
- Ein neues Dokument ist nach kurzer Zeit abfragbar, ohne dass jemand etwas neu trainiert.
So bauen wir Wissen, das erste Modul im envisbo Cockpit. Ehrlich gesagt ist der Teil mit dem Sprachmodell dabei der kleinste. Die meiste Arbeit steckt im Einlesen, Zerlegen und Suchen, und damit in deinen Unterlagen selbst.
Wo liegt in deinem Betrieb das Wissen, nach dem am häufigsten gefragt wird? Und wie lange dauert es heute, bis jemand die richtige Seite gefunden hat?