Warum eine KI-Suche auch Stichwörter braucht

Eine KI-Suche über Firmenunterlagen sollte zwei Verfahren kombinieren: die klassische Suche nach Wörtern und die Suche nach Bedeutung. In einer Messung mit 23.088 Fragen fand die Kombination mit anschließendem Nachsortieren in 81,6 Prozent der Fälle die richtige Stelle unter den ersten fünf Treffern. Die reine Bedeutungssuche, die viele KI-Werkzeuge als Standard einsetzen, kam nur auf 58,7 Prozent und lag damit sogar hinter der einfachen Stichwortsuche.

Das hat mich beim ersten Lesen überrascht. Die Bedeutungssuche gilt als das moderne Verfahren, und trotzdem verliert sie gegen eine Technik, die es seit Jahrzehnten gibt.

Zwei Arten zu suchen

Stichwortsuche findet Abschnitte, in denen die Wörter aus deiner Frage vorkommen, und gewichtet seltene Wörter höher als häufige. Das Fachwort dafür ist BM25, nach dem Rechenverfahren, das dahintersteckt. Sie ist stark, wenn es auf genaue Begriffe ankommt: eine Artikelnummer, „T30-RS“, eine Positionsnummer im Leistungsverzeichnis.

Bedeutungssuche übersetzt jeden Abschnitt in eine lange Zahlenreihe, eine sogenannte Einbettung, und sucht Abschnitte mit ähnlicher Bedeutung. Sie ist stark, wenn du anders fragst, als es im Dokument steht: Du fragst nach der „Flurtür“, im Dokument steht „Tür im Verkehrsbereich“.

Im Büro brauchst du beides. Die eine Frage enthält eine Artikelnummer, die nächste ist umgangssprachlich.

Was die Messung zeigt

Eine Untersuchung aus dem April 2026 (arXiv 2604.01733) hat verschiedene Verfahren auf 23.088 Fragen über Dokumente mit Text und Tabellen verglichen. Gemessen wurde, wie oft die richtige Stelle unter den ersten fünf Treffern war:

Verfahren	Richtige Stelle unter den ersten fünf
Beides kombiniert, dann nachsortiert	81,6 %
Beides kombiniert, ohne Nachsortieren	69,5 %
Nur Stichwortsuche	64,4 %
Nur Bedeutungssuche	58,7 %

Der größte Einzelgewinn kommt vom Nachsortieren: Ein zweites Modell liest die Treffer noch einmal und ordnet sie nach Relevanz. Das brachte gut zwölf Prozentpunkte gegenüber der Kombination ohne Nachsortieren.

Ein beliebter Trick hat dagegen geschadet. Dabei lässt man das Sprachmodell zuerst eine erfundene Musterantwort schreiben und sucht dann nach Abschnitten, die dieser ähneln. Mit dem Trick fiel die Bedeutungssuche von 58,7 auf 54,4 Prozent.

Was das für eine Antwort heißt

Ein RAG-System kann nur so gut antworten, wie es vorher sucht. Findet die Suche die richtige Stelle nicht, schreibt das Sprachmodell trotzdem einen ordentlichen Satz, nur eben auf Grundlage der falschen Seite. Wie die Schritte zusammenhängen, steht in Wie funktioniert RAG?.

Deshalb haben wir für das envisbo Cockpit festgelegt:

Stichwortsuche und Bedeutungssuche laufen immer gemeinsam. Reine Bedeutungssuche ist bei uns nicht erlaubt.
Die Ergebnisse beider Verfahren werden zusammengeführt und anschließend nachsortiert.
Den Trick mit der erfundenen Musterantwort setzen wir nicht ein.

Was wir nicht wissen

Die Messung ist auf Englisch und mit Unterlagen aus der Finanzwelt gemacht. Einen vergleichbaren Test mit deutschen technischen Unterlagen gibt es nach unserem Wissen nicht.

Unsere Vermutung ist, dass die Stichwortsuche im Deutschen eher noch wichtiger ist. Wörter wie „Brandschutzklappenwartungsprotokoll“ sind lang und genau, und genau da ist die Stichwortsuche stark. Das ist aber eine Vermutung, kein Ergebnis. Wir prüfen es mit einem eigenen Satz von Testfragen, sobald wir echte Unterlagen aus Betrieben haben.

Wie suchst du heute in alten Projektunterlagen? Über die Ordnerstruktur, über die Suchfunktion, oder fragst du einfach den Kollegen, der schon am längsten da ist?