RAG erklärt: Wie eine KI mit Ihren eigenen Dokumenten arbeitet – statt zu raten

Die häufigste Enttäuschung beim ersten Kontakt mit künstlicher Intelligenz im Unternehmen klingt so: „Das Ding erfindet Sachen.“ Jemand hat nach den eigenen Lieferbedingungen gefragt, nach der Garantiezeit eines Produkts oder nach dem Inhalt eines Rahmenvertrags – und eine flüssig formulierte, überzeugend klingende, komplett falsche Antwort bekommen.

Das ist kein Defekt. Es ist die logische Folge daraus, wie ein Sprachmodell arbeitet. Es hat gelernt, aus einem Textanfang eine wahrscheinliche Fortsetzung zu bilden. Wenn es Ihre Garantiebedingungen nicht kennt, bildet es die wahrscheinlichste Formulierung – also das, was in vergleichbaren Dokumenten üblicherweise steht. Für eine Auskunft an einen Kunden ist das unbrauchbar.

Der übliche Ausweg heißt Retrieval Augmented Generation, kurz RAG. Der Begriff klingt technischer, als das Prinzip ist.

Das Prinzip in einem Satz

Statt das Modell antworten zu lassen, was es zu wissen glaubt, sucht das System zuerst in Ihren eigenen Dokumenten nach den passenden Stellen und legt diese dem Modell zusammen mit der Frage vor. Das Modell formuliert dann die Antwort ausschließlich aus diesem Material.

Die Analogie, die es für die meisten greifbar macht: Sie fragen keinen Menschen, der Ihr Unternehmen auswendig gelernt hat. Sie fragen einen aufmerksamen neuen Kollegen, dem Sie vor jeder Frage die drei relevanten Seiten aus dem Aktenordner auf den Tisch legen. Er ist gut im Lesen und Formulieren – wissen muss er nichts.

Was dabei technisch passiert

Aufbereitung der Dokumente

Zunächst werden Ihre Unterlagen eingelesen: PDF, Word, Präsentationen, Intranet-Seiten, E-Mails, Tabellen. Sie werden in handliche Abschnitte zerlegt, denn ein 200-seitiges Handbuch als Ganzes hilft niemandem. Diese Zerlegung ist wichtiger, als sie klingt: Trennt man an den falschen Stellen, wird der Zusammenhang zerschnitten und eine Tabelle verliert ihre Überschrift.

Umwandlung in Vektoren

Jeder Abschnitt wird in eine Zahlenreihe übersetzt, die seine Bedeutung abbildet. Texte mit ähnlichem Inhalt bekommen ähnliche Zahlenreihen. Der Vorteil gegenüber einer klassischen Stichwortsuche: Die Frage „Wie lange kann ich ein Gerät zurückgeben?“ findet auch einen Abschnitt, der von „Widerrufsfrist“ spricht, obwohl kein einziges Wort übereinstimmt.

Suche und Antwort

Bei einer Frage wird diese ebenfalls in eine Zahlenreihe übersetzt, die ähnlichsten Abschnitte werden herausgesucht – üblicherweise eine Handvoll – und gemeinsam mit der Frage an das Sprachmodell übergeben. Dazu kommt eine Anweisung im Sinne von: Antworte nur auf Basis dieser Auszüge; wenn die Information dort nicht steht, sage das.

Gute Systeme geben zusätzlich an, aus welchen Dokumenten die Antwort stammt. Diese Quellenangabe ist kein Beiwerk, sondern der eigentliche Wert: Sie macht die Antwort überprüfbar.

Was RAG löst – und was nicht

RAG senkt das Risiko frei erfundener Inhalte erheblich, weil das Modell aus vorgelegtem Material arbeitet. Es sorgt dafür, dass neue Dokumente sofort wirksam sind, ohne dass ein Modell neu trainiert werden müsste. Und es erlaubt, Zugriffsrechte zu berücksichtigen – dazu gleich mehr.

Was RAG nicht leistet: Es macht schlechte Dokumente nicht gut. Wenn in Ihrer Ablage drei Versionen derselben Preisliste liegen und keine als gültig gekennzeichnet ist, wird das System eine davon finden – möglicherweise die falsche. Es beantwortet auch keine Fragen, die eine Auswertung über viele Dokumente hinweg erfordern. „Wie viele Angebote haben wir im letzten Quartal an Kunden in Bayern geschickt?“ ist eine Datenbankfrage, keine Suchfrage. Dafür braucht es die Anbindung an das jeweilige Fachsystem.

Die vier Stellen, an denen es in der Praxis hakt

1. Die Qualität der Ablage

Dies ist mit Abstand der häufigste Grund für unbefriedigende Ergebnisse. Gewachsene Ablagen enthalten Entwürfe neben Endfassungen, veraltete Preise, doppelte Dateien mit Namen wie „final_v3_neu“. Ein Mensch erkennt am Kontext, was gilt. Ein Suchsystem tut das nicht.

Die gute Nachricht: Man muss nicht die gesamte Ablage aufräumen. Es genügt, für den ersten Anwendungsfall einen sauberen Bereich zu definieren – etwa die freigegebenen Produktunterlagen und die aktuelle Preisliste – und nur diesen anzubinden. Weitere Bereiche kommen dazu, sobald sie geordnet sind.

2. Berechtigungen

Wenn ein Assistent Ihre Dokumente durchsucht, muss er dieselben Regeln befolgen wie ein Mensch. Ein Mitarbeiter aus dem Lager darf über den Assistenten nicht die Gehaltsliste finden, die in einem Personalordner liegt. Technisch bedeutet das, dass Berechtigungen bei jeder Anfrage geprüft werden müssen und nicht erst bei der Anzeige des Ergebnisses.

Systeme, die einfach alles in einen gemeinsamen Suchindex kippen, sind an dieser Stelle ein ernstes Problem. Diese Frage sollte bei jeder Anbietergegenüberstellung ganz oben stehen – und die Antwort sollte nicht „das regeln wir über den Prompt“ lauten.

3. Tabellen, Scans und gewachsene Formate

Fließtext ist einfach. Schwierig wird es bei Tabellen, mehrspaltigen Layouts, Zeichnungen und eingescannten Dokumenten. Eine Preistabelle verliert beim ungeschickten Einlesen die Zuordnung von Zeile und Spalte – und das Ergebnis ist ein Preis, der zum falschen Artikel gehört. Wer viel mit solchen Unterlagen arbeitet, sollte genau diese Fälle im Test verwenden und nicht die freundlichen.

4. Die Erwartung, dass alles auf einmal geht

Der Wunsch, „einmal alles anzubinden“, führt regelmäßig zu einem System, das überall mittelmäßig ist. Ein Assistent, der für den Vertrieb Produktunterlagen und Referenzen zuverlässig beherrscht, ist wertvoller als einer, der alles ein bisschen kann.

Was Sie vorbereiten sollten

Wenn Sie eine solche Anbindung planen, helfen vier Vorarbeiten mehr als jede Technologieentscheidung.

Legen Sie den Anwendungsfall fest. Wer fragt was, wie oft, und was macht die Person mit der Antwort?

Bestimmen Sie die Quellen. Welche Ordner, welche Systeme, welche Dokumenttypen. Und wer inhaltlich dafür verantwortlich ist, dass sie aktuell sind.

Klären Sie das Rechtekonzept. Existieren saubere Gruppen und Berechtigungen? Falls nicht, ist das die erste Aufgabe – unabhängig von KI.

Sammeln Sie echte Testfragen. Zwanzig bis dreißig Fragen, die tatsächlich gestellt werden, samt der korrekten Antwort. Das ist Ihr Prüfmaßstab. Ohne diese Liste bleibt jede Bewertung Gefühlssache.

Der Unterschied im Alltag

Ein allgemeines Sprachmodell ist ein hervorragender Formulierungsassistent. Es hilft beim Umschreiben, Kürzen, Übersetzen und Strukturieren. Ein an Ihre Dokumente angebundenes System ist etwas anderes: Es beantwortet Fragen zu Ihrem Geschäft, mit Quellenangabe, im Rahmen der Berechtigungen des Fragenden.

Der Aufwand für den zweiten Schritt ist geringer, als viele erwarten – vorausgesetzt, die Ablage ist an einer Stelle geordnet und die Berechtigungen stimmen. Genau an diesem Punkt beginnt unsere Arbeit üblicherweise: Wir sehen uns Ihre vorhandene Struktur an, benennen ehrlich, was zuerst aufgeräumt gehört, und binden dann den Bereich an, der den größten Nutzen bringt.

Woran Sie eine gute Antwort erkennen

Bei der Bewertung eines RAG-Systems hilft ein einfacher Maßstab. Eine brauchbare Antwort erfüllt vier Bedingungen: Sie ist inhaltlich richtig, sie ist vollständig genug für die Aufgabe, sie nennt die Quelle, und sie sagt ehrlich, wenn etwas nicht im Material steht.

Die letzte Bedingung wird am häufigsten unterschätzt und ist die wichtigste. Ein System, das bei fehlender Information „Dazu finde ich in den angebundenen Unterlagen nichts“ antwortet, ist im Betrieb weit wertvoller als eines mit einer höheren Trefferquote, das im Zweifel plausibel formuliert. Prüfen Sie das gezielt, indem Sie Fragen stellen, deren Antwort sicher nicht im Bestand steht.

Der Aufwand für Aktualität

Ein Punkt, der in Angeboten selten auftaucht: Ein angebundener Bestand veraltet. Neue Dokumente kommen dazu, alte werden ersetzt, Preise ändern sich. Wenn niemand dafür zuständig ist, sinkt die Qualität der Antworten schleichend – und niemand merkt es, weil falsche Antworten genauso souverän klingen wie richtige.

Regeln Sie deshalb zwei Dinge, bevor Sie starten: Wer ist inhaltlich verantwortlich für den angebundenen Bereich, und in welchem Rhythmus wird geprüft? Bei überschaubaren Beständen genügt ein Quartalstermin von einer Stunde.

Häufige Fragen

Wie viele Dokumente braucht es, damit sich das lohnt?

Die Menge ist selten das Kriterium. Entscheidend ist, wie oft gesucht wird und wie teuer das Nichtfinden ist. Ein Bestand von zweihundert gepflegten Dokumenten, in denen täglich gesucht wird, ist ein besserer Ausgangspunkt als zwanzigtausend ungeordnete Dateien.

Muss unsere Ablage vorher aufgeräumt sein?

Nur der Teil, den Sie anbinden. Definieren Sie einen sauberen Bereich und beginnen Sie dort. Der Versuch, erst alles in Ordnung zu bringen, ist der zuverlässigste Weg, nie anzufangen.

Werden unsere Dokumente zum Anbieter übertragen?

Bei der Antwortgenerierung werden die gefundenen Textauszüge an das Sprachmodell übergeben – das ist technisch notwendig. Entscheidend ist deshalb, wo dieses Modell läuft, ob Inhalte gespeichert werden und was der Vertrag dazu sagt. Fragen Sie das explizit ab.

Kann ein solches System auch rechnen oder auswerten?

Nur eingeschränkt. Fragen wie „Wie viele Angebote gingen im letzten Quartal nach Bayern?“ sind Datenbankfragen. Dafür braucht es eine Anbindung an das jeweilige Fachsystem, nicht an die Dokumentenablage.

Warum die Aufbereitung über die Qualität entscheidet

Zwischen „Dokumente anbinden“ und „gute Antworten bekommen“ liegt ein Arbeitsschritt, der selten im Angebot steht und oft den Unterschied macht: wie die Dokumente zerlegt und angereichert werden.

Die Zerlegung. Ein Dokument wird in Abschnitte geteilt, weil ein ganzes Handbuch als Antwortgrundlage unbrauchbar wäre. Schneidet man stur nach Zeichenzahl, zerreißt es Zusammenhänge: Eine Tabelle verliert ihre Überschrift, ein Absatz beginnt mitten im Satz, eine Bedingung wird von ihrer Ausnahme getrennt. Gute Systeme schneiden entlang der Struktur – an Überschriften, Absätzen, Tabellengrenzen – und lassen die Abschnitte leicht überlappen, damit an den Nahtstellen nichts verloren geht.

Die Anreicherung. Jeder Abschnitt sollte mitführen, woher er stammt: Dokumenttitel, Kapitel, Datum, Version, Zuständigkeit. Das hat zwei Effekte. Die Antwort kann eine brauchbare Quellenangabe machen – nicht „laut einem Dokument“, sondern „laut Serviceleitfaden, Abschnitt 4, Stand März“. Und das System kann bei mehreren Fundstellen die aktuellere bevorzugen, statt zu raten.

Genau hier liegt übrigens der praktische Grund, warum ein Datum im Dokument oder in den Dateieigenschaften mehr wert ist, als es aussieht. Wenn drei Fassungen einer Preisliste vorliegen und keine ein verlässliches Datum trägt, kann kein System die richtige auswählen.

Die Testliste richtig auswerten

Wenn Sie mit Ihren zwanzig bis dreißig Testfragen arbeiten, ist die Trefferquote die uninteressanteste Zahl. Aufschlussreich wird es, wenn Sie die Fehltreffer nach Ursache sortieren.

Das Dokument fehlte im Umfang. Kein Systemproblem, sondern eine Umfangsentscheidung. Leicht zu beheben.

Das Dokument war veraltet oder mehrfach vorhanden. Ein Ablageproblem. Ebenfalls behebbar, aber es zeigt, wo aufzuräumen ist.

Das Format wurde schlecht eingelesen. Typisch bei Tabellen, mehrspaltigen Layouts und Scans. Hier lohnt der Vergleich mehrerer Anbieter, weil sich die Qualität deutlich unterscheidet.

Die falsche Stelle wurde gefunden. Ein Problem der Zerlegung oder der Suche – das ist der Bereich, in dem die technische Lösung wirklich zählt.

Die Stelle war richtig, die Antwort falsch. Erst hier ist das Modell die Ursache. Erfahrungsgemäß ist das die kleinste Gruppe.

Diese Sortierung ist der Grund, warum wir Projekte fast immer mit einer Bestandsaufnahme beginnen und nicht mit einer Modellauswahl: Vier von fünf Ursachen liegen außerhalb des Modells.

Wenn Antworten mit der Zeit schlechter werden

Ein Effekt, mit dem viele nicht rechnen: Ein System, das im Test überzeugt hat, liefert nach einem halben Jahr schwächere Antworten – ohne dass sich technisch etwas geändert hätte.

Die Ursache ist fast immer der Bestand. Neue Dokumente kamen dazu, alte wurden nicht entfernt, Fassungen wurden ergänzt statt ersetzt. Was im Test ein gepflegter Bereich war, ist wieder eine gewachsene Ablage.

Dagegen hilft nur eine feste Zuständigkeit und ein Termin. Ein Quartalstermin von einer Stunde, in dem die verantwortliche Person prüft, ob die angebundenen Inhalte noch aktuell sind, genügt bei überschaubaren Beständen vollständig.