Retrieval-augmented generation (RAG) entstand als Antwort auf eine bekannte Grenze der Sprachmodelle: Parametrisches Wissen ist undurchsichtig, schwer zu aktualisieren und neigt zu unbelegten Aussagen. Die von Lewis und Kollegen (2020) vorgeschlagene Architektur trennt die beiden Probleme, indem sie einer Suchkomponente die Auswahl der Evidenz und dem Modell deren Synthese anvertraut. Die Qualität des Ergebnisses hängt daher entscheidend davon ab, was die Suche dem Modell liefert.
Genau hier bringen strukturierte Dokumente die gängige Praxis an ihre Grenzen. Eine Bilanz, ein Transportvertrag, die Satzung einer Genossenschaft sind keine gleichförmigen Absatzfolgen: Es sind Objekte mit einer Topologie aus Abschnittshierarchien, Tabellen, Anmerkungen, Definitionen und Querverweisen. Die Segmentierung fester Länge, das Chunking, behandelt diese Topologie, als gäbe es sie nicht.
Was beim Schneiden fester Länge verloren geht
Der einfachste Fall ist die Tabelle. In einer Bilanz gewinnt die Zelle «1.250» ihre Bedeutung nur zusammen mit der Spaltenüberschrift (dem Geschäftsjahr), der Zeilenüberschrift (dem Posten), der erklärten Einheit (Tausend Euro) und der Anmerkung, die sie kommentiert, oft Seiten entfernt. Ein Block von 512 Token, der die Zelle, aber nicht die Überschriften enthält, erzeugt eine formal einschlägige und semantisch verstümmelte Evidenz; das Modell wird sie mit derselben Sicherheit lesen wie eine vollständige, und der entstehende Fehler wird an der Oberfläche von einer korrekten Antwort nicht zu unterscheiden sein.
Querverweise stellen dasselbe Problem in anderer Form. «Siehe Anmerkung 12» ist eine Nullinformation, wenn Anmerkung 12 in einem anderen Block liegt; eine Vertragsklausel, gelesen ohne die ihr vorangehende Definition, kann ihre Bedeutung ändern, denn in juristischen Texten sind Definitionen bindend und nicht dekorativ; eine halbierte Tabelle erzeugt Zeilen ohne ihre Spalten. In all diesen Fällen geschieht die Verschlechterung nicht im Modell, sondern vor dem Modell: Es ist ein Problem der Eingaberepräsentation, nicht der generativen Fähigkeit.
Die Sucheinheit ist eine logische Einheit
Die erste Korrektur besteht darin, die Struktur vor der Indexierung zu analysieren. Layout- und Strukturanalyse von Dokumenten ist ein reifes Feld mit etablierten Benchmarks und Werkzeugen: Es geht nicht um technische Machbarkeit, sondern um die architektonische Entscheidung, Arbeit in die Aufnahme zu investieren. Konkret: Abschnitte und Unterabschnitte bleiben als Hierarchie erhalten; Tabellen bleiben Tabellen, und jede Zeile reist mit ihren Überschriften; Anmerkungen werden mit der Stelle verknüpft, an der sie aufgerufen werden; Definitionen werden den Klauseln zugeordnet, die sie verwenden.
Die zweite Korrektur besteht darin, Metadaten zusammen mit dem Inhalt zu indexieren: Referenzzeitraum, Maßeinheit, Währung, Quelle, Dokumentversion. Daraus folgt ein allgemeines Prinzip: Die Sucheinheit ist eine logische Einheit des Dokuments, keine Zeichenmenge. Eine wohlgeformte Evidenz muss für sich stehen, also interpretierbar sein, ohne dass der Leser, ob Mensch oder Maschine, den fehlenden Kontext rekonstruieren muss.
Hybride Suche, in der richtigen Reihenfolge
Zur eigentlichen Suche bietet die Literatur zwei Methodenfamilien: die lexikalische Suche, deren Referenzvertreter BM25 bleibt (Robertson und Zaragoza, 2009), und die dichte Suche über gelernte Repräsentationen (Karpukhin et al., 2020). Semantische Suche allein genügt jedoch nicht, aus einem Grund, den die operative Erfahrung offensichtlich macht: Ähnlichkeit zwischen Texten ist nicht Einschlägigkeit. Eine Frage zur Forderungswertberichtigung 2023 ähnelt sehr einem Absatz über die Wertberichtigung 2021, und die dichte Suche allein hat kein Mittel, den richtigen zu bevorzugen.
Ein robustes System kombiniert die Ähnlichkeit mit deterministischen Filtern (Dokumenttyp, Geschäftsjahr, Abschnitt), mit der Klassifikation der Abschnitte und mit den Beziehungen zwischen Entitäten: der Bilanzposten, die Anmerkung, die ihn erklärt, die Anlage, die ihn detailliert. Die Reihenfolge zählt: Zuerst wird die Kandidatenmenge mit Filtern eingegrenzt, dann wird innerhalb der Teilmenge nach Ähnlichkeit gesucht. Die Reihenfolge umzukehren heißt, eine der Frage sehr ähnliche Evidenz aus dem falschen Jahr die richtige überholen zu lassen.
Die Bewertung folgt der Architektur
Wenn die Evidenz der begrenzende Faktor ist, muss die Bewertung die Evidenz messen. Generierungsmetriken (Flüssigkeit, wahrgenommene Kohärenz) sind schwache Indikatoren, weil sie überzeugende Antworten unabhängig von ihrer Grundlage belohnen. Das einschlägige Maß ist die Präzision der Suche gegenüber einem annotierten Referenzbestand: Für diese Frage, auf diesem Dokument, ist die korrekte Evidenz diese Zelle, diese Anmerkung, diese Klausel. Diese Bewertung ist teurer zu bauen und strenger in ihren Ergebnissen, und sie ist die einzige, die das Verhalten des Systems im Betrieb vorhersagt.
Daraus folgt auch eine Verhaltensregel für das System: Wenn Evidenz fehlt, dies sagen. Ein System, das trotzdem vervollständigt und dabei auf das parametrische Wissen des Modells zurückgreift, erzeugt genau die Fehlerklasse, zu deren Beseitigung die RAG-Architektur erfunden wurde.
Der Anwendungskontext
In den Analytiko™-Produkten übersetzen sich diese Entscheidungen in zwei koexistierende Indizes, einen strukturellen und einen semantischen, in deterministische Filter vor der Ähnlichkeit und in die obligatorische Quellenangabe neben jedem zurückgegebenen Wert. Der Preis ist eine aufwendiger zu wartende Aufnahme-Pipeline; der Gewinn ist, dass sich jede Antwort durch Rückverfolgung zu Dokument, Abschnitt und Ursprungszelle überprüfen lässt. Wenn das Dokument eine Bilanz oder ein Vertrag ist, ist Überprüfbarkeit keine Nebeneigenschaft: Sie ist die Bedingung dafür, dass das System in einen Prozess eintreten kann, für den jemand einsteht.
Literatur: Lewis P. et al., «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks», NeurIPS 2020 · Robertson S., Zaragoza H., «The Probabilistic Relevance Framework: BM25 and Beyond», Foundations and Trends in Information Retrieval, 2009 · Karpukhin V. et al., «Dense Passage Retrieval for Open-Domain Question Answering», EMNLP 2020.
Analytiko · 2. September 2026