Retrieval-Methoden
für KI-Agenten auswählen

Retrieval-Augmented Generation bezieht externe Belege in den Arbeitskontext eines Modells ein. Vektorsuche ist eine mögliche Umsetzung. Ein Agent kann auch nach Stichwörtern suchen, die Dokumentstruktur untersuchen und relevante Passagen über Werkzeuge lesen. Diese Ansätze lassen sich kombinieren. [04] [05]

Für meine kuratierten Markdown-Notizen bietet sich agentische Dateisuche als Ausgangspunkt zum Ausprobieren an. Ein Agent kann damit seine Suchanfrage verfeinern und den Originaltext prüfen. Ein Embedding-Index muss dafür nicht gepflegt werden. Subramanian und Kollegen haben bei den untersuchten Aufgaben festgestellt, dass werkzeuggestützte Stichwortsuche annähernd die Leistung konventioneller RAG erreicht hat. Das spricht dafür, zunächst einen einfacheren Ansatz auszuprobieren und die Ergebnisse an der tatsächlich verwendeten Sammlung zu prüfen. [04]

Ein aussagekräftiger Vergleich sollte repräsentative Fragen umfassen. Dazu gehören Fragen, bei denen einzelne Angaben genau nachgeschlagen, abweichende Begriffe zugeordnet, Informationen aus mehreren Quellen verbunden oder aktuelle strukturierte Datensätze abgefragt werden müssen.

Die Auswahl der maßgeblichen Datenquelle ist von der Wahl der Retrieval-Methode zu unterscheiden. Markdown und JSON sind Formate, PostgreSQL ist eine Datenbank und RAG nutzt abgerufene Belege bei der Generierung. PostgreSQL kann auch JSON speichern. Diese Möglichkeiten lassen sich miteinander kombinieren. [01] [02]

In meinem persönlichen Experiment mit Agentic OS habe ich RAG, eine Datenbank und Markdown/JSON miteinander kombiniert.

Für kuratiertes Material, das als Datei gelesen, bearbeitet und versioniert wird, können Markdown oder JSON ein Ausgangspunkt sein. PostgreSQL kommt infrage, wenn gemeinsam genutzte Datensätze strukturierte Abfragen, Transaktionen oder koordinierte gleichzeitige Aktualisierungen erfordern. Seine Verfahren zur Nebenläufigkeitskontrolle unterstützen die Konsistenz zwischen Transaktionen. [03]

Ein autorisiertes Werkzeug kann den aktuellen Status einer Aufgabe aus ihrem maßgeblichen Datensatz abfragen. Suche oder RAG können dagegen relevante Passagen für eine Erklärung abrufen, die sich auf Dokumente stützt. Ein Arbeitsablauf kann beides benötigen. Welche Kombination geeignet ist, hängt von den Fragen, der Aktualität, den Änderungsmustern, den Berechtigungen, der Nachvollziehbarkeit und dem Wartungsaufwand ab.

Eine relevante Passage kann in der Quellensammlung vorhanden sein und das Modell trotzdem nicht erreichen. Das ist ein Retrieval-Fehler. Er unterscheidet sich von einer Antwort, die erfolgreich abgerufene Belege falsch verwendet.

Zunächst können die Suchanfrage, die Dokumentgrenzen, fehlender umgebender Kontext und die Rangfolge der Ergebnisse geprüft werden. Hybrides Retrieval kombiniert lexikalische und semantische Trefferverfahren. Reranking kann helfen, relevante Kandidaten auszuwählen. Bei Contextual Retrieval untersucht Anthropic außerdem, Textabschnitte vor der Indexierung um dokumentspezifischen Kontext zu ergänzen. Die berichteten Verbesserungen gelten für die untersuchte Konfiguration. [05]

Bei der Bewertung sollten sowohl der Abruf der Belege als auch die daraus entstehende Antwort berücksichtigt werden. Zusätzliche Passagen helfen, wenn sie Richtigkeit, Vollständigkeit oder Nachvollziehbarkeit verbessern. Auch Latenz und Wartungsaufwand sind relevant, besonders bei einer Sprachschnittstelle.

GraphRAG kommt infrage, wenn Fragen von Beziehungen oder übergreifenden Themen in mehreren Dokumenten abhängen. Der ursprüngliche Ansatz von Microsoft erstellt einen Entitätsgraphen und Zusammenfassungen von Gruppen im Graphen. Damit lassen sich Fragen zur Sammlung als Ganzes unterstützen. [06]

GraphRAG-Bench stellte bei einigen komplexen Schlussfolgerungs- und Zusammenfassungsaufgaben Vorteile von Graphverfahren fest. Einfaches RAG blieb beim Abruf einfacher Fakten konkurrenzfähig. [07]

Ich würde einen Graphen wählen, wenn repräsentative Fragen zeigen, dass die benötigten Beziehungen mit dem bisherigen Ansatz nicht erschlossen werden können. Der Graph muss außerdem mit seinen Quellen übereinstimmen. Bei häufig bearbeiteten Notizen bieten sich zunächst eine klarere Struktur, besseres Retrieval und eine iterative Suchschleife zum Ausprobieren an.