Wissen, Kontext
und Kontinuität.

Beim Retrieval werden die Informationen ausgewählt, die das Modell als Belege für seine Antwort nutzen kann. RAG bezieht diese abgerufenen Informationen in die Antwort ein. Durch die Speicherung bleibt das Material verfügbar. Direkter Dateizugriff, Suche und strukturierte Abfragen lassen sich je nach Aufgabe und benötigten Nachweisen auswählen und kombinieren.

In meinen RAG-Experimenten sind relevante Textabschnitte nicht abgerufen worden, obwohl sie im Index vorhanden waren. Das war ein Retrieval-Fehler. Bevor ich eine unvollständige Antwort als fehlendes Wissen einordne, prüfe ich die Anfrage und den Retrieval-Pfad. Anhand der Quellenverweise kann ich nachvollziehen, was das Modell tatsächlich erreicht hat.

Der Arbeitskontext umfasst die Informationen, die dem Modell für den aktuellen Schritt zur Verfügung stehen. Dazu gehören die Aufgabe, relevante Quellen und Entscheidungen, die weiterhin wichtig sind. Mehr Material macht den Kontext nicht automatisch nützlicher.

In meinen Experimenten hat die gemeinsame Bewertung vieler Risiken und Begründungen weniger zuverlässig funktioniert. Ich habe einzelne Bewertungen ausprobiert, ohne frühere Urteile in die nächste Bewertung zu übernehmen. Mit Prompt-Ketten habe ich die Schritte nacheinander ausgeführt. Context Rot und die Komplexität der Aufgabe sind mögliche Erklärungen. Aus dieser Erfahrung lässt sich aber keine einzelne Ursache bestimmen.

Mit Markdown lassen sich lesbare Notizen schreiben, mit JSON lässt sich ein strukturierter Zustand beschreiben. PostgreSQL kann Dokumente, Metadaten und JSON neben anderen Datensätzen speichern. Diese Formate und Speicheroptionen lassen sich miteinander kombinieren.

Wenn der Aufgabenzustand dauerhaft gespeichert wird, bleiben Entscheidungen, abgeschlossene Schritte und offene Fragen über das aktuelle Kontextfenster hinaus erhalten. Dafür können Checkpoints eines Threads und längerfristige Speicher unterschiedliche Aufgaben übernehmen. Wird eine Aufgabe später fortgesetzt, helfen die gespeicherten Arbeitsergebnisse und ihre Quellen zu erkennen, was noch geprüft werden muss.

PERSÖNLICHE BEOBACHTUNG

Auch beim Zusammenführen mehrerer Quellen stoße ich auf Schwierigkeiten. Eine Antwort kann schlüssig klingen, ohne deutlich zu machen, welche Quelle eine Aussage stützt, wo sich die Quellen unterscheiden und welche Verbindungen ich selbst ergänzt habe.

In meinen Notizen möchte ich deutlich machen, welche Begriffe eine Quelle verwendet und wofür ihre Aussagen gelten. Dabei sollen meine eigenen Beobachtungen von den Aussagen der Quellen unterscheidbar bleiben. Wenn sich eine Schlussfolgerung nicht klar zurückverfolgen lässt, würde ich die Ansätze lieber getrennt darstellen oder die Aussage eingrenzen. Durch das Zusammenführen von Frameworks sollte nicht der Eindruck entstehen, ich hätte ein neues Modell entwickelt oder validiert.