03Herausforderungen · Prüfschleifen
Wenn die Prüfung
selbst zur Arbeit wird.
Wenn Dokumente mit KI immer wieder geprüft und überarbeitet werden, kann sich die Arbeit daran fortsetzen, ohne dass Entscheidungen getroffen oder Ergebnisse umgesetzt werden.
KURZFASSUNG
Kerngedanken
- Fehlen Kontextinformationen oder ändern sich die Kriterien, kann ein Dokument mehrfach zur Überarbeitung zurückkommen.
- Vor zusätzlichen Reviews sollten Ablauf, Akzeptanzkriterien und die Verantwortung für die Entscheidung feststehen.
- Für zusätzliche Reviews sollte es konkrete Auslöser geben. Notwendige Korrekturen müssen von Vorschlägen unterschieden und ungelöste Probleme eskaliert werden.
01DIE WIEDERKEHRENDE SCHLEIFE
Wenn Dokumente immer wieder überarbeitet werden
Warum kann mehr Dokumentation zu mehr Prüfaufwand führen?
Ich beobachte immer wieder, dass gut formulierte, KI-gestützte Texte zwischen Teams weitergegeben werden, bevor sie zum tatsächlichen Kontext passen. Andere müssen dann bei der Prüfung klären, welcher Kontext fehlt. Wenn KI das Dokument erneut kritisiert und überarbeitet, können weitere Vorschläge zu zusätzlichen Runden führen. So kann die Dokumentation wachsen, ohne dass die Umsetzung vorankommt.
Hier wird dieselbe Arbeit immer wieder überarbeitet. Das unterscheidet sich vom gleichzeitigen Eingang vieler nützlicher Ergebnisse. Jede Runde kann produktiv wirken, ohne eine nutzbare Entscheidung vorzubereiten. Aus meiner Beobachtung folgt weder, dass KI immer einen Fehler findet, noch, dass jede Prüfschleife unproduktiv ist.
Weiterführender ArtikelMit parallelen KI-Agenten Schritt halten
Zum Inhaltsverzeichnis02KONTEXT & KRITERIEN
Vereinbaren, was ein nutzbares Ergebnis erfüllen muss
Welchen Kontext und welche Akzeptanzkriterien sollten Prüfende teilen?
Aus meiner Sicht sollten Zweck, relevanter Kontext und Akzeptanzkriterien vor Arbeitsbeginn vereinbart werden. Wer das Ergebnis prüft, braucht dieselben Fakten, Einschränkungen und Angaben zur vorgesehenen Nutzung. Auch die Anforderungen an das Ergebnis müssen klar sein. Sonst kann bei jeder Übergabe eine andere Vorstellung davon entstehen, was als gutes Ergebnis gilt.
Ein plausibler Verbesserungsvorschlag ist noch kein Beleg dafür, dass eine Korrektur nötig ist. Eine weitere Runde sollte sich auf eine wesentliche Lücke oder neue Nachweise beziehen. Dabei muss zwischen notwendigen Korrekturen und optionalen Verbesserungen unterschieden werden. Für jeden Änderungsvorschlag sollte erkennbar sein, welche Anforderung oder welcher Nachweis ihn begründet.
03PRÜFEN, ENTSCHEIDEN & HANDELN
Der Prüfung einen Zweck und einen Endpunkt geben
Wann sollte geprüft, die Prüfung beendet oder eskaliert werden?
Ich gehe davon aus, dass Produktivitätsgewinne einen definierten Arbeitsablauf und eine Begrenzung wiederholter Prüfungen brauchen. Das ist eine Arbeitshypothese. Zuerst sollten die Schritte, erforderlichen Prüfungen und Entscheidungspunkte vereinbart werden. Zusätzliche Prüfungen können sich dann nach konkreten Auslösern richten. Dazu gehören ein hohes Risiko oder hohe Kritikalität, Übergaben, Widersprüche, Unklarheit oder fehlende wesentliche Informationen. KI kann helfen, solche Auslöser zu erkennen. Erforderliche Prüfungen bleiben auch dann nötig, wenn die KI einen Auslöser übersieht.
Vorab sollte klar sein, wer entscheidet, wann die Kriterien erfüllt sind und wie offene Lücken nach einer begrenzten Zahl von Versuchen eskaliert werden. Ist die Grenze erreicht, sollte jemand über die offene Lücke entscheiden. Das Ergebnis sollte dadurch nicht automatisch als akzeptiert gelten. Ziel ist eine nutzbare Entscheidung, mit der die Arbeit fortgesetzt werden kann. Den Nutzen würde ich daran beurteilen, wie viel Zeit bis zu einem nutzbaren Ergebnis vergeht, wie viel Nacharbeit nötig ist und welche Wirkung die Ergebnisse in der Praxis haben.
Anthropic beschreibt wiederholte Bewertungen und Überarbeitungen als geeignet, wenn die Bewertungskriterien klar sind und weitere Runden einen messbaren Mehrwert schaffen. Die Anleitung behandelt auch Nachweise aus der Arbeitsumgebung, menschliche Kontrollpunkte und Abbruchbedingungen. Diese Empfehlungen helfen bei der Gestaltung eines Arbeitsablaufs. Sie belegen nicht, dass der hier vorgeschlagene Ablauf die Produktivität verbessert.
Quellen[01]
Weiterführender ArtikelAgentendesign, Autonomie und Prüfung
GRAFISCH ERLÄUTERT
Ablauf für zusätzliche Reviews
Entwurf → KI-Kritik → Überarbeitung → weitere Kritik
Ohne gemeinsamen Kontext und stabile Kriterien kann die Entscheidung offen bleiben.
- Vor der ArbeitAblauf und Kriterien vereinbaren
Kontext, Akzeptanzkriterien, Schritte und Entscheidungsverantwortung.
- Bei einem definierten AuslöserEine gezielte Frage stellen
Kritikalität, eine Übergabe, Konflikte, Mehrdeutigkeit oder fehlende Informationen.
- Mit NachweisenDie wesentliche Lücke schließen
Die Korrektur anhand des vereinbarten Kriteriums prüfen.
Ein nutzbares Ergebnis akzeptieren und verwenden.
Eine Person entscheidet, was fehlt oder ob sich der Umfang ändern muss.
Dieser Ablauf ist mein Vorschlag. Verbindliche Prüfungen bleiben bestehen. Zusätzliche Reviews richten sich nach einer konkreten Frage. Ist die festgelegte Anzahl an Versuchen erreicht, wird eskaliert. Das Ergebnis wird dadurch nicht automatisch akzeptiert.
QUELLEN DES ARTIKELS[01]