03Herausforderungen · Prüfschleifen

Wenn die Prüfung
selbst zur Arbeit wird.

Wenn Dokumente mit KI immer wieder geprüft und überarbeitet werden, kann sich die Arbeit daran fortsetzen, ohne dass Entscheidungen getroffen oder Ergebnisse umgesetzt werden.

Deniz Wetz / PERSÖNLICHE EINORDNUNG / 03 ABSCHNITTEALLE AI INSIGHTS

KURZFASSUNG

Kerngedanken

  • Fehlen Kontextinformationen oder ändern sich die Kriterien, kann ein Dokument mehrfach zur Überarbeitung zurückkommen.
  • Vor zusätzlichen Reviews sollten Ablauf, Akzeptanzkriterien und die Verantwortung für die Entscheidung feststehen.
  • Für zusätzliche Reviews sollte es konkrete Auslöser geben. Notwendige Korrekturen müssen von Vorschlägen unterschieden und ungelöste Probleme eskaliert werden.

01DIE WIEDERKEHRENDE SCHLEIFE

Wenn Dokumente immer wieder überarbeitet werden

Warum kann mehr Dokumentation zu mehr Prüfaufwand führen?

Ich beobachte immer wieder, dass gut formulierte, KI-gestützte Texte zwischen Teams weitergegeben werden, bevor sie zum tatsächlichen Kontext passen. Andere müssen dann bei der Prüfung klären, welcher Kontext fehlt. Wenn KI das Dokument erneut kritisiert und überarbeitet, können weitere Vorschläge zu zusätzlichen Runden führen. So kann die Dokumentation wachsen, ohne dass die Umsetzung vorankommt.

Hier wird dieselbe Arbeit immer wieder überarbeitet. Das unterscheidet sich vom gleichzeitigen Eingang vieler nützlicher Ergebnisse. Jede Runde kann produktiv wirken, ohne eine nutzbare Entscheidung vorzubereiten. Aus meiner Beobachtung folgt weder, dass KI immer einen Fehler findet, noch, dass jede Prüfschleife unproduktiv ist.

Weiterführender ArtikelMit parallelen KI-Agenten Schritt halten

Zum Inhaltsverzeichnis

02KONTEXT & KRITERIEN

Vereinbaren, was ein nutzbares Ergebnis erfüllen muss

Welchen Kontext und welche Akzeptanzkriterien sollten Prüfende teilen?

Aus meiner Sicht sollten Zweck, relevanter Kontext und Akzeptanzkriterien vor Arbeitsbeginn vereinbart werden. Wer das Ergebnis prüft, braucht dieselben Fakten, Einschränkungen und Angaben zur vorgesehenen Nutzung. Auch die Anforderungen an das Ergebnis müssen klar sein. Sonst kann bei jeder Übergabe eine andere Vorstellung davon entstehen, was als gutes Ergebnis gilt.

Ein plausibler Verbesserungsvorschlag ist noch kein Beleg dafür, dass eine Korrektur nötig ist. Eine weitere Runde sollte sich auf eine wesentliche Lücke oder neue Nachweise beziehen. Dabei muss zwischen notwendigen Korrekturen und optionalen Verbesserungen unterschieden werden. Für jeden Änderungsvorschlag sollte erkennbar sein, welche Anforderung oder welcher Nachweis ihn begründet.

Zum Inhaltsverzeichnis

03PRÜFEN, ENTSCHEIDEN & HANDELN

Der Prüfung einen Zweck und einen Endpunkt geben

Wann sollte geprüft, die Prüfung beendet oder eskaliert werden?

Ich gehe davon aus, dass Produktivitätsgewinne einen definierten Arbeitsablauf und eine Begrenzung wiederholter Prüfungen brauchen. Das ist eine Arbeitshypothese. Zuerst sollten die Schritte, erforderlichen Prüfungen und Entscheidungspunkte vereinbart werden. Zusätzliche Prüfungen können sich dann nach konkreten Auslösern richten. Dazu gehören ein hohes Risiko oder hohe Kritikalität, Übergaben, Widersprüche, Unklarheit oder fehlende wesentliche Informationen. KI kann helfen, solche Auslöser zu erkennen. Erforderliche Prüfungen bleiben auch dann nötig, wenn die KI einen Auslöser übersieht.

Vorab sollte klar sein, wer entscheidet, wann die Kriterien erfüllt sind und wie offene Lücken nach einer begrenzten Zahl von Versuchen eskaliert werden. Ist die Grenze erreicht, sollte jemand über die offene Lücke entscheiden. Das Ergebnis sollte dadurch nicht automatisch als akzeptiert gelten. Ziel ist eine nutzbare Entscheidung, mit der die Arbeit fortgesetzt werden kann. Den Nutzen würde ich daran beurteilen, wie viel Zeit bis zu einem nutzbaren Ergebnis vergeht, wie viel Nacharbeit nötig ist und welche Wirkung die Ergebnisse in der Praxis haben.

Anthropic beschreibt wiederholte Bewertungen und Überarbeitungen als geeignet, wenn die Bewertungskriterien klar sind und weitere Runden einen messbaren Mehrwert schaffen. Die Anleitung behandelt auch Nachweise aus der Arbeitsumgebung, menschliche Kontrollpunkte und Abbruchbedingungen. Diese Empfehlungen helfen bei der Gestaltung eines Arbeitsablaufs. Sie belegen nicht, dass der hier vorgeschlagene Ablauf die Produktivität verbessert.

Quellen[01]

Weiterführender ArtikelAgentendesign, Autonomie und Prüfung

GRAFISCH ERLÄUTERT

Ablauf für zusätzliche Reviews

DIE WIEDERKEHRENDE SCHLEIFE

Entwurf → KI-Kritik → Überarbeitung → weitere Kritik

Ohne gemeinsamen Kontext und stabile Kriterien kann die Entscheidung offen bleiben.

  1. Vor der ArbeitAblauf und Kriterien vereinbaren

    Kontext, Akzeptanzkriterien, Schritte und Entscheidungsverantwortung.

  2. Bei einem definierten AuslöserEine gezielte Frage stellen

    Kritikalität, eine Übergabe, Konflikte, Mehrdeutigkeit oder fehlende Informationen.

  3. Mit NachweisenDie wesentliche Lücke schließen

    Die Korrektur anhand des vereinbarten Kriteriums prüfen.

Kriterien erfülltEntscheiden und handeln

Ein nutzbares Ergebnis akzeptieren und verwenden.

Lücke ungelöst / Grenze erreichtEskalieren

Eine Person entscheidet, was fehlt oder ob sich der Umfang ändern muss.

Dieser Ablauf ist mein Vorschlag. Verbindliche Prüfungen bleiben bestehen. Zusätzliche Reviews richten sich nach einer konkreten Frage. Ist die festgelegte Anzahl an Versuchen erreicht, wird eskaliert. Das Ergebnis wird dadurch nicht automatisch akzeptiert.

QUELLEN DES ARTIKELS[01]

Zum Inhaltsverzeichnis

Quellen

  1. Anthropic — Building effective agents (öffnet in einem neuen Tab)