Wann man Agent Skills beibehalten,
vereinfachen oder entfernen sollte

Anthropic bezeichnet solche Skills als „capability uplift skills“. Sie helfen bei Aufgaben, die das Basismodell nicht oder nicht zuverlässig bewältigt. Im Artikel zu „skill-creator“ schreibt Anthropic, dass leistungsfähigere Modelle diese Skills weniger benötigen könnten.

EINORDNUNG

Ein detaillierter Ablauf kann nützlich sein, wenn ein Modell sonst Schritte auslässt oder unzuverlässige Ergebnisse liefert. Bewältigt ein neueres Modell dieselbe Aufgabe mit weniger Anweisungen zuverlässig, lässt sich prüfen, ob der Ablauf vereinfacht werden kann.

Nach einem Modellwechsel lohnt es sich, die einzelnen Bestandteile eines Skills erneut zu prüfen. Wer alle bisherigen Hilfslösungen beibehält, übernimmt damit möglicherweise auch Annahmen über ein früheres Modell. Beim Vergleich der einzelnen Anweisungen lässt sich prüfen, welche das Ergebnis noch verbessern und welche nicht mehr helfen.

Anthropic verwendet den Begriff „encoded preference skills“ für Arbeitsabläufe, deren einzelne Schritte das Modell bereits beherrscht, die aber dem Prozess eines Teams folgen müssen. Der Wert dieser Skills hängt davon ab, wie genau sie diesen Prozess abbilden.

Skills können auch Skripte und Referenzmaterial enthalten. In seiner ursprünglichen Einführung beschreibt Anthropic, wie sich Wissen über Abläufe und den Kontext einer Organisation bündeln lässt. Code kann dabei Vorgänge übernehmen, für die eine wiederholbare Ausführung hilfreich ist.

EINORDNUNG

Dazu gehört, welche Quellen maßgeblich sind, was als akzeptables Ergebnis gilt und welche Entscheidungen eine Freigabe brauchen. Ein Modell mit besseren Analysefähigkeiten weiß dadurch noch nicht, welche Kriterien für eine konkrete Aufgabe gelten. Diese Anforderungen muss der Agent mitgeteilt bekommen oder aus einer verlässlichen Quelle abrufen.

Aktuelle Informationen über eine Organisation könnten in dem System bleiben, in dem sie gepflegt werden. Der Skill würde erklären, wann und wie sie abgerufen werden. Technische Zugriffsbeschränkungen müssen weiterhin die Anwendung oder das Werkzeug durchsetzen. Ein Skill kann diese Grenze und den zugehörigen Ablauf beschreiben.

Ein einzelner Skill kann beide Zwecke erfüllen. Veraltete Anweisungen lassen sich entfernen, während Kriterien, Referenzen oder nützliche Skripte erhalten bleiben. Diese Bestandteile lassen sich getrennt beurteilen.

Anthropic empfiehlt Evaluationen, um Verschlechterungen zu erkennen und festzustellen, wann ein Basismodell auch ohne den Skill erfolgreich ist. Der Workflow von „skill-creator“ unterstützt Vergleiche zwischen Skill-Versionen sowie zwischen Durchläufen mit und ohne Skill.

EINORDNUNG

Für einen sinnvollen Vergleich würde man beide Varianten mit repräsentativen Aufgaben an denselben Akzeptanzkriterien prüfen. Die Modelle, Werkzeuge und relevanten Eingaben müssten vergleichbar sein. Dazu würden Routinefälle und schwierige Aufgaben gehören. Bei einem Skill, der Präferenzen festhält, müssen die Kriterien auch erfassen, ob diese befolgt wurden.

Ein einzelnes gutes Ergebnis würde dafür nicht ausreichen. Zu prüfen wäre, wie zuverlässig der Skill bei den ausgewählten Aufgaben hilft und welchen zusätzlichen Aufwand, Zeitbedarf und Kontext er verursacht. Ein Skill, der bei komplexen Fällen hilft, kann weiterhin nützlich sein, auch wenn einfache Fälle ohne ihn gelingen.

Ein Skill sollte beibehalten werden, wenn er die Arbeit verbessert. Wenn nur ein Teil seiner Inhalte noch hilft, sollte er vereinfacht werden. Bietet er keinen Mehrwert mehr, sollte er entfernt werden. Aus meiner Sicht sollten bessere Modelle ermöglichen, mit weniger Hilfslösungen und klareren Anforderungen zu arbeiten.