Elementare Gefährdungen
für KI-Systeme.

Poisoning kann Trainingsdaten, Daten für das Fine-Tuning oder abgerufenes Wissen an mehreren Stellen der Lieferkette betreffen. Auch vortrainierte Modelle können versteckte Hintertüren oder veränderte Parameter enthalten, die nach ihrer Übernahme wirksam werden.

Bösartige Anweisungen können direkt eingegeben werden oder in externem Material verborgen sein, das das System verarbeitet. Dieser Bericht erfasst auch adversariale Veränderungen von Eingaben, die andere KI-Modelle zu Fehlklassifikationen veranlassen.

Erfundene Quellenangaben, Fehler in generiertem Code und eine geringere Genauigkeit bei veränderten Eingaben können unbemerkt bleiben. Fehlerhafte Generalisierung, Modelldrift oder begrenzte Robustheit können scheinbar plausible Ergebnisse unzuverlässig machen.

Abfragen können Trainingsdatensätze, die Verwendung bestimmter Daten im Training oder vertrauliche Systemanweisungen offenlegen. Auch vom Modell gespeicherte Informationen und eine unzureichende Trennung zwischen Nutzenden können zur Offenlegung führen.

Unausgewogene oder fehlerhafte Ausgangsdaten können bestehende Vorurteile in Ergebnisse übertragen. Das Modelldesign kann sie zusätzlich verstärken. Dadurch können Ungleichbehandlung oder unterschiedliche Genauigkeitsniveaus zwischen Gruppen entstehen.

Begrenzte Erklärbarkeit und unzureichende Dokumentation können verhindern, dass Organisationen und betroffene Personen die Grundlage eines Ergebnisses verstehen. Fehler, Verzerrungen und Manipulationen lassen sich dadurch schwerer untersuchen.

Weitreichende Berechtigungen, unkontrollierte Werkzeugaufrufe oder fehlende Freigabeschritte können einen Agenten ohne wirksame Begrenzung handeln lassen. Ein übermäßiges Vertrauen in die Entscheidungen des Systems kann die Aufsicht weiter schwächen.

Der Verbrauch kann je nach Eingaben und Modellverhalten schwanken, wodurch sich der Bedarf einer einzelnen Anfrage schwer abschätzen lässt. Agentenschleifen können auch ohne externen Angriff Kontingente, Rechenzeit und Speicher angebundener Dienste verbrauchen.

Generierte Befehle, Abfragen oder Code können Schäden verursachen, wenn an der Integrationsgrenze Validierung und Kodierung fehlen. Entscheidend ist, dass die Ausgabe ungeprüft wirksam wird, unabhängig davon, ob sie bösartig beeinflusst oder unbeabsichtigt falsch war.

Wiederholte Abfragen können genug über das Verhalten offenlegen, um ein Ersatzmodell zu trainieren. Gestohlene Modellgewichte oder Artefakte erlauben dagegen eine direkte Wiederverwendung. Das geschützte Gut ist das Modell selbst. Davon zu unterscheiden sind sensible Daten, die aus ihm abgeleitet werden.

Eingehende Audioaufnahmen, Bilder, Videos oder Texte können in Kommunikations- und Freigabeprozessen vertrauenswürdige Personen imitieren. Auch bei den von einer Organisation selbst generierten Inhalten kann die nachvollziehbare Herkunft verloren gehen, wenn eine Kennzeichnung fehlt oder Herkunftsinformationen entfernt oder verfälscht werden.