KI-Agenten in Unternehmenssoftware: was sie allein tun dürfen und was ein Mensch freigibt

Ein KI-Agent tut mehr, als eine Frage zu beantworten. Er liest, entscheidet über seinen nächsten Schritt und handelt über die Werkzeuge, die man ihm gibt, etwa Ihre Kundendaten, Ihr Postfach oder Ihre Buchhaltung. Das macht ihn in manchen Teilen eines Ablaufs nützlich und in anderen riskant. In diesem Beitrag geht es darum, wo die Grenze verläuft.

Was ist ein KI-Agent in Unternehmenssoftware?

Ein Programm, in dem ein Sprachmodell seinen nächsten Schritt selbst wählt und über Werkzeuge ausführt, etwa einen Datensatz nachschlagen, ein Formular ausfüllen oder eine Nachricht senden, bis die Aufgabe erledigt oder eine Grenze erreicht ist. Anthropic, der Hersteller der Claude-Modelle, beschreibt Agenten als Systeme, in denen LLMs ihre Abläufe und den Einsatz von Werkzeugen selbst und laufend steuern. Ein LLM ist ein grosses Sprachmodell, die Art von KI, die Text liest und schreibt.

Die Alternative ist Software, in der die Schritte im Voraus festgelegt sind und ein KI-Modell einen davon übernimmt, etwa das Lesen einer Rechnung. Dort werden Modelle und Werkzeuge nach Anthropic über vorab festgelegte Programmpfade gesteuert. Anthropic rät, die einfachste mögliche Lösung zu suchen, was auch heissen kann, gar kein Agentensystem zu bauen, und hält fest, dass für viele Anwendungen ein einziger, gut vorbereiteter Aufruf des Modells in der Regel genügt.

Bevor Sie sich für einen Agenten entscheiden, fragen Sie also, ob der Ablauf wirklich Schritte hat, die sich nicht im Voraus festlegen lassen. Wenn nicht, passen feste Schritte besser: Nach Anthropic bieten sie bei klar umrissenen Aufgaben Vorhersehbarkeit und Beständigkeit. Wo KI innerhalb solcher Schritte hilft und wo eine feste Regel entscheiden sollte, behandelt der Beitrag KI in Unternehmenssoftware.

Welche Aufgaben kann er allein erledigen?

Aufgaben, bei denen er nur liest und vorbereitet und bei denen ein falscher Schritt leicht auffällt und sich günstig rückgängig machen lässt: Informationen aus mehreren Quellen zusammentragen, eingehende Anfragen sortieren, Entwürfe ausfüllen, Dokumente anhand einer Liste prüfen oder einen Fall so vorbereiten, dass ein Mensch entscheiden kann. Je weniger er verändern kann, desto mehr lässt sich ihm überlassen.

Ein erfundenes Beispiel: Eine Haustechnikfirma erhält Serviceanfragen per E-Mail. Ein Agent liest jede Anfrage, schlägt den Kunden und seine Anlage nach, ordnet die Anfrage nach Dringlichkeit ein und bereitet für die Disposition einen Auftragsentwurf vor. Dafür muss er das Postfach und die Kundendaten lesen und Entwürfe anlegen können. E-Mails senden, Preise ändern oder etwas löschen muss er nicht, also sollte er es auch nicht können.

Das OWASP Gen AI Security Project, das eine Liste der grössten Risiken in Software auf Basis von Sprachmodellen veröffentlicht, nennt das Gegenteil «Excessive Agency» und führt es auf zu viele Funktionen, zu viele Berechtigungen und zu viel Eigenständigkeit zurück. Sein erster Rat: die Erweiterungen, die LLM-Agenten aufrufen dürfen, auf das Nötigste zu beschränken. Sein eigenes Beispiel ist ein Assistent, der E-Mails zusammenfasst: Er braucht womöglich nur das Recht, E-Mails zu lesen, nicht sie zu löschen oder zu senden.

Welche Entscheide bleiben bei einem Menschen?

Alles, was Geld ausgibt, etwas an einen Kunden oder die Öffentlichkeit schickt, ändert, was jemand schuldet, oder die Rechte einer Person berührt. Der Agent kann einen solchen Entscheid vorbereiten und begründen, aber ein Mensch gibt ihn frei, bevor er wirksam wird. OWASP rät dasselbe: eine Human-in-the-Loop-Kontrolle, bei der ein Mensch folgenreiche Aktionen freigeben muss, bevor sie ausgeführt werden.

Zwei Details machen das wirksam. Erstens setzt die Software die Freigabe durch, statt sie in den Anweisungen an den Agenten nur zu verlangen. OWASP rät, die Berechtigung in den nachgelagerten Systemen umzusetzen, statt einem LLM den Entscheid zu überlassen, ob eine Aktion erlaubt ist. Anweisungen kann das, was der Agent liest, aushebeln; einen Knopf, den nur ein Mensch drücken kann, nicht. Zweitens sieht die Person, was sie freigibt: den Entwurf selbst, die Daten dahinter und was geschieht, wenn sie den Knopf drückt.

Entscheidungen über Menschen bringen zudem eine rechtliche Pflicht mit sich. Nach dem Datenschutzgesetz ist eine Person über eine Entscheidung zu informieren, die «ausschliesslich auf einer automatisierten Bearbeitung beruht» und «für sie mit einer Rechtsfolge verbunden ist oder sie erheblich beeinträchtigt», und sie kann verlangen, dass die Entscheidung «von einer natürlichen Person überprüft wird» (Art. 21, mit Ausnahmen). Mehr dazu im Beitrag KI in Unternehmenssoftware.

Wie prüfen Sie, was er getan hat?

Über ein Protokoll jedes Schritts: was der Agent gelesen hat, welches Werkzeug er mit welcher Eingabe genutzt hat, was zurückkam und was er als Nächstes tat. Mit diesem Protokoll kann ein Mensch jede Woche eine Stichprobe prüfen, einer Beschwerde nachgehen oder einen Schritt rückgängig machen. Eine Grenze, wie viele Aktionen er in einer bestimmten Zeit ausführen darf, mit einer Warnung, wenn sie erreicht ist, hilft, Probleme zu erkennen, bevor sie wachsen.

OWASP nennt beides als Mittel, den Schaden zu begrenzen: die Aktivität der Werkzeuge des Agenten und der Systeme, die sie erreichen, protokollieren und überwachen, und ein Rate-Limiting einführen, damit Probleme entdeckt werden, bevor grösserer Schaden entsteht.

Die Prüfung beginnt, bevor der Agent echte Daten berührt. Anthropic empfiehlt umfangreiche Tests in abgeschotteten Umgebungen zusammen mit passenden Leitplanken und hält fest, dass Abbruchbedingungen üblich sind, etwa eine Höchstzahl an Durchläufen, um die Kontrolle zu behalten. In der Praxis: Lassen Sie ihn zuerst Beispielfälle in einer Testversion abarbeiten, vergleichen Sie, was er getan hat, mit dem, was ein Mensch getan hätte, und geben Sie ihm eine feste Höchstzahl an Schritten pro Aufgabe.

Wo liegen die Grenzen?

Ein Agent kann sich irren, sich von dem, was er liest, in die Irre führen lassen und mehr kosten als geplant. Nichts davon lässt sich ganz ausschliessen, darum werden die Grenzen von aussen gesetzt, statt sie dem Agenten zu überlassen: enger Zugriff, Freigabe für das Wesentliche, eine Obergrenze für Schritte und Ausgaben und ein Mensch, der für das Ergebnis verantwortlich ist.

• Er kann sich irren, und zwar überzeugend: OWASP beschreibt, wie Sprachmodelle Inhalte erzeugen, die zutreffend wirken, aber erfunden sind. In einem Agenten kann ein falscher Schritt den nächsten nähren: Anthropic warnt vor sich aufschaukelnden Fehlern.
• Er kann in die Irre geführt werden: Eine E-Mail oder ein Dokument kann Anweisungen enthalten, die sich an die KI richten. OWASP hält fest, dass solche Eingaben für Menschen nicht sichtbar oder lesbar sein müssen und dass zwei Verfahren zur Verbesserung der Antworten das Risiko nicht vollständig beseitigen.
• Er kostet mehr als eine einzelne Antwort: Agentenbasierte Systeme rufen ein LLM in der Regel wiederholt auf (OWASP), und Anthropic schreibt, dass die Eigenständigkeit von Agenten höhere Kosten bedeutet.
• Er trägt keine Verantwortung: Für jeden Ablauf, in dem der Agent arbeitet, ist jemand in Ihrer Firma verantwortlich, und diese Person entscheidet, wann er mehr tun darf.

Ein vernünftiger erster Agent bereitet vor, und ein Mensch gibt frei. Erweitern Sie, was er allein tun darf, erst, wenn sein Protokoll zeigt, dass er diese Fälle gut bewältigt.