Steuerung von KI-Agenten: Ein Rahmenkonzept für Unternehmensteams

Einleitung

TL;DR: KI-Agenten-Governance umfasst die Gesamtheit der Kontrollen in den Bereichen Identität, Richtlinien, Überwachung und Audit, die autonome Agenten innerhalb sicherer Grenzen halten. Die traditionelle IT-Governance wurde für Software entwickelt, die festen Regeln folgt, und berücksichtigt daher nicht, wie Agenten eigenständig Entscheidungen treffen, Tools aufrufen und auf Daten zugreifen. Dieser Leitfaden erläutert, was Agenten-Governance ist, welche Risiken sie abdeckt und welches Rahmenwerk Sie einrichten können, bevor Agenten in kritische Arbeitsabläufe eingebunden werden.

Ein KI-Agent kann ein Ticket lesen, drei interne Systeme abfragen, eine Antwort entwerfen und einen Datensatz aktualisieren, ohne dass ein Mensch in irgendeinen Schritt eingreift. Genau diese Autonomie ist der springende Punkt. Sie ist auch der Grund, warum die meisten bestehenden Governance-Kontrollen nicht passen. Zugriffsregeln gehen davon aus, dass hinter jeder Aktion eine Person steht, und Audit-Protokolle setzen voraus, dass man diese Aktion zu dieser Person zurückverfolgen kann. Agenten widerlegen beide Annahmen.

Die Governance für KI-Agenten schließt diese Lücke. Sie weist jedem Agenten eine eigene Identität zu, legt fest, was jeder einzelne tun darf, überwacht, was er tatsächlich tut, und protokolliert genügend Details, um später Fragen beantworten zu können. Wir erläutern, wie das in der Praxis aussieht, welche konkreten Risiken dabei abgedeckt werden müssen und wie wir bei TrueFoundry dabei vorgehen.

Was ist KI-Agenten-Governance?

KI-Agenten-Governance ist die Disziplin, die regelt, wie autonome Agenten sich authentifizieren, auf welche Tools und Daten sie zugreifen dürfen und wie ihre Aktionen überwacht und protokolliert werden. Sie behandelt einen Agenten als eigenständiges Subjekt und nicht als Erweiterung der Person, die ihn bereitgestellt hat.

Diese Unterscheidung ist wichtig, da Agenten eigenständige Entscheidungen treffen. Ein Datenbankagent verfügt vielleicht über Lesezugriffsrechte, doch die eigentliche Frage ist, ob er für eine bestimmte Anfrage eine Tabelle mit Kundendaten abfragen sollte. Governance beantwortet diese Frage in dem Moment, in dem die Abfrage erfolgt, und nicht erst bei einer Überprüfung Wochen später. Ohne sie verlassen sich Teams letztendlich darauf, dass ein Agent die Grenzen einhält, weil bisher noch nichts schiefgelaufen ist.

Gute Governance muss zudem praktikabel sein. Wenn die Kontrollen Agenten verlangsamen oder deren Bereitstellung erschweren, umgehen Teams diese Kontrollen, und man steht wieder vor unkontrollierten Agenten mit einer Governance-Richtlinie, die nur auf dem Papier existiert.

Warum herkömmliche Zugriffskontrolle bei Agenten versagt

Bei der standardmäßigen Zugriffskontrolle werden Berechtigungen Benutzern zugewiesen und Aktionen in den Benutzerkonten protokolliert. Agenten verwischen dieses Modell auf dreierlei Weise.

Die Zuordnung wird unklar. Wenn ein Agent aktiv wird, zeigt das Protokoll in der Regel ein Dienstkonto an, nicht die Person, die die Anfrage ausgelöst hat, oder die Kette von Überlegungen, die zu der Aktion geführt hat. Wenn etwas schiefgeht, kann man zwar sehen, dass eine Abfrage ausgeführt wurde, aber nicht, warum oder in wessen Auftrag.

Der Zugriff auf Tools breitet sich aus. Ein einzelner Agent kann auf Dutzende von Tools und Datenquellen zugreifen, von denen jede ihr eigenes Berechtigungsmodell hat. Diese Angriffsfläche wächst schneller, als es jeder manuelle Richtlinienprozess nachverfolgen kann, und genau in diesen Lücken treten Vorfälle auf.

Das Verhalten weicht ab. Herkömmliche Software liefert bei gleicher Eingabe immer dieselbe Ausgabe. Agenten tun dies nicht. Ihre Antworten ändern sich je nach Konversationsverlauf, Kontext und Änderungen am zugrunde liegenden Modell, sodass eine Kontrolle, die im letzten Monat noch sicher war, sich heute anders verhalten kann.

Nichts davon sind Ausnahmefälle. Es handelt sich um die normalen Betriebsbedingungen für Agenten, weshalb die Governance speziell auf sie zugeschnitten sein muss, anstatt aus älteren Systemen übernommen zu werden.

Die vier Säulen eines Governance-Rahmens für Agenten

Ein funktionsfähiges Rahmenwerk beruht auf vier Elementen, die sich gegenseitig verstärken.

Die Identität steht an erster Stelle. Jeder Agent benötigt eine eigene Identität mit bereichsbezogenen Berechtigungen, getrennt von den Menschen, die ihn erstellen oder aufrufen. Dies ist die Voraussetzung für alles andere, denn man kann nichts durchsetzen oder prüfen, wenn man die Agenten nicht voneinander unterscheiden kann.

Die Durchsetzung von Richtlinien muss zur Laufzeit erfolgen. Der Unterschied zwischen Überwachung und Governance besteht darin, ob das System eine unbefugte Aktion blockieren kann, bevor sie ausgeführt wird, und nicht nur im Nachhinein kennzeichnet. Ein schreibgeschützter Agent sollte nicht schreiben können, und nicht nur gemeldet werden, weil er es versucht hat.

Observability bietet Ihnen Echtzeit-Einblick in die Aktivitäten der Agenten. Sie möchten Anomalien, Richtlinienverstöße und riskante Aufrufe sofort erkennen, sobald sie auftreten, damit Sie auf Signale reagieren können, anstatt Ereignisse anhand unvollständiger Protokolle rekonstruieren zu müssen.

Die Audit-Protokollierung erfasst den Entscheidungsverlauf. Jeder Tool-Aufruf, jeder Datenzugriff und jede Antwort sollte mit Zuordnung und Kontext in einer Form aufgezeichnet werden, die Sie einem Auditor oder einem Incident-Responder vorlegen können. Das ist der Unterschied zwischen der Behauptung, ein Agent habe sich korrekt verhalten, und der Fähigkeit, dies nachzuweisen.

Risiken durch KI-Agenten und wie man sie mindert

Agenten bringen Risiken mit sich, die durch herkömmliche Anwendungssicherheit nicht vollständig abgedeckt werden. Das Risikomanagement für agentenbasierte KI beginnt damit, diese Risiken zu benennen.

Die Eingabe von Prompts ist das größte Risiko. Böswillige Eingaben, die in Benutzerinhalten oder einer externen Datenquelle versteckt sind, können einen Agenten dazu bringen, Daten preiszugeben oder Aktionen auszuführen, die er niemals ausführen sollte. Agenten, die nicht vertrauenswürdige Inhalte verarbeiten, sind am stärksten gefährdet.

Dicht dahinter folgt die Offenlegung von Anmeldedaten. Agenten, die API-Schlüssel oder Tokens verwahren, können diese in Ausgaben oder Protokollen preisgeben, sofern diese Werte nicht auf ihrem Weg erkannt und maskiert werden.

Der Verlust personenbezogener Daten (PII) geschieht unbemerkt. Kundendaten, die durch einen Agenten fließen, können in einem Konversationsprotokoll, einer Fehlermeldung oder einem nachgelagerten Aufruf auftauchen, ohne dass jemand dies beabsichtigt hat.

Übermäßige Handlungsfreiheit ist das Risiko, einem Agenten mehr zu gewähren, als er benötigt. Ein Code-Agent mit Schreibzugriff auf Produktions-Repositorys birgt ein Risiko, das durch einen reinen Lesezugriff vollständig beseitigt würde. Die Lösung liegt in der Begrenzung des Zugriffsumfangs: Gewähre jedem Agenten nur das Minimum, das er benötigt, und nicht mehr.

Um diese Risiken zu verringern, ist eine Kombination verschiedener Kontrollmaßnahmen erforderlich. Überprüfen Sie Ein- und Ausgänge auf Anmeldedaten, personenbezogene Daten und verbotene Inhalte, bevor diese eine Grenze überschreiten. Legen Sie eine Whitelist mit den spezifischen Tools fest, die jeder Agent aufrufen darf, anstatt standardmäßig alles zuzulassen. Legen Sie Eskalationsschwellen fest, damit Entscheidungen mit höherem Risiko an einen Menschen weitergeleitet werden, und passen Sie diese Schwellenwerte an die tatsächlichen Gegebenheiten in der Produktion an.

Agentenspezifische Identität und bereichsbezogene Anmeldedaten

Gemeinsam genutzte Dienstkonten sind die häufigste Abkürzung – und sie verursachen die meisten Probleme. Wenn sich mehrere Agenten einen Satz von Anmeldedaten teilen, geht die Möglichkeit verloren, festzustellen, welcher Agent was getan hat. Eine Kompromittierung dieses Kontos betrifft jeden Agenten, der es nutzt, nicht nur denjenigen, bei dem der Angriff stattfand. Und jeder Agent erbt den vollständigen Berechtigungsumfang des gemeinsam genutzten Kontos, anstatt einen Umfang zu erhalten, der zu seiner Aufgabe passt.

Agentenspezifische Identitäten beheben alle drei Probleme. Jeder bereitgestellte Agent erhält eigene Anmeldedaten, die unabhängig voneinander rotiert und widerrufen werden können, Berechtigungen, die seinem Zweck entsprechen, sowie einen übersichtlichen Prüfpfad. Dies ist auch das Gegenmittel gegen die „Agenten-Wildwucherung“ – die Situation, in der Teams Agenten schneller einrichten, als man sie nachverfolgen kann. Wenn jeder Agent über eine registrierte Identität verfügt, wird die Wildwucherung sichtbar statt unsichtbar, und Sie können sie verwalten.

Das Identitätsmanagement für Agenten erfordert andere Abstraktionsebenen als das Benutzermanagement. Agenten benötigen dauerhafte Identitäten, die über eine einzelne Sitzung hinaus bestehen bleiben, Anmeldedaten, die unabhängig rotieren, und Berechtigungsbereiche, die an die Aufgaben des Agenten gebunden sind und nicht daran, wer ihn erstellt hat.

Compliance und Prüfungsbereitschaft

Die Regulierung holt autonome Systeme ein, und Rahmenwerke wie SOC 2, HIPAA und DSGVO schaffen bereits Verpflichtungen, die bei der Bereitstellung von Agenten erfüllt werden müssen. Die praktische Anforderung ist eine Infrastruktur, die selbstständig Nachweise erstellt, anstatt dass jemand vor einem Audit manuell Unterlagen zusammenstellt.

Das bedeutet umfassende Prüfpfade, in denen jede Aktion eines Agenten zusammen mit Zuordnung, Zeitstempel und Kontext protokolliert wird. Es bedeutet unveränderliche Aufzeichnungen, die nachträglich nicht mehr bearbeitet werden können. Es bedeutet eine Aufbewahrungsdauer, die den Vorschriften für Ihre Datentypen und Rechtsordnungen entspricht, sowie die Möglichkeit, Protokolle in die Sicherheitstools zu exportieren, die Ihr Team bereits einsetzt.

Für regulierte Teams ist es ebenso wichtig, wo die Agenten ausgeführt werden, wie die Art und Weise, wie sie verwaltet werden. Der Betrieb von Agenten innerhalb Ihrer eigenen VPC, vor Ort oder in einer Air-Gapped-Umgebung hält sensible Daten innerhalb Ihrer Grenzen, während dieselben Identitäts-, Richtlinien- und Protokollierungskontrollen gelten.

Wie TrueFoundry die Agent-Governance angeht

Wir haben unsere Plattform so konzipiert, dass Governance integraler Bestandteil der Funktionsweise der Agenten ist und nicht erst nachträglich als separate Ebene hinzugefügt wird. Das Agent Gateway weist jedem Agenten eine eigene Identität mit bereichsbezogenen, rotierbaren Anmeldedaten zu, sodass Aktionen zugeordnet werden können und die Berechtigungen der Aufgabe des Agenten entsprechen und nicht den Zugriffsrechten seines Erstellers.

Der Zugriff auf Tools erfolgt über dieselbe Steuerungsebene. Agenten greifen über das MCP mit OAuth2, RBAC und Metadaten-Richtlinien, die auf jeden Tool-Aufruf angewendet werden, auf Tools und Daten zu. So können Sie beispielsweise das Lesen einer Datenbank zulassen, während Schreibvorgänge blockiert werden. „Guardrails“ überprüfen Anfragen und Antworten sowohl auf dem Eingangs- als auch auf dem Ausgangspfad auf personenbezogene Daten (PII) und andere verbotene Inhalte, und jeder Aufruf wird zur Überwachbarkeit und für Auditzwecke protokolliert. Da die Plattform in Ihrer VPC, vor Ort oder in einer Air-Gapped-Umgebung mit Unterstützung für SOC 2, HIPAA und DSGVO läuft, gelten die Governance-Kontrollen unabhängig davon, wo Ihre Agenten ausgeführt werden.

Das Ergebnis ist, dass Identität, Laufzeitrichtlinien, Überwachung und Auditierung aus einer Hand stammen statt aus vier voneinander getrennten Tools – und genau das sorgt dafür, dass das Framework auch in großem Maßstab zusammenhält.

Aufbau der Praxis rund um die Technologie

Kontrollen funktionieren nur, wenn das Unternehmen hinter ihnen steht. Teams, die Governance als Hindernis betrachten, werden Wege finden, sie zu umgehen; daher besteht das Ziel darin, den geregelten Weg zum einfachsten Weg zu machen.

Eine schrittweise Einführung hat sich bewährt: Finden Sie die bereits laufenden Agenten, weisen Sie ihnen Identitäten zu, aktivieren Sie die Überwachung und automatisieren Sie anschließend den Nachweis der Compliance. Der Zeitplan hängt davon ab, wie komplex Ihre Umgebung ist und welche Vorschriften gelten. Daneben sollte eine funktionsübergreifende Gruppe aus den Bereichen Plattformentwicklung, Recht, Compliance und Betrieb die Verantwortung für Richtlinienentscheidungen übernehmen und die neuen Fälle bearbeiten, die von bestehenden Richtlinien nicht abgedeckt sind. Schulungen runden das Ganze ab, damit die Entwickler der Agenten das Berechtigungsmodell verstehen und wissen, wie sie Schutzmaßnahmen auf ihre eigenen Anwendungsfälle anwenden können.

Häufig gestellte Fragen

Was ist KI-Agenten-Governance?

KI-Agenten-Governance ist die Gesamtheit der Kontrollmechanismen, die regeln, wie sich autonome Agenten authentifizieren, auf welche Tools und Daten sie zugreifen dürfen und wie ihre Aktionen überwacht und geprüft werden. Dabei wird jeder Agent als eigenständiger Akteur mit begrenzten Berechtigungen behandelt, anstatt dass Agenten die Zugriffsrechte der Person erben, die sie bereitgestellt hat.

Inwiefern unterscheidet sich das Risikomanagement für agentenbasierte KI von der herkömmlichen Anwendungssicherheit?

Es kommen Risiken hinzu, die durch Standard-Sicherheitsmaßnahmen nicht vollständig abgedeckt werden, darunter die Einfügung von Prompts, das Durchsickern von Anmeldedaten über Agentenausgaben, die Offenlegung personenbezogener Daten in Konversationsprotokollen sowie übermäßige Handlungsfreiheit aufgrund zu weit gefasster Berechtigungen. Um diese Risiken zu bewältigen, sind die Überprüfung von Ein- und Ausgaben zur Laufzeit, Whitelisting auf Tool-Ebene und die Festlegung des Prinzips der geringsten Privilegien pro Agenten erforderlich.

Warum ist die agentenspezifische Identität wichtig?

Gemeinsam genutzte Dienstkonten machen es unmöglich zu erkennen, welcher Agent eine Aktion ausgeführt hat, vergrößern den Schadensumfang, falls Anmeldedaten kompromittiert werden, und gewähren jedem Agenten mehr Zugriffsrechte, als er benötigt. Die agentenspezifische Identität gibt jedem Agenten eigene, regelmäßig wechselnde Anmeldedaten, eine eindeutige Zuordnung und einen seinem Zweck entsprechenden Zugriffsbereich.

Kann ich die Agent-Governance in meiner eigenen VPC oder vor Ort durchführen?

Ja. TrueFoundry läuft in Ihrer VPC, vor Ort, in einer Air-Gap-Umgebung oder cloudübergreifend, sodass keine Daten Ihre Domäne verlassen. Die gleichen Identitäts-, Richtlinien- und Audit-Kontrollen gelten unabhängig davon, wo die Agenten ausgeführt werden – deshalb entscheiden sich regulierte Teams für ein selbst gehostetes Modell anstelle eines reinen SaaS-Gateways.

Wird dies von SOC 2, HIPAA und DSGVO unterstützt?

TrueFoundry unterstützt die Standards SOC 2, HIPAA und DSGVO mit integrierten RBAC-, SSO- und unveränderlichen Audit-Protokollierungsfunktionen. Diese Kombination sorgt dafür, dass Agent-Bereitstellungen von vornherein auditfähig sind und nicht erst kurz vor einer Überprüfung hastig dokumentiert werden müssen.

Fazit

Die Steuerung von KI-Agenten ist das, was skalierbare Agenten von solchen unterscheidet, auf die man sich nur verlassen kann. Das Rahmenkonzept ist im Prinzip nicht kompliziert: Man weist jedem Agenten eine Identität zu, setzt Richtlinien zum Zeitpunkt der Aktion durch, überwacht das Verhalten der Agenten und führt Aufzeichnungen, hinter denen man stehen kann. Die Herausforderung besteht darin, alle vier Schritte gleichzeitig und für jeden Agenten durchzuführen, ohne dabei die Teams auszubremsen. Genau diese Ebene wollen wir bereitstellen. Erfahren Sie, wie das AI Gateway von TrueFoundry Identität, Richtlinien und Überwachung in einer einzigen, geregelten Steuerungsebene für Ihre Agenten vereint.