KI-Agenten brauchen Regeln, bevor sie loslaufen
KI Agenten Governance bedeutet: Ein Unternehmen legt fest, welche KI-Agenten welche Ziele verfolgen dürfen, auf welche Daten sie zugreifen, welche Tools sie ausführen und wann ein Mensch eingreifen muss. Das ist wichtig, weil Agenten nicht nur Text erzeugen. Sie können suchen, planen, Dateien verändern, Systeme ansteuern und Entscheidungen vorbereiten. Ohne klare Regeln wird aus einem nützlichen Helfer schnell ein Prozess, den niemand mehr überblickt.
Der alte KI-Fehler war: Mitarbeitende kopieren Kundendaten in irgendeinen Chatbot. Der neue KI-Fehler ist größer. Ein Agent bekommt Zugriff auf Postfach, CRM, Dateien, Kalender und Automationen. Dann arbeitet er los. Schnell. Praktisch. Und manchmal an der Governance vorbei.
Genau hier beginnt die Arbeit für Geschäftsführung, IT, Compliance und Fachbereiche. Nicht mit einem 40-seitigen Papier. Sondern mit einer einfachen Frage: Was darf dieser Agent eigentlich tun?
Was unterscheidet KI-Agenten von normalen KI-Tools?
Ein klassischer Chatbot antwortet auf eine Eingabe. Ein KI-Agent verfolgt ein Ziel über mehrere Schritte. Er kann Werkzeuge nutzen, Daten abrufen, Zwischenergebnisse speichern und weitere Aktionen anstoßen. Das macht ihn wertvoll. Und es verschiebt das Risiko.
Microsoft beschreibt Agenten-Governance sehr praktisch: Agenten handeln im Kontext von Identität, Daten und Berechtigungen. Ohne Governance, Sicherheit und Betrieb entstehen Risiken wie Datenexposition, unklares Verhalten, unklare Verantwortung und unkontrollierte Ausbreitung. Das ist kein theoretisches Problem. Das ist die normale Dynamik in Unternehmen, wenn ein gutes Tool schneller wächst als die internen Regeln.
Ein Agent ist deshalb nicht einfach ein weiteres KI-Feature. Er ist eher ein neuer Mitarbeiter mit Maschinen-Tempo. Nur ohne Bauchgefühl. Ohne Kontextbewusstsein für interne Politik. Und ohne eigenes Haftungsverständnis.
Warum KI-Agenten-Governance jetzt auf die Agenda gehört
Der EU AI Act arbeitet risikobasiert. Die Europäische Kommission beschreibt vier Risikostufen und nennt bei Hochrisiko-Systemen unter anderem Einsatzfelder wie Bildung, Beschäftigung, kritische Infrastruktur, Zugang zu wichtigen Diensten und bestimmte biometrische Anwendungen. Für viele Transparenzpflichten nennt die Kommission August 2026 als Startpunkt. Für bestimmte Hochrisiko-Bereiche beschreibt sie nach der politischen Einigung zum AI Omnibus einen späteren Zeitplan, unter anderem den 2. Dezember 2027 und den 2. August 2028 für produktintegrierte Systeme.
Das heißt nicht: Bis dahin kann der Mittelstand warten. Es heißt: Jetzt ist die Phase, in der Unternehmen Ordnung schaffen können, bevor aus Pilotprojekten schwer prüfbare Produktivsysteme werden.
Auch die Regeln für General-Purpose-AI-Modelle sind relevant, wenn Unternehmen nicht nur ein Standard-Tool nutzen, sondern Modelle selbst bereitstellen, wesentlich verändern oder in eigene Systeme einbauen. Die Kommission hat dazu 2026 Leitlinien für Anbieter allgemeiner KI-Modelle aktualisiert. Für normale Anwender ist die Kernbotschaft einfacher: Klären Sie sauber, ob Sie nur ein Tool einsetzen oder selbst zum Anbieter, Integrator oder Betreiber eines riskanten Systems werden.
Die fünf Leitplanken für KI-Agenten im Unternehmen
KI-Agenten lassen sich nicht mit einem pauschalen Satz steuern. „Nutzt KI verantwortungsvoll“ klingt gut. Es hilft aber nicht, wenn ein Agent eine Kundenliste exportieren, ein Ticket schließen oder eine Mail verschicken kann.
1. Das Ziel begrenzen
Jeder Agent braucht ein klares Ziel. Nicht: „Unterstütze den Vertrieb.“ Sondern: „Fasse eingehende Kundenanfragen zusammen und schlage nächste Schritte vor.“ Je breiter das Ziel, desto größer der Spielraum. Je größer der Spielraum, desto wichtiger werden Kontrolle und Protokolle.
2. Berechtigungen klein halten
Agenten sollten nur die Daten und Tools nutzen können, die sie wirklich brauchen. Kein Vollzugriff aus Bequemlichkeit. Kein Admin-Recht für einen Testlauf. Kein pauschaler Zugriff auf SharePoint, CRM oder Postfächer, nur weil es technisch einfacher ist.
OWASP führt bei LLM-Anwendungen unter anderem Prompt Injection, unsichere Plugin-Gestaltung, Offenlegung sensibler Informationen und „Excessive Agency“ als Risiken auf. Übersetzt in den Unternehmensalltag: Ein Agent darf nicht alles können, nur weil er theoretisch alles verbinden kann.
3. Menschliche Aufsicht konkret machen
Das Schlagwort „Human in the loop“ reicht nicht. Wer ist dieser Mensch? Wann muss er freigeben? Welche Aktionen darf der Agent selbst ausführen? Welche Aktionen bleiben Vorschläge? Bei Bewerbungen, Leistungsdaten, Bonität, Beschwerden oder sicherheitsrelevanten Prozessen sollte diese Grenze nicht im Einzelfall improvisiert werden.
4. Protokolle und Nachvollziehbarkeit einbauen
Wenn ein Agent handelt, muss später erkennbar sein, was passiert ist. Welche Eingabe gab es? Welche Daten wurden genutzt? Welches Tool wurde aufgerufen? Welche Ausgabe wurde übernommen? Ohne Protokolle wird jeder Vorfall zur Spurensuche im Nebel.
NIST empfiehlt im AI Risk Management Framework und im Generative-AI-Profil, Risiken über Governance, Mapping, Messung und Management greifbar zu machen. Für Agenten heißt das: Nicht nur das Modell betrachten. Den gesamten Ablauf einbeziehen.
5. Stop-Regeln definieren
Ein Agent braucht Grenzen, bei denen er nicht weiterarbeitet. Beispiele: personenbezogene Sonderdaten, ungewöhnlich große Datenexporte, externe Empfänger, Vertragsänderungen, Zahlungsprozesse, arbeitsrechtliche Bewertungen oder technische Systemänderungen. Dann stoppt der Agent und gibt an einen Menschen ab.
Das Agenten-Inventar: der einfache Start
Viele Unternehmen wollen zuerst eine KI-Richtlinie schreiben. Das ist verständlich. Aber bei Agenten ist das Inventar oft wichtiger. Denn ohne Bestand weiß niemand, welche Regeln greifen müssen.
Ein brauchbares Agenten-Inventar hat mindestens neun Felder:
- Name des Agenten oder der agentischen Funktion
- Zweck und erlaubte Aufgaben
- Verantwortlicher Fachbereich
- Genutztes Modell oder Tool
- Datenquellen und Datenarten
- Angeschlossene Systeme und mögliche Aktionen
- Berechtigungen und technische Grenzen
- Freigabepunkte für Menschen
- Protokolle, Tests und Stop-Regeln
Das muss am Anfang nicht perfekt sein. Es muss sichtbar machen, wo die riskanten Stellen liegen. Ein Agent, der interne Texte sortiert, ist anders zu behandeln als ein Agent, der Bewerberprofile bewertet oder Lieferantenmails selbst beantwortet.
DSGVO und EU AI Act zusammendenken
Bei KI-Agenten laufen Datenschutz und KI-Regulierung besonders schnell ineinander. Sobald personenbezogene Daten verarbeitet werden, stellen sich DSGVO-Fragen: Rechtsgrundlage, Zweckbindung, Datenminimierung, Transparenz, Zugriffsschutz und Aufbewahrung. Sobald der Agent in sensible Entscheidungen hineinwirkt, kommt die EU-AI-Act-Prüfung dazu.
Der wichtige Punkt: Nicht jedes Agentenprojekt ist Hochrisiko. Aber jedes Agentenprojekt braucht eine klare Einordnung. Zweck, Daten, Nutzergruppe, Entscheidungsnähe und möglicher Schaden gehören deshalb in die erste Prüfung.
Genau dafür ist die KI-Reifeprüfung ein sinnvoller Start. Sie macht sichtbar, wo bereits KI genutzt wird, wo Regeln fehlen und wo aus einem Pilot ein Governance-Thema wird. Der KI-Governance Leitfaden hilft danach, Rollen, Regeln und Kontrollen sauber aufzubauen. Und wenn daraus ein konkreter Fahrplan werden soll, passt ein kurzes Strategiegespräch.
Der größte Fehler: Agenten wie normale Software behandeln
Normale Software macht, was programmiert wurde. Nicht immer fehlerfrei. Aber mit relativ klaren Grenzen. KI-Agenten sind anders. Sie interpretieren Ziele, verarbeiten Kontext und nutzen Werkzeuge. Genau diese Mischung macht sie stark.
Sie macht sie aber auch Governance-pflichtig im besten Sinn. Nicht als Bremse. Sondern als Geländer. Ein gutes Geländer versperrt nicht den Weg. Es sorgt dafür, dass niemand an der falschen Stelle abrutscht.
KI Agenten Governance ist deshalb kein Sonderthema für Konzerne. Sie gehört in Unternehmen, die Agenten produktiv nutzen wollen. Der Start ist überschaubar: Inventar bauen, Berechtigungen begrenzen, Aufsicht klären, Protokolle einschalten, Stop-Regeln festlegen. Danach kann KI schneller werden, ohne dass das Unternehmen blind mitläuft.
FAQ zu KI-Agenten-Governance
Was ist KI-Agenten-Governance?
KI-Agenten-Governance ist der Rahmen für Ziele, Berechtigungen, Datenzugriff, Protokollierung, menschliche Aufsicht und Abschaltregeln von KI-Agenten im Unternehmen. Sie sorgt dafür, dass Agenten nicht nur nützlich, sondern auch prüfbar und steuerbar bleiben.
Sind KI-Agenten automatisch Hochrisiko-KI nach EU AI Act?
Nein. Entscheidend sind Zweck, Einsatzbereich, Daten, Entscheidungsnähe und möglicher Schaden. Ein Agent für interne Recherche ist anders zu bewerten als ein Agent, der Bewerbungen vorsortiert, Kreditentscheidungen vorbereitet oder kritische Infrastruktur beeinflusst.
Welche Regeln brauchen KI-Agenten im Unternehmen zuerst?
Starten Sie mit fünf Regeln: klares Ziel, begrenzte Berechtigungen, definierte menschliche Freigabe, Protokollierung und Stop-Regeln für sensible Daten oder kritische Aktionen. Daraus entsteht die Grundlage für eine belastbare KI-Richtlinie.
Quellen
- Europäische Kommission: AI Act, risikobasierter Ansatz und aktueller Zeitplan
- Europäische Kommission: Leitlinien für Anbieter allgemeiner KI-Modelle
- NIST: AI Risk Management Framework und Generative AI Profile
- OWASP: Top 10 for Large Language Model Applications
- Microsoft Learn: Agentisches KI-Reifemodell, Governance und Sicherheit