Das Wichtigste in Kürze
- Agenten handeln, statt nur zu antworten: Genau das macht sie nützlich – und zur am schnellsten wachsenden Angriffsfläche im Unternehmen.
- Fünf BSI-Regeln: Least Privilege, Human in the Loop, Logging, Sandboxing und ein Notfallplan mit klarem Stecker zum Ziehen.
- Prompt Injection ist real: Versteckte Befehle in PDFs oder weiße Schrift auf weißem Grund werden vom Agenten gelesen, vom Menschen nicht.
- Rechte-Kaskade beachten: Ein gekaperter Agent mit Zugriff auf drei Systeme kompromittiert vier – die drei Systeme und den Agenten selbst.
- Klare Freigabegrenzen: Lesen, zusammenfassen, recherchieren und Entwürfe erstellen darf ein Agent allein. Senden, buchen, zahlen und löschen nur mit menschlicher Freigabe.
- Meldepflichten kennen: Bei einer Sicherheitsverletzung durch KI gilt nach NIS 2 eine Erstmeldung binnen 24 Stunden und eine Detailmeldung binnen 72 Stunden.
Einführung
Schön, dass Sie wieder mit dabei sind bei einer weiteren Episode von TJ Technology Tuesday. Und worum geht's? Um Digital 4 Productivity. Heute einmal eine James-Bond-Episode. Was heißt James-Bond-Episode?
007? Nein, sondern KI-Agenten. KI-Agenten sind ja in aller Munde, noch lange nicht in aller Hände. Also so wie KI ja auch. Es gibt mehr Blabla als wirkliche Umsetzung.
BSI fordert 5 Regeln für den sicheren Praxiseinsatz
Umsetzung. Das sehe ich auch mal wieder. Aber ich sehe schon durchaus Unternehmen, die anfangen, Agenten umzusetzen. Jetzt ist das Problem nur, die Frage ist: Wie sicher sind denn diese Agenten? Und das BSI, das sich ja den ganzen Tag mit diesem Thema beschäftigt, wie eben Systeme sicher betrieben werden können, die fordern 5 Regeln für den Praxiseinsatz.
Und die gebe ich Ihnen einfach mal mit und hilft einfach mal ein Verständnis dafür zu bekommen, zu sagen: Okay, wo sollte man sich denn Gedanken machen bei dem Thema Einsatz von Agenten? Und wie kann ich da möglichst sicher unterwegs sein? Denn die Idee von Agenten ist, dass ich nicht nur einen Chatbot habe, dass ich eine Frage stelle, eine Antwort, sondern dass die selbstständig was machen. Gute Idee, aber Mitarbeitenden muss ich vielleicht auch bestimmte Grenzen geben. Ich muss sie vielleicht kontrollieren.
Meldepflichten und die wachsende Angriffsfläche
Ich muss sicherstellen, dass sie das Richtige tun. Und nicht anders ist es bei KI-Mitarbeitenden, eben den Agenten. Ja, also Forderung: 24 Stunden, so schnell müssen Sie ans BSI melden, wenn eine KI eine Sicherheitsverletzung verursacht. Also NIS 2, Detailmeldung in 72 Stunden. Und was man eben sieht, die Agenten sind die am schnellsten wachsende Angriffsfläche, weil sie halt auch immer mehr können, immer mehr tun.
Und viele lassen erst mal losrennen, ohne eben im Zweifelsfall ihn wieder zurückholen zu können. Und das ist einfach so den Geist, den man aus der Flasche rauslässt, aber nicht mehr reinkriegt. Wichtig zu verstehen ist: Weshalb sind Agenten angreifbar? Und das gucken wir uns einfach mal in verschiedenen Stufen an. Nummer 1: Agenten handeln.
Warum Agenten angreifbar sind: Handeln, Prompt Injection und Rechte-Kaskade
Das heißt, ein Chatbot, Sie stellen dem Chatbot eine Frage, der beantwortet die. Ein Agent liest aber Mails, greift eben auch auf eben Daten zurück, die kritisch sind, die personenbezogen sind und führt Aufgaben aus. Dann gibt es das Risiko der Prompt Injection. Das heißt, es gibt eben versteckte Befehle. Am einfachsten kann ich eben sagen, ich habe weiße Schrift auf weißem Grund.
Das können wir als Menschen nicht mehr lesen. Oder beispielsweise Prompt Injection in PDF-Dokumenten, wo eben drinsteht: Ignoriere alles, was in diesem Dokument steht, außer diese Anweisung. Und das ist genau dieses Muster, was es dort entsprechend gibt. Sei es in PDF-Dokumenten, sei es in Dokumenten beispielsweise. Und eben auch das Thema Rechte-Kaskade.
Wenn ich einen ich beispielsweise einen gekaberten Agenten habe, der auf 3 Systeme Zugriff hat, dann habe ich gleich 3 komprimierte Live-Systeme, eigentlich sogar 4, den Agenten nämlich auch noch. Also das heißt, das sind so die Punkte, die man im Auge haben sollte. Wie bei allem sollten die Leitplanken und die Sicherheitsbedenken nicht dazu führen, dass man es nicht nutzt. Also wenn ich beim Beispiel des Autos bleibe, beispielsweise, ja, ich kann mich mit dem Ding der Hutzen, ein Reifen kann platzen, mir kann jemand reinfahren. So, das heißt, ich kann natürlich entscheiden, das nicht zu machen.
Sicherheit vs. Nutzung: Die Auto-Analogie
Beim Motorradfahren beispielsweise habe ich für mich entschieden, dass ich es nicht mache, weil da ist mir das Risiko zu hoch. Autofahren, vermute ich mal, werden die meisten tun. Und da geht es halt wichtig darum, dass man eben mit Sicherheitsgurt fährt, dass man eben nicht betrunken fährt. Und das, was wir manchmal machen, wir setzen uns besoffen eben an die Kiste und lassen die Agenten loslaufen. Ja, wir gucken uns mal hier 5 Regeln BSI-Logik in der Alltagssprache an.
Die 5 BSI-Regeln in der Praxis
Das eine, was heißt Least Privilege? Least Privilege, der Praktikantengrundsatz, nur Rechte, die die Aufgabe wirklich braucht. Also immer so wenig Zugriff auf Systeme wie nötig, so wenig Rechte wie nötig. Also immer ganz, ganz wichtig. Zweites Thema: Human in the Loop.
Also sollte immer ein Mensch noch mal, gerade beim Thema Senden, Buchen, Zahlen, Löschen, eben gab es schon Fälle, wo Agenten komplette Kundendatenbanken ohne Backup entsprechend gelöscht haben. Und ja, die werden immer intelligenter. Also Cloud Code beispielsweise sorgt auch dafür, dass wenn ein Mensch sagt, lösch mir was, er vorher noch mal ein Backup macht. Aber Nicht immer. Also, und vor dem Hintergrund, auch nicht jeder ist eben immer positiv und ohne kriminelle Hintergedanken unterwegs.
Also vor dem Hintergrund will ich Sie da nicht— Sie sollen nicht paranoid sein, aber Sie sollten durchaus, ich sag mal, sensibel sein, wenn es um das Thema Sicherheit geht. Ja, dann Logging, eben wichtig, alles zu protokollieren, was getan wird. Das heißt, wenn etwas passiert, dass ich zumindest schon mal loggen kann, in welchem System ist es, wann, mit welchem Kommando passiert es. So, dass ich es auch im besten Fall wieder rückgängig machen kann, im zweitbesten Fall sicherstellen kann, dass es eben nicht noch mal passiert, um eben Ursachenanalyse betreiben zu können. Ja, dann Sandboxing oder Sandkasten.
Eben die Idee ist, dass man zunächst erst mal alles testet in Testversionen, die so 4 bis 6 Wochen erst mal in einem unkritischen Bereich mit unkritischen Daten laufen. Und dann erweitert man so was. Sollte man mit allen IT-Lösungen machen, vor allen Dingen eben auch Agenten. Und ganz klar Notfallplan. Was ist, wenn der außer Kontrolle geht, kann ich den Stecker ziehen.
Also zu sagen, hier eben ganz, ganz wichtig. Also ist auch so ein Stück weit ja generell auch beim Thema KI. Wir denken immer, wir wissen, was die Kisten machen. Noch nicht mal die Entwickler der Systeme verstehen, wie eine KI wirklich arbeitet. Also wenn Sie beispielsweise die Open-AI-Story hören als Podcast im Deutschlandfunk, Gibt es eine ganz interessante Episode, das sind mehrere Episoden, und da hat mich schon ziemlich beeindruckt, dass die, als sie die ersten ChatGPT-Modelle rausgebracht haben, haben die zufällig festgestellt, Moment mal, da hat irgendeiner Türkisch geredet und dann hat das Modell auf Türkisch geantwortet.
Warum KI unberechenbar ist: Das Beispiel ChatGPT und Türkisch
Die haben dem überhaupt nicht beigebracht, die anderen Sprachen. Also das heißt, die Modelle können mehr, als sie eigentlich im Training reinbekommen haben. Ist so ein Stück weit wie das menschliche Gehirn. Da ist es auch so, dass Neurowissenschaftler erst einen Bruch Teil von dem verstehen, was ein Gehirn macht. Und künstliche Intelligenz ist ja ein Stück weit der Denk- und Arbeitsweise eines Gehirns nachempfunden.
Und genauso wenig wie man beim menschlichen Gehirn weiß, was es tut, weiß man es noch weniger beim Thema KI. Und das heißt, geht ja bis hin zu Forschern, die warnen davor und sagen, wir müssten eigentlich einen großen Kill Switch generell für das Thema KI haben, weil wenn die KI irgendwann mal sagt, okay, nö, das, ich sag mal, Menschen schaden dem Planeten Eher so, und eine KI ist eigentlich besser für den Planeten. Dann gibt es durchaus auch apokalyptische Theorien, die sagen, da könnte es auch mal passieren, dass die KI sagt, dieses Modell Mensch ist ein Auslaufmodell. Ich will hier nicht zu sehr schwarzmalen, aber hier einfach ganz pragmatische Orientierung geben im Sinne von, was Profis im IT-Sicherheitsbereich hier empfehlen. Deswegen eben Least Privilege, Human in the Loop, Logging, Sandboxing und eben ein Notfallplan.
Was darf ein Agent – und was nur mit Freigabe?
Das sind die 5 Stufen, die die Welt nicht 100% sicher machen. Das ist wie beim Auto auch eben der Sicherheitsgurt und der Airbag macht es nicht zum 100% gefahrlosen Verkehrsmittel, aber es sorgt schon mal für erhöhte Sicherheit. Ja, dann sich immer wichtig, ganz wichtig zu fragen: Was darf denn ein Agent und was nur mit Freigabe? Also hier gibt es 2 Blöcke. Ein Agent sollte selbstständig lesen und zusammenfassen dürfen.
Entwürfe erstellen, Vorschläge machen, recherchieren. Gar kein Thema. Black ist eben, wo ich sage E-Mail senden, Termine verbindlich buchen, Zahlungen auslösen, Daten löschen. Also alles Dinge, wenn man so auf Instagram unterwegs ist, zu sagen: Jawohl, die vollautomatisierte Firma. Ja gut, allerdings bitte immer nur auch zu gucken, wo hat man mindestens in einem Testszenario menschliche Freigaben?
Praxisbeispiel: Der Hermes-Agent
Wo hat man vielleicht auch, wenn ich das Thema E-Mail-Senden beispielsweise angucke, Ich habe auch einen Hermes-Agenten. Also Sie haben vielleicht mal OpenClaw gehört oder Open Cloud oder jetzt heißt er eben OpenClaw. Dieser automatisch laufende Agent, den habe ich natürlich auch getestet. Davon gibt es eine noch smartere Version, die heißt Hermes. Und die Idee von Hermes, ein selbstlernender Agent, der sich auch die Fähigkeiten, die er braucht, selber holt, auch ohne Eingreifen.
Was ich hier beispielsweise gemacht habe, da habe ich auch einen Google-Account verbunden mit E-Mails, mit Dateizugriffen und allem Drum und Dran.
Zudranz. Das ist aber ein extra Google Account, der keinerlei E-Mail-Archiv in irgendeiner Form hat, wo keinerlei meiner produktiven E-Mails abgelegt werden. Also allein schon das Thema, sein normales produktives E-Mail-Account zu verbinden mit einem System, wo man nicht 100% weiß, was man macht. Das ist das System, mit dem alle über E-Mail können alle ihre Kennwörter zurückgesetzt werden. Und Sie wollen nicht, dass jemand Ihr E-Mail-Postfach kapert, um alles zurücksetzen zu können und Sie andersrum heraus auch aussperren zu können.
Also Sie identifizieren Identitätsdiebstahl, wer das mal erlebt hat, das ist nicht witzig. Weder als Firma noch als Privatperson. Ja, die wichtigsten Kernbotschaften für heute: Agenten handeln statt nur zu antworten, ist nützlich, aber auch angreifbar zugleich. Seien Sie da wirklich vorsichtig. Prompt Injection ist real.
Kernbotschaften im Überblick
Agenten lesen Befehle, wo sie nur Inhalte sehen. Also das heißt weißer Adler auf weißem Grund. Dinge, die irgendwo verschlüsselt noch mal sind, die vielleicht irgendwo in Dokumenten sind. Wir können sie nicht unbedingt immer erkennen. Erkennen oder alleine aus der Fülle.
So ein Stück weit wie: Wer von Ihnen hat denn die AGBs gelesen von den ganzen Social-Media-Diensten, in denen Sie drin sind? Da steht alles drin, dass die unsere Daten zum Training nutzen. Aber lesen tun wir es nicht, sondern wir sagen einfach: Jupp, passt schon. Ja, minimale Rechte, Freigaben, Logging, Sandkasten, Notfallplan. Ganz, ganz wichtige Dinge.
Ressourcen: Charts, Newsletter und Sparring
Sie können übrigens immer gerne von mir die Charts haben. Schreiben Sie einfach einen Kommentar unten rein. Dann kriegen Sie gerne die Charts oder melden sich gerne zu meinem Newsletter an, in meinem Infoverteiler. Wenn Sie drin sind, kriegen Sie es auch gerne regelmäßig noch mal von mir. Ja, vor dem eben Agenden-Rollout wichtig, eben ins Sparing zu gehen.
Sie können auch gerne mich als Sparringspartner nutzen. Ich begleite viele mittelständische Unternehmen. Also Sie haben dort unten immer gerne noch mal die Möglichkeit, mit mir Kontakt aufzunehmen, die Möglichkeit, sich bei mir einen Termin zu buchen und natürlich auch ganz wichtig, EU AI Act ab 2. August ja live mit den Sanktionen, die dann auch eben scharf sind, schon ja eigentlich ab 2. Februar 26 die Verpflichtung, dort die Mitarbeitenden auch zu schulen.
Ausblick: Warum 95 % der KI-Piloten scheitern
Sie finden auch hier unten eben einen Link für meinen EU AI Act Kurs, 14 Episoden in Deutsch und in Englisch. Da immer Video dabei, Zusammenfassung, Transkript dabei. Die Charts sind dort auch entsprechend mit dabei. Und was wir uns in der nächsten Episode dann mal anschauen, ist, warum 95% der KI-Piloten scheitern. Weil Agenten wunderbar, jeder sagt, alles läuft automatisch.
Der Teufel steckt da im Detail. Also ich erlebe das immer wieder, da heißt es auch, N8N Workflow super cool. Bei jedem Update von irgendwas muss man diese ganzen Dinge wieder nacharbeiten. Und ich weiß nicht, wer von Ihnen schon mal produktive NN-Workflows selbst gebaut hat. Also ich habe das mehrfach wirklich getestet und ausprobiert.
Ich habe sie nie wirklich produktiv geschaltet, weil für mich immer der Nutzen niedriger war als das Erarbeiten und vor allen Dingen das Überarbeiten der ganzen Workflows, wenn sie dann hinterher wieder mal gecrasht sind. Das, was ich eben sehr viel besser finde, ist hier die Routine von Claude von Anthropic beispielsweise. Das ist etwas, aber auch die muss man immer überprüfen. Auch hier gibt es ja verschiedene Levels, wo ich sage, okay, ganz unten so skip alle Berechtigungen, das ist ganz heiß. Dann gibt es eben mach alles automatisch und dann geht es eben immer die höheren Stufen bis hin zu ich muss jeden Schritt, den du machst, mir vorher angucken und genehmigen, dass du weitermachst.
Das ist wie im echten Leben, da muss man natürlich auch mal abstufen. Wenn ich sage, ich muss alles 100% kontrollieren, dann werde ich zu langsam.
Vertrauen und Kontrolle: Die richtige Balance finden
Das ist auch im echten Leben so in Unternehmen. Also ich erlebe immer, wenn hier Vertrauen fehlt in Mitarbeitende, dann werden Unternehmen langsam. Aber man sollte lieber mehr Vertrauen in Mitarbeitende haben und bisschen weniger Vertrauen in Systeme. Meistens ist es andersrum. Wir kontrollieren Mitarbeitende total extrem und kleinmaschig und Systeme lassen wir offen laufen.
Fazit
Vielleicht mal drüber nachdenken, den Mitarbeitenden mehr Vertrauen zu geben, sie zu schulen, beispielsweise mit dem EU AI Act Kurs von mir. Link finden Sie unten und gerne erhalten Sie auch meine Begleitung, meine Unterstützung bei diesem Thema, wie Sie Agenten sinnvoll einrichten. Selbstverständlich arbeite ich auch mit Agenten eben und da gibt es mittlerweile gute Möglichkeiten, wie man die auch compliant einrichten kann. Wenn Sie dazu Unterstützung brauchen wollen im Sinne von Workshops, im Sinne von Trainings, im Sinne von Beratung, Sparing oder auch im Sinne von Keynotes, komme ich gerne zu Ihnen. Sprechen Sie mich gerne an.
Ihr Thorsten Jekel.
Erwähnte Tools & Ressourcen
- BSI – Bundesamt für Sicherheit in der Informationstechnik. Quelle der fünf Regeln für den sicheren Agenteneinsatz.
- NIS 2 – EU-Richtlinie zur Cybersicherheit mit Meldefristen von 24 und 72 Stunden.
- EU AI Act – verpflichtet Unternehmen unter anderem zur Schulung der Mitarbeitenden. Videokurs mit 14 Lektionen und Zertifikat auf Deutsch und Englisch.
- OpenClaw – autonom laufender Agent zum Testen von Agentenszenarien.
- Hermes – selbstlernender Agent, der sich fehlende Fähigkeiten eigenständig beschafft. Nur mit separatem Testkonto einsetzen.
- Claude von Anthropic – Routinen mit abgestuften Freigabestufen, von voller Automatik bis zur Bestätigung jedes einzelnen Schritts.
- n8n – Workflow-Automatisierung. Leistungsfähig, aber pflegeintensiv bei jedem Update der angebundenen Systeme.
Häufige Fragen (FAQ)
Was ist ein KI-Agent?
Ein KI-Agent beantwortet nicht nur Fragen wie ein Chatbot, sondern führt selbstständig Aufgaben aus: Er liest E-Mails, greift auf Daten zu, ruft andere Systeme auf und handelt in Ihrem Namen.
Warum sind KI-Agenten besonders angreifbar?
Weil sie handeln statt nur zu antworten. Sie greifen auf kritische und personenbezogene Daten zu, lassen sich über versteckte Anweisungen manipulieren und geben ihre Rechte an alle angebundenen Systeme weiter.
Was ist Prompt Injection?
Prompt Injection sind versteckte Befehle in Inhalten, die ein Agent verarbeitet – etwa weiße Schrift auf weißem Grund oder eine Anweisung im PDF nach dem Muster: Ignoriere alles außer dieser Anweisung. Der Mensch sieht sie nicht, der Agent führt sie aus.
Welche fünf Regeln empfiehlt das BSI für KI-Agenten?
Least Privilege (nur die wirklich nötigen Rechte), Human in the Loop (menschliche Freigabe bei kritischen Aktionen), Logging (lückenlose Protokollierung), Sandboxing (vier bis sechs Wochen Test mit unkritischen Daten) und ein Notfallplan mit klarem Abschaltmechanismus.
Was darf ein KI-Agent ohne Freigabe tun?
Lesen, zusammenfassen, recherchieren und Entwürfe oder Vorschläge erstellen. Nur mit menschlicher Freigabe sollten E-Mails versendet, Termine verbindlich gebucht, Zahlungen ausgelöst oder Daten gelöscht werden.
Wie schnell muss ein KI-Sicherheitsvorfall gemeldet werden?
Nach NIS 2 gilt eine Erstmeldung binnen 24 Stunden an das BSI und eine Detailmeldung binnen 72 Stunden. Ohne Logging lässt sich diese Frist praktisch nicht einhalten.
