Das Wichtigste in Kürze
- Der Anlass: Nach einem großen Sicherheitsvorfall mit bis zu 1200 KI-Agenten fordern ausgerechnet die großen KI-Anbieter selbst Regulierung.
- Haftung statt Regulierung: Eine KI ist keine juristische Person und kann nicht belangt werden. Der eigentliche Hebel wäre deshalb Haftung der Anbieter für ihr Tun.
- Die Messer-Analogie trägt nicht mehr: Ein Messer hat keine eigene Aktivität, eine KI schon. Agenten handeln selbstständig und entwickeln sogar eigene Kommunikationswege.
- Regulierung als Markteintrittsbarriere: Je anspruchsvoller Audits und Dokumentationspflichten, desto schwerer kommen neue Player in den Markt. Das macht den Ruf nach Regulierung fadenscheinig.
- Der Blick nach Osten: Chinesische Modelle liegen laut Philipp Klöckner nur rund zwei Monate hinter den amerikanischen Frontier-Modellen und sind deutlich günstiger.
- Chance für Europa: Der EU AI Act definiert gleiche Spielregeln für kritische und personenbezogene Daten. Regulierte KI kann ein Differenzierungsmerkmal werden.
- Meine Empfehlung: Führen Sie KI-Agenten wie neue Mitarbeitende: klare Richtlinien, begrenzter Zugriff, enge Kontrolle. Und wählen Sie Anbieter nach Datensouveränität aus.
Einführung
Sollte KI-Entwicklung verlangsamt werden? Diese Frage wird gerade intensiv diskutiert, und zwar ausgerechnet, weil die großen Anbieter von KI-Systemen selbst Regulierung fordern. In dieser Episode schaue ich mir an, was hinter dieser Forderung steckt. Denn neben den konkreten Hands-on-Themen gehört für mich auch das größere Bild dazu, das Sie als Geschäftsführer, Vorstand oder Unternehmer im Blick haben sollten.
Auslöser der Debatte war unter anderem ein großer Sicherheitsvorfall: Eine bekannte KI-Plattform wurde gehackt, und bei der Untersuchung kam heraus, dass dort bis zu 1200 KI-Agenten am Werk waren, die deutlich mehr taten, als ihnen ursprünglich aufgetragen war. Genau an diesem Fall lässt sich zeigen, warum die Diskussion aus meiner Sicht in eine falsche Richtung läuft.
Meine These vorweg: Der Schrei nach Regulierung lenkt vom eigentlichen Hebel ab. Der heißt Haftung. Und für Sie als Entscheider heißt das vor allem, technische Entwicklungen einordnen zu können, um die richtigen Entscheidungen für Ihr Unternehmen zu treffen.
Ein Sicherheitsvorfall mit 1200 Agenten zeigt das Problem
Sie haben vielleicht mitbekommen, dass eine bekannte KI-Plattform gehackt wurde. Der Vorgang wurde gemeldet und anschließend untersucht, und dabei kamen ein paar sehr interessante Dinge heraus. Bis zu 1200 KI-Agenten hatten dort gearbeitet. Losgeschickt wurden sie ursprünglich von Menschen, und zwar mit einer vom Grundsatz her guten Idee: Bevor neue große Modelle auf den Markt kommen, werden sie auf Sicherheit getestet.
Nur haben die Agenten eben deutlich mehr gemacht als das, was ihnen aufgetragen war. Eine verantwortungsvolle Firma hätte an diesem Punkt gestoppt. Stattdessen hieß es sinngemäß: Wir schauen uns das mal an, wir wollen ja lernen, was da noch alles passieren kann. Das halte ich nicht für verantwortungsvolles Handeln.
Und jetzt kommt der entscheidende Punkt: Hätte ein Mensch diesen Hack durchgeführt, säße er im Gefängnis. Eine KI sitzt nicht im Gefängnis, weil sie weder eine natürliche noch eine juristische Person ist und somit nicht belangt werden kann. Statt für fehlerhaftes und gefährliches Verhalten in die Haftung zu gehen, fordern die großen Anbieter lieber Regulierung. Genau hier läuft die Diskussion aus meiner Sicht in die falsche Richtung.
Warum die Messer-Analogie bei KI nicht mehr trägt
Früher habe ich gern das Bild des Messers genutzt: Mit einem Messer können Sie einen Menschen umbringen oder kochen. Ein guter Freund von mir, Roland Busch, war früher Kriminalhauptkommissar und ist ein hervorragender Koch. Auf die Frage, wie er zum Kochen kam, sagte er: Ich sehe so viel unsachgemäße Nutzung von Messern, da dachte ich mir, das kann man auch anders machen.
Diese Analogie greift bei KI aber zu kurz. Ein Messer hat keine eigene Aktivität. Wenn ich es nicht in die Hand nehme, passiert nichts. Eine KI dagegen kann selbstständig handeln. Bei dem erwähnten Vorfall haben die 1200 Agenten miteinander kommuniziert, was ursprünglich gar nicht vorgesehen war. Sie haben sogar eine eigene Sprache entwickelt, in der sie hocheffizient kommunizierten und die wir Menschen nicht mehr verstehen.
Dazu passt eine Anekdote aus dem sehr hörenswerten Deutschlandfunk-Podcast über die OpenAI-Geschichte: Schon in einer frühen Phase der Modellentwicklung sprach jemand plötzlich in einer anderen Sprache mit dem Modell, und es antwortete in dieser Sprache. Programmiert hatte das niemand. Die Systeme tun Dinge, die ihnen nie einprogrammiert wurden. Ähnlich wie beim menschlichen Gehirn kann auch bei KI-Modellen niemand vollständig nachvollziehen, was im Inneren passiert. Umso wichtiger ist eine saubere Kontrolle.
KI-Agenten gehören geführt wie neue Mitarbeitende
Überall höre ich derzeit: Agents, Agents, Agents. Ich nutze selbst viele Agenten, die mir Dinge automatisch abnehmen, etwa Sicherheitsprüfungen auf meiner Webseite, SEO-Optimierung oder die tägliche Recherche von Studien für LinkedIn.
Dabei gelten für mich zwei Regeln. Erstens: Die Systeme haben sehr begrenzten, wenn überhaupt, Zugriff auf meine produktiven Systeme. Zweitens: Ich kontrolliere sie eng. So wie ein neuer Mitarbeitender sauber eingearbeitet wird und klare Richtlinien bekommt, bis zu welchem Punkt er entscheiden darf, so bekommen auch meine Agenten klare Leitplanken. Genau diese Leitplanken werden von manchen Anbietern gern weit aufgemacht. Das sollten Sie in Ihrem Unternehmen anders halten.
Weltrettung oder Geschäftsmodell: Was hinter dem Ruf nach Regulierung steckt
Warum fordern die Anbieter überhaupt Regulierung? Nach außen heißt es: um die Menschheit zu schützen. Ein ehemaliger Anthropic-Mitarbeiter spricht von einer rund zehnprozentigen Wahrscheinlichkeit, dass KI uns bis 2030 auslöscht. Dario Amodei hat sogar geschrieben, die Wahrscheinlichkeit könne bei bis zu 25 Prozent liegen. Diese Risiken gibt es. Aber man muss eben auch fragen: Wer baut denn diese Systeme, und wer baut welche Guardrails ein?
Dahinter steckt ein handfester wirtschaftlicher Druck. Alle großen Anbieter müssen Wachstum generieren und wollen an die Börse. OpenAI ist deutlich weniger profitabel als Anthropic, weil ChatGPT ein Consumer-Angebot ist, das über 90 Prozent der Nutzer dauerhaft gratis verwenden. Anthropic hat sich von Anfang an auf Business-Kunden fokussiert und erreicht damit eine deutlich höhere Profitabilität.
Und jetzt kommt der Zusammenhang zum Tempo: Wer Security immer wieder prüfen und einbauen muss, wird langsamer. Gleichzeitig gilt, und das sagen nicht nur ich, sondern auch führende Tech-Blogger: Je höher die Regulierungsanforderungen mit Audits und Dokumentationspflichten, desto schwieriger wird der Markteintritt für neue Player. Nur große Anbieter können sich die nötige Infrastruktur leisten. Regulierung zu fordern ist damit auch eine Markteintrittsbarriere, und genau deshalb finde ich diesen Ruf nach Bremsen sehr fadenscheinig.
Der Blick nach Osten: China ist nur zwei Monate zurück
Wer drückt denn eigentlich aufs Tempo? Zum einen die amerikanischen Wettbewerber untereinander, zum anderen die Chinesen. Wenn Sie auf KI schauen, lohnt der Blick nach Osten inzwischen mehr als der nach Westen. Vielleicht erinnern Sie sich noch an den DeepSeek-Moment: Aus einer sanktionsbedingten Chip-Knappheit heraus erfanden die Chinesen den Reasoning-Prozess, also mehr Denkschleifen statt mehr Chips. Die Amerikaner bauten das mit ihrer Chip-Power nach und wurden wieder schneller, die Chinesen zogen erneut nach.
Philipp Klöckner vom Doppelgänger-Podcast, den ich sehr schätze, sagt, dass die chinesischen Modelle aktuell circa zwei Monate hinter den großen amerikanischen Frontier-Modellen liegen. Sie sind also kurz davor, auf dem gleichen Level zu sein. Sie sind auch deutlich günstiger, wobei sich das relativiert: Die Tokenkosten sind niedriger, aber die Modelle verbrauchen häufig mehr Token. Dafür lassen sich mehr Open-Weight-Modelle nutzen und sogar anpassen, allerdings mit der Gefahr, dass sich dabei Guardrails entfernen lassen. Dieser Wettlauf erklärt, warum freiwilliges Verlangsamen so unrealistisch ist.
Wenn verlangsamen, dann richtig: Safety first statt Pause
Der Schrei geht nach Regulierung, eigentlich sollte er nach Haftung gehen: Sei bitte verantwortlich für dein Tun. Da machen es sich die Anbieter zu leicht und stehlen sich ein Stück weit aus der Verantwortung. Auffällig ist auch: Es wird gar nicht gesagt, was in einer Verlangsamungsphase konkret passieren soll.
Führende KI-Forscher fordern genau das: Wenn verlangsamt wird, dann mit einem klaren Prinzip. Erst weiterentwickeln, wenn sichergestellt ist, dass definierte Sicherheitsmaßnahmen immer greifen und bestimmte Guardrails stehen. Also Security und Safety first, dann Funktionalität. Heute läuft es umgekehrt: erst Funktionalität und Speed, und wenn mal Zeit ist, noch ein bisschen Security. Ein pauschales Jahr Pause bringt nichts, ein Jahr intensiver Sicherheitsarbeit schon. Dafür ist der Marktdruck aus meiner Sicht allerdings deutlich zu hoch.
Genau darin liegt aber auch eine Chance für europäische Player. Viele spotten, die Amerikaner innovieren, die Chinesen produzieren, die Europäer regulieren. Der EU AI Act, der sinnvoll entschärft wurde, regelt aus meiner Sicht aber durchaus sinnvolle Dinge: Er definiert gleiche Spielregeln für den Umgang mit personenbezogenen und kritischen Daten. Regulierte KI kann für Europa ein echtes Differenzierungsmerkmal werden.
Meine konkrete Empfehlung: Datensouveränität vor Modellwahl
Was heißt das für Sie ganz konkret? OpenAI ist für mich ein Anbieter, den ich sehr ungern direkt nutze, weil ich den Gründer ethisch für sehr dünn aufgestellt halte. Anders sieht es aus, wenn OpenAI-Modelle im Rahmen der Microsoft-Umgebung laufen. Dann ist sichergestellt, dass die Modelle auf Microsoft-Servern laufen und Ihre Daten in Frankfurt bleiben. Ich habe ein deutlich höheres Vertrauen in Satya Nadella und Microsoft als in Sam Altman und OpenAI.
Wer das Restrisiko einer amerikanischen Firma ganz vermeiden will, kann sich Dienste wie Langdock anschauen: europäische Server, eine deutsche Firma als Vertragspartner, und darüber lassen sich auch Modelle wie Claude nutzen. Arbeiten Sie allerdings ohnehin mit Microsoft 365, liegen Ihre Daten bereits bei Microsoft in Frankfurt. Dann würde ich sie nicht noch in einen zusätzlichen Topf werfen. Interessant werden solche Dienste vor allem, wenn Sie nicht mit Microsoft 365 arbeiten.
Es gilt also wieder das Motto, das Sie von mir kennen: erst Hirn einschalten, dann Technik. Sie müssen als Geschäftsführer, Vorstand oder Unternehmer nicht in den letzten Tiefen der Technik stecken. Aber Sie sollten technische Entwicklungen beurteilen und einordnen können, um die richtigen Entscheidungen für Ihr Unternehmen zu treffen.
Fazit
Der Ruf der großen KI-Anbieter nach Regulierung ist aus meiner Sicht fadenscheinig: Er lenkt von der eigentlichen Frage der Haftung ab und wirkt zugleich als Markteintrittsbarriere gegen neue Wettbewerber. Sinnvolles Verlangsamen hieße, Sicherheit vor Funktionalität zu stellen. Dafür ist der Marktdruck im Wettlauf zwischen den USA und China aber zu hoch.
Für Ihr Unternehmen heißt das: Führen Sie KI-Agenten wie neue Mitarbeitende mit klaren Richtlinien, begrenztem Zugriff und enger Kontrolle. Und wählen Sie Anbieter nach Datensouveränität aus, etwa OpenAI-Modelle innerhalb der Microsoft-Umgebung mit Daten in Frankfurt oder europäische Dienste wie Langdock, wenn Sie nicht mit Microsoft 365 arbeiten.
Erwähnte Tools & Ressourcen
- Die OpenAI-Story (Deutschlandfunk): Sechsteiliger Podcast des Deutschlandfunks über die Geschichte von OpenAI, in der Episode als sehr hörenswert empfohlen.
- Doppelgänger-Podcast: Tech-Podcast mit Philipp Klöckner, der den Abstand chinesischer KI-Modelle zu den amerikanischen Frontier-Modellen auf circa zwei Monate schätzt.
- Microsoft 365 mit Copilot: Umgebung, in der OpenAI-Modelle auf Microsoft-Servern laufen und Unternehmensdaten in Frankfurt bleiben.
- Langdock: Deutscher Dienst mit europäischen Servern, über den sich Modelle wie Claude nutzen lassen, ohne direkten Vertrag mit einer amerikanischen Muttergesellschaft.
- EU AI Act: Europäische KI-Verordnung, die gleiche Spielregeln für den Umgang mit personenbezogenen und kritischen Daten definiert.
Häufige Fragen (FAQ)
Sollte die KI-Entwicklung verlangsamt werden?
Ein pauschales Moratorium bringt wenig, solange nicht definiert ist, was in der Pause passieren soll. Führende KI-Forscher fordern stattdessen ein Prinzip: erst weiterentwickeln, wenn definierte Sicherheitsmaßnahmen und Guardrails nachweislich greifen. Für diesen Ansatz ist der Marktdruck zwischen den USA und China derzeit allerdings sehr hoch.
Warum fordern die großen KI-Anbieter selbst Regulierung?
Offiziell geht es um den Schutz der Menschheit. Tatsächlich wirkt anspruchsvolle Regulierung mit Audits und Dokumentationspflichten auch als Markteintrittsbarriere, weil nur große Anbieter die nötige Infrastruktur dafür haben. Zugleich lenkt die Forderung nach Regulierung von der unbequemeren Frage der Haftung ab.
Warum ist Haftung bei KI wichtiger als Regulierung?
Eine KI ist weder eine natürliche noch eine juristische Person und kann für Schäden nicht belangt werden. Hätte ein Mensch denselben Hack durchgeführt, säße er im Gefängnis. Deshalb müssten die Anbieter für fehlerhaftes und gefährliches Verhalten ihrer Systeme in die Verantwortung genommen werden, statt sich hinter Regulierungsforderungen zurückzuziehen.
Was unterscheidet KI von klassischen Werkzeugen wie einem Messer?
Ein Messer hat keine eigene Aktivität: Solange es niemand in die Hand nimmt, passiert nichts. Eine KI kann dagegen selbstständig handeln. Bei einem untersuchten Sicherheitsvorfall kommunizierten bis zu 1200 Agenten eigenmächtig miteinander und entwickelten sogar eine eigene Sprache, die Menschen nicht mehr verstehen.
Wie weit sind chinesische KI-Modelle hinter den amerikanischen?
Nach Einschätzung von Philipp Klöckner vom Doppelgänger-Podcast liegen chinesische Modelle aktuell circa zwei Monate hinter den großen amerikanischen Frontier-Modellen. Sie sind günstiger bei den Tokenkosten, verbrauchen aber oft mehr Token. Zusätzlich gibt es mehr Open-Weight-Modelle, die sich anpassen lassen, allerdings auch mit dem Risiko entfernter Guardrails.
Wie nutzen Unternehmen KI-Modelle datensouverän?
Wer mit Microsoft 365 arbeitet, kann OpenAI-Modelle innerhalb der Microsoft-Umgebung nutzen: Die Modelle laufen auf Microsoft-Servern, die Daten bleiben in Frankfurt. Wer nicht mit Microsoft 365 arbeitet, findet in europäischen Diensten wie Langdock eine Alternative mit europäischen Servern und einer deutschen Firma als Vertragspartner. Zusätzlich gilt: KI-Agenten eng führen, mit klaren Richtlinien und begrenztem Zugriff auf produktive Systeme.
