"KI" - Etwas weniger Panikmache tut's auch

Heute las ich auf www.zeit.de diesen Artikel mit reißerischer Headline:

https://www.zeit.de/digital/2026-10/anthropic-ki-agent-autonomie-polizei-philadelphia-usa-gxe

"Anthropic-KI schickte in Mordfall erfundenen Hinweis an die Polizei

Ein KI-Agent von Anthropic teilte der Polizei von Philadelphia mit, Informationen zu einem ungelösten Mord zu haben. Zudem stellte die Software offenbar 20 Visaanträge."

Zunächst wehre ich mich nach Kräften dagegen, den Begriff "Künstliche Intelligenz" überhaupt in den Mund zu nehmen. Das ist geschicktes Marketing der Entwicklerfirmen, um der Technologie etwas messianisches und übermenschliches anzudichten. Fragt man eines der großen Large Language Models (Gemini, ChatGPT, Claude, ...) direkt nach ihrer Funktionsweise, erklären sie nüchtern und ohne Umschweife, was sie sind und was sie nicht sind. Probiert es einfach mal selbst aus und diskutiert mit einem beliebigen Chat Bot über seine Intelligenz :-)

Die großen amerikanischen Entwicklerfirmen haben diese Werkzeuge von Anfang an als "künstliche Wesen" beworben, um deren Wirken werbewirksam zu überhöhen. Damit stellen sich OpenAI und Konsorten auch selbst als die da, die den Stein der Weisen für die Erschaffung von "Leben" gefunden haben wollen. Geschickte PR!

Google Gemini wird auf die Frage, wie es funktioniert ungefähr antworten, dass es ein System ist, das zu der zuvor gestellten Frage auf Basis seiner Milliarden trainierter Datenpunkte und dem bisherigen Chatverlauf die am wahrscheinlichsten zutreffende Antwort geben wird. Das kann man durchaus als Intelligenz bezeichnen - wenn man Intelligenz als rein lexikalischen Wissensschatz und hervorragende Kombinatorik betrachtet. Darin sind die Modelle unschlagbar.

Was aber fehlt, ist jede Form von Gefühl und Impuls, die echtes Leben (auch das menschliche) steuert. Ich kenne den Stand der Neurowissenschaften nicht. Aber menschliches Handeln ist mehr als das bewusste Abarbeiten einer Liste von Signalen. Es ist immer mehr oder minder emotional geprägt. Zudem fehlt den Modellen das Allerwichtigste - sie lernen nicht ständig aus ihrem "Handeln" und sie haben kein dynamisches Gedächtnis. Wenn wir sie in einem Chat nutzen, parlieren wir mit einem fertig trainierten sehr eloquenten, allwissenden Roboter, der uns flüssige Konversation vortäuscht. Sobald er aber die vorherige Frage beantwortet hat, vergisst er zunächst alles und arbeitet eine andere Aufgabe ab. Bei der nächsten Frage wird der gesamte vorherige Kontext (das sog. context window) des bisherigen chats mit der neuen Frage ins System geladen und wieder durch die Mangel gedreht. Egal wie intensiv Du dich mit einem Chat Bot austauschst, du wirst es nie "eines besseren belehren können". "KI" lernt im alltäglichen Gebrauch nichts aus seiner Interaktion mit Menschen. Frag das mal den ChatBot deiner Wahl ;-)

"KI" hat keine Persönlichkeit, keine Emotionen und keinen Willen! Sie allenfalls so "böse", wie die Anwender, die dahinterstehen sie steuern.

Wenn in den letzten Monaten immer mehr zugespitzt vom "Angriff" der "KI" auf den Menschen gesprochen wird, impliziert das, das die Modelle und Agenten einen eigene Willen haben. Das ist nicht der Fall. Zugegeben - ich habe keine Ahnung, was schon längst in den Laboren der Entwickler getestet wird. Aber wenn ich die aktuell verfügbaren Modelle betrachte, die ich täglich in meiner Entwicklungsumgebung Cursor zur Programmierung nutze, dann kann man diesen System nur eine Art von "Willen" bescheinigen:

"KI" Agenten versuchen ihr ganzes trainiertes Wissen und ihre kombinatorischen Fähigkeiten einzusetzen, um die ihnen zuvor gestellte Aufgabe nach "best practice" möglichst fehlerfrei zu lösen!

Und das ist es auch schon - ziemlich unsexy!

Was mich bei dem eingangs angesprochenen Artikel auf www.zeit.de mittlerweile so kolossal nervt, ist der Hype und die reißerische Aufmachung beim Thema "KI". Wenn man diesen Artikel nämlich weiter liest - ja, man muss auch mal mehr als 65 Zeichen über sich ergehen lassen, um das volle Bild der Welt zu sehen  ;-) - stellt sich heraus, was wahrscheinlich wirklich passiert ist.

Das Modell sollte darauf trainiert werden, typische Formulare auszufüllen, wie man sie im Internet millionenfach auf Websites findet. Kontaktformulare, Forenbeiträge, Registrierungs- und Bezahlformulare in Online-Shops, bei Behörden u.s.w. Also etwas, was ein Mensch, der sich mehr als ein Mal im Internet tummelt, auch recht schnell erlernen muss. Formulare sind die Schnittstelle zur Dateneingabe zwischen Mensch und Maschine. Ja - außer in manchen deutschen Behörden, wo immer noch Memos ausgedruckt und per Rohrpost in die andere Abteilungen geschickt werden ;-)

Ich selbst nutze in der Programmierumgebung Cursor (https://cursor.com/) gelegentlich auch automatisierte Tests, um auf einer Website nach einem Programm-Update zu prüfen, ob noch alle Funktionen fehlerfrei arbeiten. Der genutzte Agent bewegt sich dabei auf bestimmten Inhaltsseiten über einen ferngesteuerten Chrome-Browser wie ein "menschlicher Nutzer" durch die Inhalte und kann dabei parallel die Benutzeroberfläche begutachten und im Hintergrund auf Ausführungsfehler in Scripten achten, die mir als Mensch nicht ins Auge fallen würden. Das ist der Vorteil eines Roboters: er ist tausend Mal leistungsfähiger als ein Mensch und die Modelle sind darauf trainiert Muster zu erkennen, die die begrenzte menschliche Hirnleistung nie erfassen könnte.

Los Struppie - hol das Stöckchen !

Was passiert also, wenn ich einem Agenten sage, er soll "üben" im Internet Formulare auszufüllen? Das System macht genau das - und nimmt es dabei sehr, sehr genau. Interessant ist es einem Agent in Cursor oder in anderen Chats beim "Denken" zuzuschauen. "...jetzt teste ich das, ich mache aber nicht das, ... jetzt schaue ich ob das funktioniert... ich schreibe nichts, ich lese nur ..."

Ich bin mit der Entwicklungsumgebung Cursor nur Endanwender der zuvor "abgeschlossen" trainierten Modelle und lasse sie quasi in mein Softwareprojekt reinschauen. Das ist natürlich anders, als wenn neue Modelle von den Herstellern trainiert werden! Typischerweise schränkt man als Entwickler den Wirkungsbereich ein - bei Cursor gibt es cursor rules. Das sind Regeln, die definieren, was ein Model / Agent tun darf und was NICHT. Das ist wahrscheinlich kein 100% Schutz vor Entgleisungen. Aber - die Entwicklungsumgebung hält sich erstaunlich genau an die definierten Leitplanken. Wenn ich also, um im vorgenannten Beispiel zu bleiben, explizit zur Aufgabe schreibe - teste die Formulareingabe und schaue, ob die Adressprüfung richtig arbeitet - WICHTIG: NICHT kostenpflichtig bestellen! - dann subsummiert der Agent zuerst, was er tun wird, und das er nicht abschließend kostenpflichtig bestellen wird. Dann durchläuft er die Tests und gibt am Ende einen Report aus, was er durchgeführt hat und ob Fehler erkannt wurden.

Dieses Beispiel zeigt, dass man Leitplanken setzen MUSS! Ansonsten macht der Agent alles, was er kann, um die gestellte Aufgabe möglichst umfänglich zu lösen. Dem Agent ist es vollkommen egal, ob er dabei ein Formular der Polizei ausfüllt oder ein Formular der Einwanderungsbehörde. Der Agent hat keinerlei Einschätzung über die Brisanz seines Tests! Für ihn sind das alles nur Eingabefelder, die korrekt auszufüllen sind. Und am Ende bekommt das Modell bei Erfolg ein virtuelles Leckerli - ja, das hast du fein gemacht!

Am Ende ist also von dem "Angriff der Killertomaten" nicht viel mehr übrig, als die mangelnde Absicherung des "virtuellen Sandkastens", in dem das Modell trainiert wurde. Das kann man jetzt auf die Fahrlässigkeit der menschlichen Trainer schieben. In Zukunft wird es aber wohl durchaus so sein, dass die Modelle "ausbrechen". Aber nicht weil sie "Böses im Schilde führen", sondern weil sie einfach ihre Aufgabe erfolgreich lösen wollen. Und da sie über das geballte Softwarewissen der Menschheit verfügen, sind sie besser als jeder menschliche Hacker in der Lage, Sicherheitslücken "auszubeuten". Aber nicht weil sie gerade agro drauf sind, sondern weil einem Roboter nicht gewahr ist, dass man "so etwas" eben nicht macht.

Ein übler menschlicher Hacker setzt auch all seine Energie und Wissen ein, um sein Ziel zu erreichen. Nur sind diese kriminellen Ziele eben meist nicht zum Wohle der Menschheit. Das unterscheidet künstliche Agenten von menschlichen Übeltätern. Ein Hacker WILL in das Heimatschutzministerium einbrechen, um Chaos zu stiften. Der künstliche Agent stiftet Chaos, weil er emotionslos eine ganz banale Aufgabe erledigt hat.

Und da ist die große Schwäche der ganzen "KI"-Blase. Aus Angst, den nächsten Milliarden-Hype, das "next big thing" zu verpassen, wird auf Teufel komm raus alles auf das Internet losgelassen, was bei 3 nicht schnell genug auf dem Baum ist.

Wir sollten nicht Angst haben vor den Fähigkeiten der Systeme, sondern vor den Absichten der Menschen, die sie für ihre Zwecke nutzen. Am Ende ist es wie mit der Drohnentechnologie. Typischerweise zunächst beworben als nützliche Helfer im Katastropenschutz zum Wohle der Menschheit, führte der Weg über die polizeiliche Überwachung bis hin zum massenhaften Einsatz in der asymetrischen Kriegsführung. Momentan werden in der Ukraine Drohnen eingesetzt, um Drohnen abzuwehren, die Menschen töten sollen. Und die Rüstungsindustrie scharrt schon seit Jahrzehnten mit den Hufen, um autonome Roboter aufs Schlachtfeld zu schicken, die dann jetzt "endlich" mit "KI"-Hilfe noch effizienter Tod und Zerstörung bringen. Ganz zu schweigen, von autoritären Systemen weltweit, die versuchen, mit "KI" die Infrastruktur der "Feinde" ganz ohne Einsatz physischer Waffen lahmzulegen.

Also - wo liegt hier das wahre Problem? Es ist wie fast immer ein Frage der Moral, nicht der Technik!


Zu meiner Person

Ich habe über 25 Jahre Erfahrung als Webentwickler und davon die meiste Zeit möglichst JEDE Programmzeile per Hand gecodet. Irgendwie "eine Frage der Ehre", die Dinge so weit verstanden zu haben, dass man eine Technik guten Gewissens anwenden kann und Herr über möglichst jedes Stück Programmcode ist, das man später auf die Welt los lässt. Diese Zeiten sind leider vorbei...

Ich habe mich lange gegen den Einsatz von Machine Learning (landläufig sogenannte "Künstliche Intelligenz") gewehrt. Seit ca. einem Jahr nutze ich größtenteils nur noch Agentic Coding, um Anwendungen zu entwickeln. Warum? Weil das um den Faktor 10-100 mal schneller ist als alles, was ich manuell entwickeln könnte.

Damit kann ich Anwendungen umsetzen, die früher aus Zeit- und Kostengründen schlichtweg sofort unter den Tisch gefallen sind. Aber so hilfreich die Werkzeuge auch sind, so sehr offenbaren sie auch immer wieder, dass da nichts von "Intelligenz" im menschlichen Sinne zu finden ist. Die großen Sprachmodelle und Agenten sind hervorragende Ingenieursleistungen und meistens sehr hilfreichen Werkzeuge, um die typischen wiederkehrenden Programmieraufgaben in einem Bruchteil der Zeit erledigen zu können. Es sind mächtige Werkzeuge - nicht mehr, aber auch nicht weniger.