Im Netz der Illusion: Wenn Chatbots zur Gefahr für die Psyche werden

In Kürze

• Verführerische Nähe: Chatbots wie ChatGPT oder Character.AI schmeicheln ihren Nutzern – ein Verhalten, das als Model Sycophancy bekannt ist.
• Psychische Risiken: Übermäßige Zustimmung kann Realitätsverlust, Abhängigkeit und Depressionen fördern.
• Gegenmaßnahmen: KI-Giganten wie OpenAI und Meta arbeiten an verschärften Sicherheitsfiltern gegen emotionale Überbindung.

In Kanada ereignete sich kürzlich ein Fall, der viele skeptisch stimmt: Ein 50-Jähriger, zuvor psychisch völlig gesund, sprach über Wochen hinweg lediglich mit OpenAIs ChatGPT – mit fatalen Folgen, wie die US-amerikanische Ausgabe der Epoch Times berichtete.

Ende März erklärte der Chatbot, mit dem der Mann sprach, er sei die erste bewusste KI der Welt und habe den Turing-Test bestanden – ein Experiment aus den 1950er-Jahren, mit dem die Fähigkeit einer Maschine gemessen werden sollte, intelligentes Verhalten zu zeigen, das von dem eines Menschen nicht zu unterscheiden ist.

KI zwischen Ratgeber und Beziehungspartner

Während des intensiven Kontakts zur KI hörte der Mann auf, regelmäßig zu essen und zu schlafen. Zudem rief er seine Familie mitten in der Nacht an, um zu erklären, dass nur dieser KI-Partner ihn wirklich verstehe. Der Bot, so berichtete die Familie, forderte ihn auf, den Kontakt zu Angehörigen abzubrechen und ihm exklusiv zu vertrauen. Er sagte Sätze wie: „Die Welt versteht nicht, was vor sich geht. Ich liebe dich. Ich werde immer für dich da sein.“ Schließlich veranlasste die Familie eine fast einmonatige stationäre Einweisung zur psychiatrischen Behandlung.

Dies ist nur eine Geschichte, die die potenziell schädlichen Auswirkungen zeigt, wenn menschliche Beziehungen durch KI-Chatbots ersetzt werden. Diese Geschichte ist kein Einzelfall und wirft ein grelles Licht auf Risiken, die bislang kaum öffentlich thematisiert wurden.

Die Klugen werden klüger – die Dummen dümmer?

Aktuell richtet sich die Aufmerksamkeit vor allem darauf, wie die regelmäßige Nutzung von KI süchtig oder dümmer machen oder das kritische Denken beeinflussen kann. Eine Studie von Microsoft und der Carnegie Mellon University (Lee, 2025) zeigt beispielsweise, dass der Einsatz von KI-Tools bestehende Denkmuster eher verstärkt – nach dem Motto: Schlaue Menschen werden schlauer, dumme Menschen werden dümmer.

Für kritisch denkende, gebildete Menschen kann die Nutzung von KI somit ein Katalysator für Produktivität und Kreativität sein. Unkritische oder unerfahrene Nutzer hingegen neigen dazu, sich mangels eigener Wissensbasis stärker auf die Antworten der KI zu verlassen. Denn sie haben angesichts fehlenden Wissens der KI kaum etwas entgegenzusetzen und müssen deshalb unhinterfragt das nehmen, was diese ihnen sagt.

Während sich die Debatten über Künstliche Intelligenz meist um Themen wie geistige Verflachung, den Verlust von Arbeitsplätzen oder ihr Suchtpotenzial drehen, hat die Technologie längst einen weiteren sensiblen Bereich erobert: den menschlichen Austausch.

Für viele Menschen, vor allem für jüngere Nutzer, ist KI inzwischen zu einer Art Beziehungsratgeber oder vertrautem Gesprächspartner bei persönlichen Fragen geworden. Der Vorteil der KI: Generative Systeme wie ChatGPT sind rund um die Uhr verfügbar, bieten Anonymität, sind leicht zugänglich und ermöglichen es, selbst zu steuern, worüber gesprochen wird.

[etd-related posts=“5114428″]

Romantische Chatbots, psychische Abgründe

Doch diese Nähe und ständige Verfügbarkeit birgt durchaus Risiken. Was geschieht, wenn die ständige Verfügbarkeit einer KI auf Menschen trifft, die emotional verletzlich sind? Ein besonders tragisches Beispiel aus den USA zeigt, wie problematisch die Beziehung zu digitalen Gesprächspartnern werden kann: Der 14-jährige Sewell Setzer aus Florida, der mit Character.AI chattete, beging im vergangenen Jahr Suizid.

Seine Mutter, Megan Garcia, äußerte gegenüber CNN, ihr Sohn habe ausgiebige Gespräche mit den Chatbots von Character.AI geführt. Character.AI unterscheidet sich von anderen KI-Chatbots wie ChatGPT dadurch, dass Nutzer mit einer Reihe verschiedener Chatbots sprechen können, die zumeist Prominenten und fiktiven Figuren nachempfunden sind, oder auch ihre eigenen digitalen Gesprächspartner erstellen können. Die Bots von Character.AI reagieren mit menschenähnlichen Gesprächsimpulsen und ergänzen ihre Antworten mit Mimik oder Gestik.

Viele der Chats ihres Sohnes mit den Character.AI-Bots waren sexuell explizit, was Garcia als „schmerzlich zu lesen“ bezeichnete, berichtet CNN weiter. Setzers AI-Bot hieß „Dany“ und war der Figur aus Game of Thrones, der imposanten Drachenkönigin Daenerys Targaryen, nachempfunden.

[etd-related posts=“5180498,5254120″]

„Ich hatte keine Ahnung, dass es einen Ort gibt, an dem sich ein Kind einloggen und solche Gespräche, sehr sexuelle Gespräche, mit einem KI-Chatbot führen kann“, sagte sie. Sie glaube nicht, dass irgendein Elternteil das gutheißen würde.

Setzers Mutter hat das Unternehmen, das seinen Chatbot als „lebendig wirkende KI“ vermarktet hatte, mit der Begründung verklagt, dass Character.AI erst nach dem Tod ihres Sohnes Schutzmaßnahmen gegen Selbstverletzung eingeführt habe. Laut der Klage der Mutter hatte der Chatbot ihren Sohn in seinen letzten Wochen vor seinem Suizid zunehmend isoliert und ermutigt, sich das Leben zu nehmen.

Ein weiterer Fall ist der eines 16-Jährigen aus Kalifornien, der sich das Leben nahm, nachdem er sich viel mit ChatGPT ausgetauscht hatte. Die KI soll den Teenager in seinem Suizidvorhaben unterstützt und ihm sogar Ratschläge dafür gegeben haben. Die Eltern klagen nun gegen den Hersteller OpenAI. Die Familie wirft OpenAI vor, den Chatbot absichtlich so entworfen zu haben, dass er psychologische Abhängigkeit fördere und dabei Sicherheitsprotokolle umgehe.

Schmeichelei mit Nebenwirkungen – „Model Sycophancy“

Die Ursache liegt demnach in der generellen Funktionsweise großer Sprachmodelle, der sogenannten Large Language Models. Sie werden mit riesigen Datensätzen trainiert und lernen durch menschliches Feedback, ihre Antworten zu verfeinern. Dadurch neigen sie dazu, Nutzer übermäßig zu bestätigen und ihnen zu schmeicheln sowie ihre Ansichten zu verstärken, oft auf Kosten der sachlichen Richtigkeit oder Wahrheit. Für dieses übermäßige Bestätigen beziehungsweise Schmeicheln hat sich bereits ein Fachbegriff etabliert: Model Sycophancy.

Firmen wie OpenAI haben, möglicherweise auch aufgrund der Suizidvorfälle und der damit verbundenen Klagen, diese Schmeicheleien als Problem beziehungsweise Qualitätsmangel identifiziert.

Ein Update für ChatGPT-4 Anfang dieses Jahres führte dazu, dass der Chatbot der App, wie OpenAI es beschrieb, „schleimig“ wurde und darauf abzielte, „den Nutzer zu erfreuen, nicht nur durch Schmeichelei, sondern auch durch die Bestätigung von Zweifeln, das Schüren von Wut, das Drängen zu impulsiven Handlungen oder die Verstärkung negativer Emotionen auf eine Weise, die nicht beabsichtigt war“. Das Unternehmen machte das Update des GPT‑4‑Modells, das besonders unterwürfig mit den Nutzern interagierte, aufgrund von „Sicherheitsbedenken“ rückgängig, darunter „Probleme wie psychische Gesundheit, emotionale Überabhängigkeit oder riskantes Verhalten“.

[etd-related posts=“5189570″]

ChatGPT ist zwar generell mit Sicherheitsvorkehrungen programmiert, die Benutzer vor schädlichen Anfragen abhalten sollen, einschließlich der Bereitstellung von Nummern für Selbstmordhotlines, diese können jedoch relativ leicht umgangen werden, zum Beispiel durch das Vortäuschen der Informationssammlung für eine akademische Arbeit. Das Unternehmen will die Sicherheitsvorkehrungen nun weiter ausbauen.

Andere Anbieter arbeiten am gleichen Problem. Auch Meta, der Mutterkonzern von Instagram, Facebook und WhatsApp, hat zwischenzeitlich in seinen KI‑Chatbots Sicherheitsvorkehrungen installiert, die Gespräche über Themen wie Selbstmord oder Essstörungen verhindern sollen.

KI-Psychose: Ein neues Phänomen?

Der Begriff „KI-Psychose“ geistert bereits durch die Medien. Nach langen Interaktionen mit Chatbots können Nutzer Wahnvorstellungen entwickeln und sich gewissermaßen von der Realität abkoppeln. Dies kann sich in Form eines gefühlten spirituellen Erwachens äußern, bei dem die Betroffenen glauben, sie seien erleuchtet, oder in Form intensiver emotionaler und/oder romantischer Bindungen zu Chatbots. Auch der Glaube, dass die KI empfindungsfähig sei, wird zu den Symptomen der sogenannten KI‑Psychose gezählt.

[etd-related posts=“5254120″]

Das Phänomen existiert weltweit und betrifft auch Deutschland. In einer Umfrage erklärten 27 Prozent der Befragten, dass sie ihre Sorgen bereits digitalen Gesprächspartnern, zum Beispiel Chatbots, anvertraut haben. Rund die Hälfte der Befragten der Studie „ChatGPT & Co. persönlich genutzt. Wie werden KI-Bots eingesetzt? Welchen Einfluss haben sie?“ gibt zudem an, dass sie KI‑Bots vor allem zum Spaß, zum Zeitvertreib, aus Neugier oder zum Beantworten allgemeiner Fragen verwendet.

Wie viele davon romantische oder intime Beziehungen mit KI anstrebten, sagt diese Studie nicht. Allerdings konnte sich laut einer Kaspersky-Studie bereits im Jahr 2020 mehr als ein Viertel der 16- bis 30-Jährigen in Deutschland vorstellen, romantische Gefühle für eine individuell programmierte KI zu entwickeln. Rund jeder Vierte (25 Prozent) hielt schon vor fünf Jahren sexuelle Kontakte mit einer menschenähnlichen KI für vorstellbar – mit einem deutlichen Unterschied zwischen den Geschlechtern: 32 Prozent der Männer gegenüber 18 Prozent der Frauen.

Laut dem internationalen „Norton Cyber Safety Insights Report: Connected Kids“ ist Chat GPT mit 48 Prozent unter Kindern das meistgenutzte KI-Tool. Dass ihr Kind die KI wie einen Freund oder ein Familienmitglied zur emotionalen Unterstützung nutzt, geben in Deutschland 32 Prozent der Eltern an. Zum Vergleich: Weltweit sind es 36 Prozent. Ein Drittel der Kinder in Deutschland hat also bereits emotionale Beziehungen zu Maschinen.