Wortwahl verrät KI – Studie zeigt Einfluss auf Millionen Fachtexte

In Kürze

Situation: Generative KI wie ChatGPT beeinflusst die Wortwahl in Texten.

Sorge: In akademischen Texten löst dies Bedenken hinsichtlich der Qualität aus.

Problem: Bisherige Untersuchungsmethoden können den Urheber – Mensch oder Maschine – oft nicht zweifelsfrei klären.

Lösung: Eine neue Messmethode zeigt, dass mehr als ein Achtel aller Texte mit oder von KI verfasst wurde.

Jeder ist vermutlich schon einmal auf überzeugende Online-Inhalte gestoßen, ohne zu merken, dass diese ganz oder teilweise von einer Sprach-KI erstellt wurden. Dabei werden die sogenannten Large Language Models (LLMs) wie ChatGPT oder Google Gemini immer besser darin, Texte in nahezu menschlicher Qualität zu verfassen. Dadurch wird es immer schwieriger, zwischen rein menschlichen Texten und Inhalten, die von KI modifiziert oder vollständig generiert wurden, zu unterscheiden.

[etd-related posts=“4136846,5076515″]

Seit der Verbreitung dieser LLMs gab es einen sprunghaften Anstieg fragwürdiger Urheberschaft in der akademischen Welt. Nach wie vor ist die Sorge groß, dass KI-generierte Inhalte unbemerkt in wissenschaftlich begutachtete Publikationen gelangt sein könnten. Daher haben Wissenschaftler verschiedene Methoden entwickelt, um den Anteil von KI-generierten Inhalten in akademischen Publikationen zu ermitteln.

Frühere Versuche, den nicht menschlichen Anteil in wissenschaftlichen Texten zu quantifizieren, waren jedoch nur eingeschränkt brauchbar, da sie sich auf von Menschen und Sprach-KI generierte Texte stützten. Diese Vorgehensweise kann laut den Autoren der Studie zu Verzerrungen führen, da sie Annahmen darüber erfordert, welche KI-Modelle Wissenschaftler verwenden und wie genau sie diese anweisen.

Verwendung von KI besser erkennen

Um verräterische Trends zuverlässiger aufzudecken, nutzten die Autoren der aktuellen Studie eine neue Methode. Sie untersuchten die Veränderungen in der übermäßigen Verwendung bestimmter Wörter vor und nach der Veröffentlichung von ChatGPT.

Das Team aus US-amerikanischen und deutschen Forschern analysierte mehr als 15 Millionen Abstracts biomedizinischer Studien aus der Datenbank PubMed, um festzustellen, ob LLMs einen nachweisbaren Einfluss auf die Wortwahl in Forschungsartikeln haben.

Ihre Untersuchung ergab, dass die Häufigkeit bestimmter stilistischer Worte in der wissenschaftlichen Literatur seit dem Aufkommen von Sprach-KI entsprechend zugenommen hat. Die Daten deuten demnach darauf hin, dass die Verfasser von mindestens 13,5 Prozent – mehr als jeder achte – der im Jahr 2024 veröffentlichten Artikel einen gewissen Anteil an LLM-Verarbeitung für ihre Arbeiten genutzt haben.

So hat mit der Veröffentlichung von ChatGPT nicht nur ein neues Schlagwort – „ChatGPT“ – Einzug in wissenschaftliche Arbeiten erhalten, sondern auch das „Vertiefen“ in Texte. Letzteres taucht weitaus häufiger auf als frühere Trendwörter wie „COVID“ oder „Booster“, die relevante Schwerpunkte in der Medizinforschung jener Jahre verdeutlichen.

Übermäßig verwendete Wörter in biomedizinischen Publikationen von 2014 bis 2024, nach Wortverwendung (inhaltlich, stilistisch; l.) und Wortarten (r.). Unterschiedliche Formen einzelner Wörter zusammengefasst. Foto: Kobak et al. (2025), CC-BY 4.0

Wortwahl verrät KI

Mithilfe ihres Vorher-nachher-Ansatzes erforschten sie die Muster der übermäßigen Verwendung von Wörtern vor und nach dem Aufkommen von Sprach KI. Sie fanden heraus, dass es nach der Veröffentlichung von LLMs eine deutliche Verschiebung von der übermäßigen Verwendung von „Inhaltswörtern“ hin zu einer übermäßigen Verwendung von „stilistischen und blumigen“ Worten gab.

Damit einher geht eine deutlich erkennbare Verschiebung von Wortarten innerhalb der häufig verwendeten Wörter. Dominierten bis 2023 eindeutig Substantive, zeigte sich im Jahr 2024 insbesondere ein Anstieg von Verben und Adjektiven.

Durch die manuelle Zuordnung von Wortarten zu jedem übermäßig verwendeten Wort stellten die Autoren so fest, dass vor 2024 knapp 80 Prozent der übermäßig verwendeten Wörter Substantive waren. Im Jahr 2024 war nur noch rund jedes zehnte übermäßig häufige Wort ein Substantiv. 66 Prozent waren Verben und 14 Prozent Adjektive.

Das Team stellte zudem bemerkenswerte Unterschiede in der Verwendung von LLMs zwischen Forschungsbereichen, Ländern und Veranstaltungsorten fest.

Die Ergebnisse veröffentlichten die Forscher in der Open-Access-Zeitschrift „Science Advances“.