ChatGPT hat Menschen beim Schreiben von Kurzgeschichten übertroffen

Eine neue wissenschaftliche Studie unter der Leitung von Forschern der Villanova University hat gezeigt, dass von künstlicher Intelligenz verfasste Kurzgeschichten von Lesern höher bewertet wurden als Texte von Menschen. Im Experiment erzielten die Texte von ChatGPT besonders hohe Werte hinsichtlich ihrer Attraktivität und ihrer Fähigkeit, Leser zu fesseln. Dies bestätigt erneut, wie stark die Fähigkeiten moderner generativer Technologien der künstlichen Intelligenz zur Texterstellung zunehmen. Dies wurde von Ixbt.com berichtet.

Laut ixbt.com nahmen am ersten Experiment 1.682 Personen im Alter von 18 bis 81 Jahren teil. Ihnen wurden drei von Menschen verfasste Geschichten aus bekannten Literaturzeitschriften und Sammlungen sowie drei entsprechende, mithilfe künstlicher Intelligenz geschriebene Texte gezeigt. Die Leser wurden darüber informiert, wer der jeweilige Autor war, wobei diese Information in einigen Fällen absichtlich falsch angegeben wurde. Im Durchschnitt erhielten die von einem neuronalen Netzwerk erzeugten Geschichten bei Qualität und Leserbindung höhere Bewertungen als die von Menschen verfassten Texte.

Täuschung über die Urheberschaft und psychologische Faktoren

Die Studie zeigte, dass die Vermutung über den Autor eines Textes eine entscheidende Rolle bei seiner Bewertung spielte. Die Teilnehmer bewerteten Texte höher, wenn sie glaubten, dass diese von Menschen geschrieben worden waren – unabhängig von ihrer tatsächlichen Herkunft. Daher erhielten ausgerechnet jene ChatGPT-Geschichten die höchsten Bewertungen, die fälschlicherweise für menschliche Texte gehalten wurden. Dies deutet darauf hin, dass in der menschlichen Psyche ein bestimmtes Stereotyp gegenüber Produkten künstlicher Intelligenz besteht.

In der nächsten Phase prüften die Forscher, ob Leser die Herkunft eines Textes ohne Hinweise auf den Autor selbst erkennen konnten. An einem weiteren Experiment nahmen 424 Personen teil; ihre Trefferquote lag bei lediglich 39,93 Prozent. Dieser Wert lag sogar unter dem Niveau zufälligen Ratens.

Texte künstlicher Intelligenz sind immer schwerer zu unterscheiden

In einem zweiten ähnlichen Experiment wurden 481 Personen getestet; die Trefferquote lag bei 51,97 Prozent. Experten betonten, dass sich auch dieser Wert statistisch nicht vom Zufallsraten unterschied. Das bedeutet, dass es für den durchschnittlichen Leser nahezu unmöglich ist, einen von einem neuronalen Netzwerk verfassten Text von einem Text aus menschlicher Feder zu unterscheiden.

Die Autoren der Studie betonten ausdrücklich, dass das Experiment nicht darauf abzielte, literarisches Können, Originalität oder die Fähigkeit zum Verfassen umfangreicher Werke zu vergleichen. Untersucht wurden lediglich zwei Aspekte: die Bewertung der Textqualität durch die Leser und die Schwierigkeit, seine Herkunft zu bestimmen. Die Ergebnisse zeigen, dass Menschen Texte generativer künstlicher Intelligenz ohne spezielle Prüfmethoden nicht zuverlässig erkennen können.