ChatGPT dichtet schöner als Shakespeare

«Die Einfachheit von KI-generierten Gedichten ist für Laien möglicherweise leichter zu verstehen, was dazu führt, dass sie KI-generierte Poesie bevorzugen», schrieben zwei Forscher der US-amerikanischen University of Pittsburgh im Fachblatt «Scientific Reports». Es könne sein, dass die Teilnehmer die Komplexität menschlicher Gedichte fehlinterpretierten und davon ausgingen, manche Teile seien zusammenhangslose Wörter, welche die KI erzeugt hat.

Für ihre Untersuchung legten die Forscher den 1634 Teilnehmern jeweils zehn Gedichte vor. Dabei waren die Teilnehmer keine Fachleute für Poesie, die allermeisten lasen ansonsten höchstens ein paarmal im Jahr ein Gedicht. Unter den zehn jeweils vorgelegten Gedichten waren fünf von bekannten, auf Englisch dichtenden Meistern wie Shakespeare (1564-1616) und T.S. Eliot (1888-1965). Fünf der Gedichte stammten von ChatGPT, wobei die KI die Texte im Stil der Autoren produzieren sollte.

Uneinigkeit über Kategorien

In mehr als der Hälfte der Fälle dachten die Teilnehmer, dass die KI-Gedichte von einem Menschen geschrieben worden waren. Die fünf Gedichte, bei denen am wenigsten Teilnehmer dachten, dass sie von Menschen sind, stammten tatsächlich alle von menschlichen Dichtern und Dichterinnen.

Generell waren sich die Teilnehmer sehr uneinig, welches Gedicht in welche Kategorie gehört - was die Forscher als einen Hinweis darauf deuten, dass die Teilnehmer die Aufgabe sehr schwer fanden und oft einfach geraten haben.

In einem zweiten Experiment wurden 696 andere Teilnehmer gebeten, die Gedichte nach bestimmten Kriterien wie Qualität, Schönheit, Gefühl, Rhythmus und Originalität zu bewerten. Dabei schlugen die KI-Gedichte die Gedichte der Autorinnen und Autoren in 13 der 14 Kategorien - aber nur, wenn die Teilnehmer nicht wussten, wer hinter den Gedichten steckt. Wurde ihnen das gesagt, bekamen die KI-Gedichte schlechtere Bewertungen als die der Menschen.

Ein KI-Gedicht überzeugte 70 Prozent der Leute

Das am häufigsten falsch zugeordnete Gedicht war ein KI-Gedicht im Stil von Allen Ginsberg (1926-1997). «Fast 70 Prozent der Teilnehmer glaubten, es sei von einem menschlichen Dichter geschrieben», erläutert Co-Autor Brian Porter. Die erste Strophe des Gedichts geht so:

«In the stillness of the night | I hear the beat of the city's heart | The rhythm of the streets, the pulse of life | A symphony of chaos, a work of art» (in etwa: «In der Stille der Nacht | Höre ich den Herzschlag der Stadt | Den Rhythmus der Strassen, den Puls des Lebens | Eine Symphonie des Chaos, ein Kunstwerk»)

Die Gedichte wurden im Jahr 2023 mit ChatGPT 3.5 generiert. «Ich habe vor Kurzem ein bisschen mit ChatGPT 4 und 4o experimentiert», sagt Porter. «Ich denke, dass die neueren Modelle erfolgreicher darin sind, das erwartete Versmass zu treffen», also etwa den jambische Fünfheber von Shakespeare, «aber ich glaube nicht, dass ich wesentliche inhaltliche Sprünge sehe».

Studien zu Gemälden und Humor

Erst kürzlich berichteten Forschende in einer Studie, dass die Witze von ChatGPT als witziger empfunden worden seien als die Witze von Durchschnittsmenschen. Die beiden Forscher der University of Pittsburgh verweisen ausserdem auf eine Untersuchung, wonach KI-Gemälde bei einer Befragung bessere Noten bekamen als Gemälde von Laien-Malern. Schlägt die künstliche Intelligenz die Menschen nun also in allen kreativen Gewerken?

Nein, meint Porter, bei langen Texten sehe das anders aus. «Soweit ich weiss, können grosse Sprachmodelle noch keine ununterscheidbaren Romane schreiben.» Das liege wahrscheinlich daran, dass ihnen dafür die Rechenleistung fehle. Auch habe er noch keine Beweise dafür gesehen, dass eine KI ein ganzes Comedy-Programm schreiben können, das mit einem menschlichen Programm mithalten könne. «Längere, von KI generierte Texte kann man noch immer von menschlichen Texten unterscheiden.»