Wer schreibt? Mensch oder Modell.

Sogenannte Generative Pre-trained Transformers (GPT) sind momentan ein grosses Thema, aber wir glauben nicht, dass sie der letzte Schrei sind, sondern uns fortan begleiten werden – im Alltag, beim Lesen und Schreiben. Es handelt sich dabei um statistische Modelle, die auf Basis einer beliebigen Texteingabe menschen-ähnliche Sprache erzeugen. Vielleicht werden diese Modelle irgendwann so gut, dass es ein Kompliment sein wird, von einem Menschen zu sagen, dass er modellhaft spricht. Weiter unten finden Sie weitere Ausführungen zu den Begriffen GPT und Sprachmodell.

Auch wir haben damit experimentiert und stellen in folgenden drei Beiträgen menschen-geschriebene und modell-generierte Texte gegenüber. Jeder Beitrag enthält zwei Texte, die jeweils mit dem gleichen Satz beginnen, der auch als Input für das Modell verwendet wurde. Die beiden Texte sind absatzweise ineinander verschachtelt. Sie können die Texte parallel oder nacheinander lesen, bedenken Sie aber dabei, dass es sich um zwei unabhängige Texte handelt (die Absätze des zweiten Textes sind jeweils nach rechts eingerückt). Sobald Sie zu wissen glauben, welcher Text vom Modell erzeugt wurde, doppelklicken Sie auf den entsprechenden Absatz, um zu sehen, ob Sie richtigliegen.

Die modell-generierten Texte wurden mit dem Playground von OpenAI erzeugt (Model: text-davinci-003)¹. OpenAI ist eine Organisation (Rechtsform: Limited Partnership), die sich mit der Erforschung und Entwicklung von künstlicher Intelligenz befasst, und ihren Hauptsitz in San Francisco hat.²

Um ansatzweise zu verstehen, wie ein GPT funktioniert, müssen wir uns über ein paar Begriffe klar werden. Nehmen wir an, Sie haben eine Tocher, eine Nichte oder ein Patenkind, dem Sie helfen, ein Bewerbungsschreiben für eine Lehrstelle zu verfassen. Den Satz Hiermit möchte ich mich sehr gerne für diese Leerstelle bewerben, formulieren Sie um in Ich bewerbe mich für diese Lehrstelle. Sie sind ein Transformer, denn Sie haben eine Abfolge von Zeichen (Buchstaben) in eine andere umgeformt, anhand gewisser Regeln, die Sie gelernt haben. Sie sind sogar ein Generative Transformer, denn Sie können nicht nur bestehende Sätze umformulieren, sondern sind in der Lage, selbständig neue Sätze hervorzubringen (zumindest ist es wünschenswert, dass Sie dazu in der Lage sind, und nicht bloss nachplappern, was andere Leute sagen).

Bestimmt haben Sie schon viele Webseiten, Zeitungen und Bücher gelesen sowie zahlreiche Gespräche geführt, Sie sind also im Lesen trainiert, (pre-)trained. Sie haben sich einen Wortschatz angeeignet und ein Verständnis dafür, wie diese Wörter zu sinnvollen Sätzen kombiniert werden können. Darin sind Sie dem Modell voraus, denn dieses hat zwar einen wesentlich grösseren Wortschatz als Sie, aber (noch) für nichts ein Verständnis. Stellen Sie sich nun vor, Sie treffen auf der Strasse zufällig einen Bekannten, mit dem Sie nicht unbedingt befreundet sein möchten, denn es ist nicht gerade der intelligenteste Mensch, den Sie kennen. Der Bekannte beginnt sogleich auf Sie loszureden, erzählt dieses und jenes, Dinge, die sie schon oft gehört haben. Er sagt beispielsweise: Gestern waren wir wandern und das Wetter war… und Sie denken: Jetzt sagt er sehr wahrscheinlich wieder …bombastisch (es ist sein Lieblingswort) – und Recht haben Sie, er sagt das tatsächlich. Voilà! Sie haben ein Sprachmodell (language model) in Ihrem Kopf, denn genau dies tun Sprachmodelle: Sie berechnen, mit welcher Wahrscheinlichkeit ein bestimmtes Wort als nächstes kommt. Manchmal sagt ihr Bekannter auch: Das Wetter war super. Aber meistens sagt er bombastisch. Also tippen Sie auf darauf (ca. 75%-Chance für bombastisch, 25% für super – falls Sie so was in der Art denken, haben Sie sogar eine einfache Wahrscheinlichkeitsverteilung aufgestellt). Vielleicht überrascht Sie Ihr Bekannter auch mal und sagt etwas Ungewöhnliches wie: Das Wetter war erklärungsbedürftig. Dann haben Sie Pech gehabt. Ihr Sprachmodell hat nicht funktioniert. Daraus könnte man schliessen, dass ein Sprachmodell die Äusserungen von ungewöhnlich denkenden Menschen weniger gut voraussagt als von Menschen, die, na ja, etwas gewöhnlich gestrickt sind.

Die Entwicklerinnen und Entwickler von GPT-3 haben ihr Vorgehen und die Ergebnisse im Paper Language Models are Few-Shot Learners³ dokumentiert. Yannic Kilcher, machine learning researcher and engineer, bespricht dieses Paper kritisch in seinem YouTube-Video⁴. Für das Pre-training von GPT-3 wurde ein Textkorpus mit rund 500 Milliarden Wörtern verwendet, praktisch alle Texte, die im Internet öffentlich zugänglich sind sowie unzählige digitalisierte Bücher, hauptsächlich in englischer Sprache. Der Begriff Few-Shot Learners bedeutet, dass man dem Sprachmodell, nachdem es trainiert wurde und bereit ist, Aufgaben zu lösen, nicht einfach nur eine Aufgabe stellt (z.B. übersetze das Wort Few-Shot auf Deutsch), sondern zusätzlich auch Beispiele für diese Aufgabe gibt (House => Haus, Dog => Hund, etc.). Dieses Vorgehen ergibt intuitiv Sinn. Muss man jemanden erklären, wie sie, er oder es eine bestimmte Aufgabe zu erledigen hat, sind Beispiele meist hilfreich.

Im Internet finden Sie zahlreiche Beiträge zu Stichworten wie Generative Transformers, Autoregression, Deep Learning, etc. Einen guten Überblick bietet z.B. Georg Ho in seinem Beitrag Autoregressive Models in Deep Learning — A Brief Survey ⁵.