ChatGPT: Tonalität der Texte steuern
Wie bringe ich ChatGPT dazu, in sprachlichen Bildern zu schreiben – oder ganz formell, rein faktisch?
Tonalität und Kreativität des Outputs von ChatGPT kann ich mit zwei Parametern steuern: dem Parameter “Temperature”, den wir im vorigen Artikel erklärt haben, und dem Parameter “top_p”.
Normalerweise reihen KI-Modelle Worte auf Basis der höchsten Einzelwahrscheinlichkeit hintereinander. Diese einfachste Form des Selektion wird “Greedy Sampling” genannt. Sie können aber auch eine breitere Auswahl an Wörtern berücksichtigen, um Zufälligkeit und Kreativität einzubeziehen, dann handelt es sich um “Random Sampling”.
Ein anderer Ansatz ist das “Nucleus sampling”. Dabei werden nur die wahrscheinlichsten Tokens berücksichtigt, deren kumulierte Wahrscheinlichkeit einen Schwellenwert (p) erreicht. In ChatGPT kann diese Wahrscheinlichkeit mithilfe des Parameters “ top_p” gesteuert werden. Das bewirkt folgendes:
Wahrscheinlichste Tokens: Anstatt aus dem gesamten Vokabular zu wählen, betrachtet Nucleus Sampling nur einen Teil des Vokabulars. Dieser Teil besteht aus den Wörtern oder Satzzeichen, die am wahrscheinlichsten als nächstes kommen.
Kumulierte Wahrscheinlichkeit: Die kumulierten Wahrscheinlichkeiten der ausgewählten Tokens ergeben zusammen den Schwellenwert "p".
Top_p 0.1: Hier werden fast ausschließlich die wahrscheinlichsten Tokens berücksichtigt. Die Antworten sind vorhersehbar und wenig abwechslungsreich.
Top_p 0.6: Dieser Wert führt zu einem ausgewogenen Verhältnis, wobei eine gewisse Kreativität erhalten bleibt. Die Antworten sind in der Regel sinnvoll und zusammenhängend.
Top_p 1.0: Hier werden alle Tokens unabhängig von ihrer Wahrscheinlichkeit berücksichtigt. Das führt zu sehr kreativen, aber manchmal weniger kohärenten Antworten.
Beispiel: Ausgefallenere Texte mit Top_p 1.0
Anfrage an GPT-4: “Erstelle einen Satz, in dem eine Kuh, eine Katze und drei Schweine vorkommen 1. mit top_p 1.0; 2. top_p 0.5; 3. top_p 0.1.”
Mit Top_p 1 (hohe Vielfalt): Auf der bunten Wiese tollten eine neugierige Kuh, eine schlaue Katze und drei ausgelassene Schweine, die zusammen ein unerwartet harmonisches Quintett bildeten.
Mit Top_p 0.5 (mittlere Vielfalt): Inmitten des Bauernhofs beobachtete eine Kuh gelassen, wie eine Katze spielerisch drei Schweine jagte, was zu einem amüsanten Anblick führte.
Mit Top_p 0.1 (niedrige Vielfalt): Auf dem Feld stand eine Kuh ruhig da, während eine Katze neben drei friedlich schlafenden Schweinen döste.
Unterschiedliche Stärken von “Top_p” und “Temperature”
Der Top-p-Parameter und der Temperature-Parameter sind beides Mechanismen, die helfen, die Kreativität der Antwort zu steuern. Jedoch auf unterschiedliche Weise:
Wahrscheinlichkeitsauswahl: Der Hauptunterschied liegt darin, wie sie die Auswahl der Tokens aus der Wahrscheinlichkeitsverteilung beeinflussen. Top_p beschränkt die Auswahl auf einen "Nukleus" – also einen Kern – von wahrscheinlichen Tokens, während die Temperature die gesamte Verteilung entweder schärfer oder flacher macht, was sich auf die Wahrscheinlichkeiten aller Tokens auswirkt.
Diversität und Kreativität: Beide Parameter beeinflussen die Diversität und Kreativität der Antworten, aber auf unterschiedliche Weise. Top_p tut dies durch die direkte Begrenzung der Auswahlmenge, während die Temperature die Wahrscheinlichkeitsverteilung als Ganzes verändert.
Diese zwei Parameter können miteinander kombiniert werden, um die Feinabstimmung der Antworten zu steuern, wobei jeder Parameter auf seine eigene Art die Vorhersehbarkeit, Kreativität und Kohärenz der generierten Texte beeinflusst.
