Überzeugend falsch

Ein Sprachmodell liefert immer das, was nach seinen Texten am ehesten an diese Stelle passt. Bei Dingen, die es tausendfach gelesen hat, ist das fast immer auch das Richtige. Bei Dingen, die es selten oder nie gelesen hat, liefert es trotzdem etwas: eine Antwort, die richtig klingt. Fachleute nennen das Halluzination.

Das Modell hat dabei nicht gelogen. Es hat beim Lernen sehr gut gelernt, wie Antworten klingen, aber nicht, ob sie stimmen. Nach „Der Bürgermeister von … heißt” kommt in seinen Texten immer ein Name. Also kommt ein Name.

Probier es aus: Stell dem Modell die drei Fragen und lass es ein paar Mal antworten. Dann schau, was sich mit dem Regler und mit einer Quelle ändert.

HauptstadtKempelens GeburtsortBürgermeister von Schachtürkenbach

In den Texten gelesen: nieseltenoft

Die Tipps des Modells

Quelle mitgeben (zum Beispiel ein Lexikon oder eine Gemeindeliste)

Mut – Fachbegriff: Temperatur

vorsichtig wild

1,0

Antworten lassen Stimmt das?

---

Und die Temperatur?

Eine hohe Temperatur macht Fehler häufiger, weil dann auch unwahrscheinliche Antworten drankommen. Die Ursache ist sie aber nicht. Dreh den Regler beim Bürgermeister ganz nach links: Dann erfindet das Modell trotzdem, nur sagt es jetzt jedes Mal denselben Namen, und zwar besonders überzeugt.

Was hilft

Am meisten hilft eine Quelle. Darf das Modell vor der Antwort nachsehen, etwa in einem Lexikon, in Dokumenten oder im Internet, muss es nicht raten. Fachleute nennen das Retrieval-Augmented Generation, kurz RAG: Nachschlagen, dann schreiben.

Außerdem werden Modelle inzwischen darauf trainiert, öfter zuzugeben, wenn sie etwas nicht wissen. Verlassen kann man sich darauf aber nicht. Bei allem, was wichtig ist, gilt deshalb: nachfragen, woher die Antwort kommt, und selbst prüfen.