Wer sitzt im Kasten? · Kapitel 1
Die Landkarte der Wörter
Ein Sprachmodell kennt keine Buchstaben und keine Wörter, nur Zahlen. Darum bekommt jedes Wort einen Ort auf einer Landkarte. Wörter, die in ähnlichen Sätzen vorkommen, wohnen nah beieinander.
Gezeichnet hat diese Karte niemand. Sie entsteht von selbst, während das Modell Milliarden Sätze liest.
Tipp ein Wort an, dann siehst du seine nächsten Nachbarn.
Und der Zwerg?
Im Kasten sitzt kein Mensch. Ganz falsch ist der Verdacht trotzdem nicht: Alles, was das Modell kann, hat es aus Texten gelernt, die Menschen geschrieben haben. Drinnen sitzt also kein Zwerg, sondern ein Abdruck von sehr, sehr vielen Menschen.