Wer sitzt im Kasten? · Kapitel 2
Das nächste Wort
Woher kommt die Landkarte aus dem ersten Kapitel? Aus einem ziemlich einfachen Spiel: Man nimmt einen Satz aus einem echten Text, deckt das nächste Wort ab und lässt das Modell raten.
Am Anfang rät es völlig planlos. Nach jedem Versuch wird das richtige Wort aufgedeckt, und das Modell wird ein kleines Stück so verstellt, dass es beim nächsten Mal eher richtig liegt. Mehr passiert beim Lernen nicht. Nur eben nicht ein paar Mal, sondern Billionen Mal, mit Sätzen aus Büchern, Zeitungen und dem Internet.
Probier es selbst: Lass das Modell die beiden Übungssätze lernen. Dann schau, was es bei den Sätzen tippt, die es nie geübt hat.
Gelernt, nicht auswendig gelernt
Den Strudel hat das Modell nie geübt und tippt trotzdem richtig. Es hat sich keinen Satz gemerkt, sondern etwas Allgemeines gelernt: Was zum Kaiserschmarrn passt, passt wahrscheinlich auch zum Strudel, weil die beiden auf der Landkarte nah beieinander wohnen.
So entsteht die Karte aus dem ersten Kapitel: als Nebenwirkung des Ratens. Wörter, nach denen dasselbe kommt, rücken beim Üben von selbst zusammen.
Und wenn ein Modell einen ganzen Text schreibt? Dann macht es nichts anderes: Es rät das nächste Wort, hängt es an und rät wieder.