Wer sitzt im Kasten? · Kapitel 4
Wer auf wen schaut
Im letzten Kapitel hat unser Modell nur aufs letzte Wort geschaut. Darum konnte „Der Kaiser isst Speck mit Staubzucker” herauskommen: „mit” wusste nicht, dass davor Speck stand.
Echte Modelle machen es anders. Bevor sie das nächste Wort raten, schaut jedes Wort auf die Wörter davor und fragt sich: Wer von euch ist für mich wichtig? Fachleute nennen das Aufmerksamkeit, englisch Attention. Auf dieser Idee beruht der Transformer, die Bauweise fast aller heutigen Sprachmodelle. Das T in ChatGPT steht genau dafür.
Probier es aus: Such dir einen Satz aus und tipp das rot unterstrichene Wort an. Je kräftiger ein Wort hinterlegt ist, desto mehr schaut es darauf.
Wo „Bank“ auf der Landkarte landet
Ein Wort, zwei Orte
Auf der Landkarte aus dem ersten Kapitel hätte „Bank” ein Problem: Gehört es zu den Möbeln oder zum Geld? Mit Aufmerksamkeit muss es sich nicht ein für alle Mal entscheiden. Im Satz mit dem Park rückt es zu den Möbeln, im Satz mit dem Geld zur Sparkasse. Seinen genauen Ort auf der Karte bekommt ein Wort erst im Satz.
Wer ist „sie”?
Dasselbe hilft bei Wörtern wie „sie”, „er” oder „das”. Für sich allein sagen sie nichts. Erst der Blick zurück auf „Kaiserin” verrät, wer müde ist.
Damit kennst du die wichtigsten Teile im Kasten: die Landkarte, das Raten, das Schreiben Wort für Wort und die Aufmerksamkeit. In den nächsten Kapiteln geht es darum, was dabei schiefgehen kann.