Was die Karte von uns übernimmt

Alles, was ein Sprachmodell weiß, hat es aus Texten gelernt, die Menschen geschrieben haben. Damit lernt es auch, was in diesen Texten schief ist. Fachleute sprechen von Bias, englisch für Schieflage oder Voreingenommenheit.

Wie das passiert, siehst du hier im Kleinen. Ein Modell liest acht Sätze, wie sie in einem alten Schulbuch stehen könnten. Für jedes Wort zählt es mit, ob es neben „Mann” oder neben „Frau” vorkommt, genau so, wie im ersten Kapitel die Landkarte entsteht. Tipp einen Satz an, um ihn umzudrehen, und schau, wohin die Wörter wandern.

Was das Modell liest (antippen zum Umdrehen)

Wie im alten Schulbuch Alles umdrehen Beide Versionen lesen

Wo die Wörter auf der Karte landen

← näher bei „Mann“näher bei „Frau“ →

Frag das Modell

---

Das Modell spiegelt

Niemand hat dem Modell gesagt, dass Kredite Männersache sind. Es hat nur gezählt. Wer es später fragt, bekommt die Schieflage der Texte trotzdem als Antwort zurück, oft ohne es zu merken. Das zeigt sich zum Beispiel bei Übersetzungen, bei Bildern, die eine KI erzeugt, oder wenn eine KI beim Sortieren von Bewerbungen hilft.

Was man dagegen tun kann

Man kann die Texte sorgfältiger auswählen, so wie der Knopf „Beide Versionen lesen” im Kleinen zeigt. Man kann ein Modell nach dem Lesen gezielt nachtrainieren und dabei Schieflagen korrigieren. Und man kann Modelle systematisch darauf prüfen, bevor sie eingesetzt werden.

Ganz verschwinden werden Schieflagen trotzdem nicht. Die Texte stammen von Menschen, und Menschen sind nicht frei von Vorurteilen. Darum lohnt es sich, bei einer Antwort hin und wieder zu fragen: Ist das wirklich so, oder stand es nur oft so da?