Einstieg
Was ist ähnlich zu „Hund“?
So vergleicht ein Computer, der nur Buchstaben kennt. Er zählt, wie viele Buchstaben anders sind.
0Buchstaben anders
Der Computer vergleicht nur Buchstaben. Welches Wort ist für ihn am ähnlichsten zu „Hund“?
Hand: Nur ein Buchstabe ist anders. Bei Auto sind es 3, bei Wolf 4, bei Katze 5.
Für die Bedeutung ist das Unsinn: Eine Hand hat mit einem Hund nichts zu tun.
Wie kann ein Computer, der nur rechnen kann, Bedeutungen vergleichen?
Station 1 · Karte
Wörter werden Zahlen
Auftrag: Schätzt für jedes Wort, wie groß und wie schnell es ist. Tippt ein Wort an, dann seinen Platz auf der Karte.
Erst ein Wort antippen, dann auf die Karte tippen.
Jeder Platz auf der Karte ist ein Zahlenpaar. Das Wort „Hund“ ist jetzt nur noch zwei Zahlen.
Station 2 · Abstand
Nah heißt ähnlich?
Auftrag: Vermutet zuerst: Welches Wort liegt auf der Karte am nächsten an „Hund“? Dann tippt „Hund“ an und prüft.
Abstand in Kästchen, nächstes Wort zuerst:
- Noch kein Wort gewählt
Ein Computer misst Ähnlichkeit als Abstand: nah = ähnlich. Ist ein Fahrrad einem Hund ähnlich? Was fehlt der Karte?
Station 3 · Merkmale
Mehr Zahlen, mehr Bedeutung
Auftrag: Auf der Karte war das Fahrrad Hunds nächster Nachbar. Vermutet, wo es mit sechs Zahlen landet. Dann tippt „Hund“ an.
Übereinstimmung: Für jedes Merkmal den Unterschied messen und den Durchschnitt nehmen. 1 Punkt Unterschied kostet 10 %.
Noch kein Wort gewählt.
Station 4 · Training
Woher kommen die Zahlen?
Auftrag: Welche Wörter passen in die Lücke? Sammelt Vorschläge, dann deckt auf.
Der ? bellt laut im Garten.
Zum Beispiel: Hund, Pudel
Ich gehe mit dem ? Gassi.
Zum Beispiel: Hund, Pudel
Ich fahre mit dem ? zur Schule.
Zum Beispiel: Fahrrad, Auto, Bus
Bei uns hat ein Mensch die Merkmale ausgedacht und die Zahlen geschätzt.
Ein Sprachmodell bekommt keine Merkmale wie „Fell“ vorgegeben. Es lernt beim Training aus sehr vielen Texten.
Grundidee: Wörter, die in denselben Lücken stehen können, bekommen beim Training ähnliche Zahlen.
So können „Hund“ und „Pudel“ nah beieinander landen, „Hund“ und „Hand“ eher nicht. Prüft es im Tool nach.
Station 5 · Echtes Modell
Echte Embeddings
Auftrag: Schätzt zuerst, dann auflösen. Danach probiert ihr das echte Modell im Embeddings-Tool aus.
Wir hatten 2 Zahlen, dann 6. Wie viele Zahlen berechnet das Modell im Embeddings-Tool für ein Wort?
384 Zahlen für jedes Wort und jeden Satz. Diese Zahlenreihe heißt Embedding.
Die Zahlen hat das Modell gelernt. Eine einzelne Zahl hat meist keinen Namen wie „Fell“ oder „Größe“.
Versuch im Tool: Welcher Satz liegt näher an „Der Hund läuft durch den Park.“?
- Ein Tier rennt draußen.
- Das Auto fährt auf der Straße.
Vermutet zuerst und begründet. Achtung: Satz A hat kein einziges Wort mit dem ersten Satz gemeinsam, Satz B immerhin „der“.
Das Tool rechnet mit dem Modell paraphrase-multilingual-MiniLM-L12-v2. Es läuft in eurem Browser und kann auch Englisch: Probiert „Hund“ und „dog“.
Abschluss
Check
Auftrag: Entscheidet euch zuerst, dann auflösen.
Zwei Wörter liegen bei einem Embedding-Modell nah beieinander. Was bedeutet das?
Nah heißt: Laut Modell ist die Bedeutung ähnlich. „Hund“ und „Hand“ sind nur in der Schreibweise ähnlich.
Woher bekommt ein echtes Sprachmodell seine Zahlen?
Das Modell lernt seine Zahlen beim Training. Merkmale wie „Fell“ gibt ihm niemand vor.