Einstieg · Zwei Textmaschinen
Welche Maschine ist besser?
Zwei Textmaschinen haben dieselben sechs Märchenanfänge gelesen. Beide beginnen mit „In den alten Zeiten“ und schreiben Wort für Wort weiter.
Maschine 1 schreibt:
Maschine 2 schreibt:
Was ist bei Maschine 2 anders?
Maschine 1 schaut nur auf das letzte Wort, Maschine 2 auf die letzten fünf. Verstehen tut keine von beiden: Beide zählen nur, welches Wort in den Märchen worauf folgt.
Aber: Text 2 ist nicht neu. Er steht Wort für Wort im Froschkönig (Buchstabe A).
Wie weit sollte eine Textmaschine zurückschauen?
Station 1 · N-Gramme
Ein Fenster gleitet über den Text
Auftrag: Vermutet zuerst, wie viele 3-Gramme in den Satz passen. Schiebt dann das Fenster bis zum Ende.
Ein N-Gramm ist eine Folge aus N Bausteinen. Satzzeichen zählen wie Wörter. Die Maschine zählt jedes N-Gramm. Es sagt ihr: Auf diese N − 1 Wörter (Rückblick) folgte im Text dieses Wort.
Gefundene 3-Gramme
Wie viele 3-Gramme hat der Satz?
Das Fenster rückt immer nur um einen Baustein weiter, die 3-Gramme überlappen sich: 7 − 3 + 1 = 5.
Station 2 · Selbst rechnen
Ihr seid die Maschine
✎ Zettel und Stift · jede und jeder für sich7 Minuten
Die Bibliothek der Maschine hat nur drei Sätze. Groß- und Kleinschreibung zählt nicht, der Punkt zählt wie ein Wort.
- Welche Wörter folgen auf „sucht“? Wie oft jeweils?
- Die Maschine schaut 1 Wort zurück. Schreibt einen Satz aus 5 Wörtern und Punkt, der mit „Der“ beginnt und so nicht in der Bibliothek steht. Prüft jedes Wortpaar.
Für Schnelle: Jetzt schaut die Maschine 2 Wörter zurück. Geht euer Satz noch? Findet einen neuen Satz, der dann noch geht.
Die Bibliothek
- 1Der König sucht die Prinzessin.
- 2Die Prinzessin sucht den Frosch.
- 3Der Frosch sucht die Kugel.
a) „die“ 2-mal, „den“ 1-mal. Beim Würfeln also „die“ in 2 von 3 Fällen.
b) Möglich sind: Der König sucht den Frosch. · Der König sucht die Kugel. · Der Frosch sucht die Prinzessin. · Der Frosch sucht den Frosch.
Für Schnelle: Mit 2 Wörtern gehen nur noch „Der König sucht die Kugel.“ und „Der Frosch sucht die Prinzessin.“, denn auf „König sucht“ folgt nur „die“. Mit 3 Wörtern bleibt kein neuer Satz: nur noch Abschreiben.
Station 3 · Weiterschreiben
Die Märchenmaschine
Auftrag: Erst 1 Wort zurück und etwa 20 Wörter schreiben lassen, dann 5 Wörter zurück. Was verraten die Buchstaben?
Sie schaut zurück auf:
Danach kam in den Märchen:
Die Bibliothek der Maschine: sechs Märchenanfänge der Brüder Grimm
Gekürzt, in heutiger Rechtschreibung. Anführungszeichen zählt die Maschine nicht mit.
Station 4 · Messen statt raten
Auswahl oder Abschreiben?
Auftrag: Vermutet, wie die Säulen aussehen, wenn die Maschine weiter zurückschaut. Dann messen.
Auswahl pro Schritt (Möglichkeiten im Durchschnitt)
Wörter zurück
Längstes abgeschriebenes Stück (Bausteine von 41, im Durchschnitt)
Wörter zurück
1 Wort zurück: Die Maschine hat Auswahl, aber es entsteht Unsinn. Ab 2 Wörtern hat sie nur noch selten eine Wahl und schreibt lange Stücke wörtlich ab, ab 3 Wörtern fast den ganzen Text. Würde mehr Text helfen?
Station 5 · Schätzen
Warum nicht einfach mehr Text?
Auftrag: Schätzt zuerst, dann auflösen.
Stellt euch eine Sprache mit nur 10 000 Wörtern vor.
Wie viele verschiedene Folgen aus 3 Wörtern kann man daraus bilden?
10 000 · 10 000 · 10 000 = 1 000 000 000 000
Das ist 1 Billion. Die meisten Folgen sind Unsinn. Aber auch sinnvolle Folgen gibt es so viele, dass nie alle in Texten vorkommen.
Und in unserer Märchen-Bibliothek?
| Wörter zurück | Folgen denkbar | im Text gefunden |
|---|
Je weiter die Maschine zurückschaut, desto seltener hat sie eine Folge mehr als einmal gesehen. Dann kennt sie nur eine Fortsetzung: die aus dem Original. Mehr Text hilft ein wenig, die Zahl der denkbaren Folgen wächst aber viel schneller.
Station 6 · Ihr als Maschine
Die Knickgeschichte
✋ Ausprobieren · in Gruppen12 Minuten
- Material
- pro Gruppe zwei Blätter Papier und ein Stift
- Rollen
- Gruppen zu 5 oder 6; jede Person ist ein Teil der Maschine
- Vermutet: Welche Geschichte wird besser, die aus Runde 1 oder die aus Runde 2?
- Runde 1: Schreibt „Es war einmal“ untereinander, ein Wort pro Zeile. Knickt das Blatt nach hinten, sodass nur „einmal“ zu sehen ist. Jede Person schreibt ein Wort in die nächste Zeile, knickt so, dass nur ihr Wort sichtbar bleibt, und gibt weiter. Zweimal um den Tisch.
- Runde 2: neues Blatt, genauso, aber die letzten drei Zeilen bleiben sichtbar.
- Auffalten und beide Geschichten vorlesen.
Was war in Runde 2 anders? Und was konntet ihr, was die Märchenmaschine nicht kann?
Mit drei Wörtern Rückblick passen die Wörter meist besser zusammen. Den Anfang kannte trotzdem niemand, darum springt die Geschichte.
Ihr habt aber nicht abgeschrieben: Ihr habt Wörter benutzt, die so noch nie hintereinander standen, und sie passten trotzdem. Ihr wisst, was Wörter bedeuten. Die Märchenmaschine kann nur zählen, was in ihrer Bibliothek steht.
Station 7 · Ausblick
Was große Sprachmodelle anders machen
Auftrag: Vergleicht die beiden Zeilen im Bild. Welches Wort steht für „?“, und welche Wörter verraten es?
| Märchenmaschine | Großes Sprachmodell | |
|---|---|---|
| Gleich | Beide wählen Wort für Wort das nächste, nach Wahrscheinlichkeit gewürfelt. | |
| Rückblick | höchstens 5 Wörter | sehr viel Text, oft viele Seiten zurück |
| Ähnliches | „König“ und „Königin“ sind völlig verschieden | Wörter als Zahlenreihen: Ähnliches liegt nah beieinander |
| Gelernt | eine Tabelle mit gezählten Folgen | Milliarden Zahlen, beim Training eingestellt |
| Abschreiben | fast immer bei langem Rückblick | selten, aber möglich, vor allem bei oft gesehenen Texten |
Selbst weiterforschen
SoekiaGPT (PH Schwyz): eigene Texte als Bibliothek, bis zu 6-Gramme, Zufall einstellbar, Herkunft farbig.
Weiter mit Embeddings und Vom Perzeptron zum Chatbot.
Abschluss
Check
Auftrag: Entscheidet euch zuerst, dann auflösen.
Welches N-Gramm verbindet 2 Wörter Rückblick mit dem Wort, das folgt?
Das 3-Gramm: 2 Wörter Rückblick plus das Wort, das folgt.
Warum schreibt die Maschine bei langem Rückblick ab?
Sie würfelt weiter, hat aber nur eine Möglichkeit: das Wort aus dem Original.
Was kann ein großes Sprachmodell, die Märchenmaschine aber nicht?
Die anderen drei können beide. Für die Märchenmaschine sind „König“ und „Königin“ so verschieden wie „König“ und „Kuchen“.