Informatik und Mathematik ab Klasse 8 · Lernreise in 8 Etappen
Vom Perzeptron zum Chatbot
ChatGPT und Claude wirken, als würden sie denken. Gebaut sind sie aus Bausteinen, die du verstehen kannst. Diese Reise setzt sie Etappe für Etappe zusammen.
Woher weiß die Maschine, welches Wort als Nächstes kommt?
Die Maschine hat in 19 Märchensätzen ausgezählt, welches Wort wie oft auf welches folgt. Danach würfelt sie. ChatGPT und Claude machen im Kern dasselbe: Sie berechnen Wort für Wort, wie wahrscheinlich jedes mögliche nächste Wort ist. Ihre Rechnung ist nur unvorstellbar viel besser. Wie sie so gut wurde, zeigt diese Reise.
- 1Perzeptron
- 2Neuronales Netz
- 3Nächstes Wort
- 4Wortkarte
- 5Attention
- 6Transformer
- 7Groß werden
- 8Assistent
Etappe 1 von 8 1958
Ein einzelnes künstliches Neuron
Alles beginnt mit dem Perzeptron. Es nimmt Informationen auf, gewichtet sie, rechnet sie zusammen und vergleicht das Ergebnis mit einem Schwellenwert. Heraus kommt Ja oder Nein.
Gehe ich heute ins Freibad?
Tippe auf eine Information, um sie ein- oder auszuschalten.
Etappe 2 von 8 1986
Viele Neuronen werden ein Netz
Schaltet man viele Perzeptrons in Schichten hintereinander, entsteht ein neuronales Netz. Die Ausgaben der einen Schicht sind die Eingaben der nächsten. Jede Verbindung hat ihr eigenes Gewicht.
Baue dein eigenes Netz
Aus Fehlern lernen: ein Neuron findet den Brötchenpreis
Niemand stellt Milliarden Gewichte von Hand ein. Ein Netz lernt sie aus Beispielen. Dieses Neuron hat nur ein einziges Gewicht: den Preis pro Brötchen. Es kennt die drei Einkäufe in der Tabelle und soll den Preis selbst herausfinden.
So lernen auch riesige Netze: vorhersagen, mit der richtigen Antwort vergleichen, alle Gewichte ein kleines Stück in die bessere Richtung drehen. Und das millionenfach. Das Verfahren heißt Backpropagation und wurde 1986 durch einen Fachartikel von David Rumelhart, Geoffrey Hinton und Ronald Williams bekannt. Hinton erhielt 2024 zusammen mit John Hopfield den Physik-Nobelpreis für Grundlagen des maschinellen Lernens.
Etappe 3 von 8 19131948
Das nächste Wort raten
Ein Sprachmodell hat genau eine Aufgabe: das nächste Wort vorhersagen. Die einfachste Methode kennst du aus dem Einstieg. Man zählt in Texten aus, welches Wort wie oft auf welches folgt, und würfelt danach. Hier kannst du der Märchenmaschine in die Karten schauen.
Die Maschine schaut nur auf:
Tippe auf ein Wort, um es selbst auszuwählen.
Die Märchenbibliothek der Maschine ansehen
Die Sätze sind im Stil der Brüder Grimm geschrieben. Echte Modelle lernen aus Milliarden Sätzen.
Auftrag: Lass die Maschine einige Sätze schreiben. Findet einen Satz, der richtig klingt, aber Unsinn ist. Woran liegt das?
Was davor stand, ist sofort vergessen. Deshalb kann aus „Der Wolf ging zu der Hütte“ ein Satz werden, in dem plötzlich die Tochter klopft. Für sinnvolle Texte braucht es zwei neue Ideen: Wörter, die etwas bedeuten (Etappe 4), und Wörter, die aufeinander achten (Etappe 5).
Der Mathematiker Andrei Markow zählte in einem russischen Versroman, wie oft Vokale auf Konsonanten folgen. Die Idee: Das Nächste hängt vom Vorherigen ab.
Der Ingenieur Claude Shannon ließ mit solchen Zählungen ganze Wortketten entstehen. Je mehr vorherige Wörter er beachtete, desto echter klangen sie.
Vertiefung: Was passiert, wenn die Maschine auf mehr Wörter zurückschaut? Klicktafel N-Gramme: Unsinn oder abgeschrieben?
Etappe 4 von 8 2013
Wörter werden zu Zahlen
Ein neuronales Netz kann nur mit Zahlen rechnen. Deshalb bekommt jedes Wort einen Platz auf einer Bedeutungskarte. Wörter mit ähnlicher Bedeutung liegen nah beieinander. Der Platz wird durch Zahlen beschrieben, wie Koordinaten. Fachbegriff: Embedding.
Auftrag: Tippt ein Wort an: Wer sind seine Nachbarn? Rechnet dann „König − Mann + Frau“ und vermutet vorher das Ergebnis.
Nächste Nachbarn
=
Diese Karte ist von Hand gezeichnet und hat nur zwei Richtungen. Echte Modelle lernen die Plätze selbst. GPT-3 beschreibt jedes Token mit 12.288 Zahlen.
Etappe 5 von 8 2014
Attention: Welche Wörter gehören zusammen?
Die Märchenmaschine vergaß alles außer dem letzten Wort. Mit Attention (Aufmerksamkeit) schaut jedes Wort auf alle Wörter vor ihm und gewichtet, welche für seine Bedeutung wichtig sind. Es zählt vor allem, ob ein Wort dazugehört, nicht nur, wie nah es steht.
Tippe auf ein Wort. Die Bögen zeigen, wohin es schaut. Je dicker der Bogen, desto mehr Aufmerksamkeit.
Die Prozentzahlen sind hier ausgedacht, damit man das Prinzip sieht. Ein echtes Modell lernt sie beim Training selbst. In einem Chatbot schauen Wörter nur nach hinten auf das, was schon dasteht. Darum ist beim Wort „er“ noch offen, wer gemeint ist.
Etappe 6 von 8 2017
Der Transformer: alles in einem Bauplan
2017 stellte ein Forschungsteam von Google einen neuen Bauplan für neuronale Netze vor: den Transformer. Ihr Fachartikel hieß „Attention Is All You Need“. In diesem Bauplan steckt alles, was du bisher kennengelernt hast. Das T in ChatGPT steht übrigens für Transformer.
Wie ein Transformer ein Wort findet
Neuronales Netz + Transformer = Sprachmodell
So klingt es oft. Aber Netz und Transformer sind keine zwei Teile, die man zusammensteckt.
Transformer = neuronales Netz mit besonderem Bauplan
Ein Block aus Attention-Schicht und Neuronen-Schicht, viele Male übereinander gestapelt. Am Ende stehen Wahrscheinlichkeiten für das nächste Wort.
Etappe 7 von 8 2020
Groß werden: Large Language Model
Ein Transformer wird erst richtig gut, wenn er riesig ist und unvorstellbar viel Text gelesen hat. Daher der Name: Large Language Model, großes Sprachmodell, kurz LLM.
Vom Freibad-Perzeptron zu GPT-3
Jeder Strich auf der Achse bedeutet: 1.000-mal mehr als beim Strich davor. Wie groß Claude und die aktuellen ChatGPT-Modelle sind, haben die Firmen nicht veröffentlicht.
Wie lange müsstest du lesen, um so viel Text zu schaffen?
Das Training: Das Modell liest diesen Text und übt immer wieder dieselbe Aufgabe: das nächste Token vorhersagen. Liegt es falsch, werden alle Gewichte ein Stück nachgestellt, genau wie beim Brötchen-Neuron. Heraus kommt ein Basismodell. Es kann Text täuschend echt fortsetzen. Ein Assistent ist es noch nicht.
Etappe 8 von 8 20222023
Vom Textfortsetzer zum Assistenten
Das Basismodell setzt Text fort. Dass eine Frage eine Antwort will, weiß es nicht. Es schreibt einfach weiter, was im Internet nach so einem Text oft kam.
Die Antworten sind nachgestellt, um den Unterschied zu zeigen.
Im November 2022 veröffentlichte OpenAI ChatGPT, im März 2023 folgte Claude von Anthropic.
Rückblick
Die ganze Reise auf einen Blick
Acht Etappen, ein Ergebnis. So hängen die Bausteine zusammen.
Auftrag: Erklärt euch zu zweit abwechselnd je einen Baustein in einem Satz.
- 1Perzeptron
Ein Neuron gewichtet Informationen und sagt Ja oder Nein.
- 2Neuronales Netz
Viele Neuronen in Schichten. Es lernt, indem es nach Fehlern die Gewichte nachstellt.
- 3Nächstes Wort
Die Aufgabe: das nächste Wort mit Wahrscheinlichkeiten vorhersagen.
- 4Wortkarte
Jedes Wort wird zu Zahlen. Ähnliche Bedeutung liegt nah beieinander.
- 5Attention
Jedes Wort schaut auf die Wörter davor und gewichtet, welche wichtig sind.
- 6Transformer
Der Bauplan: Attention und Neuronen-Schicht, viele Male gestapelt.
- 7Groß
Milliarden Gewichte, trainiert mit unvorstellbar viel Text.
- 8Assistent
Nachtraining mit Beispielgesprächen und Bewertungen durch Menschen.
ChatGPT oder Claude = ein riesiger Transformer, mit Unmengen Text trainiert, das nächste Wort vorherzusagen, und von Menschen zum hilfsbereiten Assistenten nachtrainiert.
Die Reise ging nicht der Zeit nach
Die Idee, Wörter zu zählen, ist älter als das Perzeptron. Hier sind alle Stationen in der richtigen Reihenfolge.
Keine Magie, aber auch kein Wissen
Ein Chatbot wählt Wort für Wort ein wahrscheinliches nächstes Wort. Das klingt fast immer überzeugend. Richtig ist es deshalb noch lange nicht. Wichtige Fakten aus einem Chatbot prüfst du darum immer nach.
Wie es seit 2022 weiterging: Teil 2 · Vom Chatbot zum Agenten
Abschluss
Mini-Quiz
Acht Fragen zur ganzen Reise. Nach jeder Antwort siehst du sofort, ob sie stimmt, und warum.
Hinweise für Lehrkräfte
Jahrgang: Informatik und Mathematik ab Klasse 8, auch Fortbildung.
Ablauf in 45 Minuten: Einstieg (5 Min.), Etappe 3 Märchenmaschine (10 Min.), Etappen 4 und 5 (12 Min.), Etappe 6 Transformer (8 Min.), Etappe 8 Assistent (5 Min.), Rückblick (5 Min.). Etappen 1, 2 und 7 und das Quiz entfallen oder kommen in die nächste Stunde.
Lernziele: Die Schülerinnen und Schüler beschreiben, dass ein Sprachmodell Wort für Wort ein wahrscheinliches nächstes Token wählt. Sie ordnen Perzeptron, Netz, Wortkarte, Attention und Transformer als Bausteine eines Sprachmodells ein. Sie erklären, warum ein Chatbot überzeugend klingt, aber falsch liegen kann.
Typische Fehlvorstellungen: „Der Chatbot schlägt im Internet nach.“ Er berechnet Wahrscheinlichkeiten aus Gelerntem. „Der Chatbot versteht und weiß.“ Er rechnet mit Zahlen; das Ergebnis kann klug wirken und trotzdem falsch sein. „Transformer und neuronales Netz sind zwei Teile.“ Der Transformer ist ein neuronales Netz (Stolperfalle in Etappe 6).
Ablaufvorschlag für eine Doppelstunde (90 Minuten):
- Einstieg am Board: Märchenmaschine laufen lassen, Vermutungen sammeln, dann auflösen (10 Min.)
- Etappen 1 und 2: Perzeptron wiederholen, Netz bauen, Brötchen-Neuron lernen lassen (15 Min.)
- Etappe 3 in Partnerarbeit: Sätze erzeugen und Unsinnssätze sammeln (15 Min.)
- Etappen 4 und 5: Wortkarte und Attention gemeinsam erkunden (20 Min.)
- Etappe 6 im Plenum: den Transformer Schritt für Schritt durchklicken, Stolperfalle besprechen (10 Min.)
- Etappen 7 und 8: Größen schätzen lassen, dann Lesezeit ausrechnen; Antworten bewerten (15 Min.)
- Rückblick und Quiz als Sicherung (5 Min.)
Fortsetzung: Teil 2 · Vom Chatbot zum Agenten knüpft an Etappe 8 an: Skalieren, Werkzeuge, Bilder, Zwischenschritte, Lernen mit Belohnung, Agenten.
Vorwissen: Die Seite knüpft an die Lernwerkstatt Perzeptron an (gleiches Freibad-Beispiel). Ohne sie reicht Etappe 1 als kurze Wiederholung.
Bewusste Vereinfachungen:
- Die Wortkarte ist zweidimensional und von Hand gesetzt. Echte Embeddings haben Hunderte bis Tausende Dimensionen und werden gelernt.
- Die Attention-Werte und die Wahrscheinlichkeiten im Transformer-Durchlauf sind ausgedacht und zeigen nur das Prinzip.
- Moderne Neuronen geben fließende Werte weiter statt eines harten Ja oder Nein.
- Die Basismodell-Antworten sind nachgestellt. Die Lesezeit nutzt die Faustregel 1 Token ≈ 0,75 englische Wörter.
- Die Märchenmaschine ist ein echtes Bigramm-Modell (Markow-Kette erster Ordnung) über 19 selbst geschriebene Sätze. Vertiefung mit 1 bis 5 Wörtern Rückblick: N-Gramme: Unsinn oder abgeschrieben?
Fachbegriffe: Token, Embedding, Attention, Transformer, Parameter (Gewichte), Basismodell, Feintuning, RLHF.
Tafelmodus: Der Knopf „Tafelmodus“ zeigt die Seite als 17 Folien im Querformat. Weiter mit Pfeiltasten, Presenter (Bild auf/ab), Wischen oder der Leiste unten. Esc beendet den Modus. Ein Link mit #tafel am Ende startet direkt im Tafelmodus, #tafel-8 auf Folie 8.
Praktisch: Mit „A+“ oben rechts wird die Schrift größer. Die Seite speichert keine Eingaben der Lernenden.