Frage 1: Was ist KI?

Wie funktionieren Sprachmodelle wirklich?

Präsentation

In dieser Einheit lernen wir, wie Chatbots funktionieren: Textgenerierung durch statistische Vorhersage und Denken durch Chain-of-Thought.

Folien in neuem Tab öffnen

Inhaltsübersicht

Dauer: 45 Minuten

Thema	Zeit
Sprachmodelle als Textvorhersage	20 min
Chain-of-Thought Denken (inkl. Demonstration)	20 min
Reflexion und Überleitung	5 min

Kernbotschaften

1. LLMs sagen das nächste Wort vorher, basierend auf Mustern in Trainingsdaten
2. Denken (Chain-of-Thought) verbessert Ergebnisse durch mehr Kontext
3. Moderne Modelle sind extrem leistungsfähig; der Kontext bestimmt das Ergebnis

Interaktiv: Token-Vorhersage

Wie sieht “Next-Word-Prediction” konkret aus? Wähle einen Satzanfang und sieh die Wahrscheinlichkeitsverteilung für das nächste Wort.

tokenDatabase = ({
  "Der Hund liegt auf dem": [
    {token: "Boden", prob: 0.32},
    {token: "Sofa", prob: 0.24},
    {token: "Bett", prob: 0.18},
    {token: "Teppich", prob: 0.14},
    {token: "Rasen", prob: 0.12}
  ],
  "Die Katze sitzt auf dem": [
    {token: "Dach", prob: 0.28},
    {token: "Baum", prob: 0.24},
    {token: "Sofa", prob: 0.20},
    {token: "Tisch", prob: 0.16},
    {token: "Fensterbrett", prob: 0.12}
  ],
  "Die Studierenden lernen für die": [
    {token: "Prüfung", prob: 0.45},
    {token: "Klausur", prob: 0.25},
    {token: "Zukunft", prob: 0.12},
    {token: "Vorlesung", prob: 0.10},
    {token: "Karriere", prob: 0.08}
  ],
  "Die Vorlesung behandelt das": [
    {token: "Thema", prob: 0.28},
    {token: "Konzept", prob: 0.24},
    {token: "Problem", prob: 0.20},
    {token: "Modell", prob: 0.16},
    {token: "Prinzip", prob: 0.12}
  ],
  "KI wird in Zukunft": [
    {token: "wichtiger", prob: 0.24},
    {token: "viele", prob: 0.20},
    {token: "eine", prob: 0.18},
    {token: "immer", prob: 0.20},
    {token: "unsere", prob: 0.18}
  ]
})

viewof selectedSentence = Inputs.select(Object.keys(tokenDatabase), {
  label: "Satzanfang:",
  value: "Der Hund liegt auf dem"
})

currentProbs = tokenDatabase[selectedSentence]

Kontext: ___

Plot.plot({
  marginLeft: 100,
  width: Math.min(500, width),
  height: 180,
  x: {domain: [0, 0.5], label: "Wahrscheinlichkeit", tickFormat: d => (d * 100) + "%"},
  y: {label: null},
  marks: [
    Plot.barX(currentProbs, {y: "token", x: "prob", fill: "#A3195B", sort: {y: "-x"}}),
    Plot.text(currentProbs, {y: "token", x: "prob", text: d => (d.prob * 100).toFixed(0) + "%", dx: 5, textAnchor: "start"})
  ]
})

Key-pointKernaussage

Das Modell berechnet Wahrscheinlichkeiten für jedes mögliche nächste Wort. Die Auswahl basiert auf Mustern die anhand der Trainingsdaten gelernt werden. Das ist nicht so anders, wie es klingt: Auch unser Gehirn vervollständigt Muster auf Basis von Erfahrung, nicht durch direkten Zugriff auf Fakten. Der Unterschied liegt im Grad der Zuverlässigkeit, nicht in der Grundmechanik.

Interaktiv: Temperature

Der Parameter “Temperature” beeinflusst, wie das Modell aus den Wahrscheinlichkeiten wählt.

viewof temperature = Inputs.range([0.1, 2.0], {
  value: 1.0,
  step: 0.1,
  label: "Temperature"
})

scaledProbs = {
  const t = temperature;
  const logits = currentProbs.map(p => Math.log(p.prob));
  const scaled = logits.map(l => Math.exp(l / t));
  const sum = scaled.reduce((a, b) => a + b, 0);
  return currentProbs.map((p, i) => ({token: p.token, prob: scaled[i] / sum}));
}

tempDescription = temperature < 0.5 ? "Deterministisch: Fast immer das wahrscheinlichste Wort" :
  temperature < 1.0 ? "Ausgeglichen: Gute Mischung" :
  temperature < 1.5 ? "Kreativ: Mehr Variation" : "Unvorhersehbar: Auch unwahrscheinliche Wörter werden gewählt"

Kontext: ___

Temperature = :

Plot.plot({
  marginLeft: 100,
  width: Math.min(500, width),
  height: 180,
  x: {domain: [0, 1], label: "Angepasste Wahrscheinlichkeit", tickFormat: d => (d * 100) + "%"},
  y: {label: null},
  marks: [
    Plot.barX(scaledProbs, {y: "token", x: "prob", fill: "#D4A03E", sort: {y: "-x"}}),
    Plot.text(scaledProbs, {y: "token", x: "prob", text: d => (d.prob * 100).toFixed(0) + "%", dx: 5, textAnchor: "start"})
  ]
})

Chain-of-Thought “Denken”

Wenn du ein schwieriges Problem löst, denkst du wahrscheinlich laut oder schreibst Zwischenschritte auf. Das hilft, weil jeder Schritt dir Kontext für den nächsten gibt.

Chatbots funktionieren ähnlich: Wenn sie Zwischenschritte ausformulieren, wird jeder Schritt Teil des Kontexts für die nächste Vorhersage. Das nennt man Chain-of-Thought (Gedankenkette).

Die Mechanik dahinter

Erinnere dich: Das Modell sagt immer das nächste Wort vorher, basierend auf allem, was davor steht.

• Ohne Zwischenschritte: Frage → Antwort (wenig Kontext für komplexe Schlüsse)
• Mit Zwischenschritten: Frage → Schritt 1 → Schritt 2 → … → Antwort (jeder Schritt liefert Kontext)

Je mehr “Denkschritte” im Text stehen, desto mehr Information hat das Modell für die finale Antwort.

Beispiel: 9.11 vs 9.8

Frage: “Was ist grösser: 9.11 oder 9.8?”

Ohne Anleitung antwortet das Modell oft falsch, weil “9.11” als Datum interpretiert werden kann (11. September). Mit der Anweisung “Denke Schritt für Schritt” schreibt das Modell die Dezimalstellen explizit aus (9.11 = 9 + 0.11, 9.8 = 9 + 0.80) und vergleicht dann korrekt.

Key-pointDenken = Mehr Kontext = Bessere Vorhersagen

Das “Denken” eines Chatbots ist eine Technik, bei der das Modell Zwischenschritte generiert, die dann als zusätzlicher Kontext für die nächste Vorhersage dienen.

Die Parallele zum menschlichen Denken ist real: Auch wir profitieren davon, Gedanken zu externalisieren. Der Unterschied liegt darin, was “unter der Haube” passiert.

Die Parallele zum Schreiben

Du kennst das Gefühl: Du sitzt vor einem leeren Dokument, und viele mögliche Anfänge schwirren im Kopf. Dann schreibst du den ersten Satz. Plötzlich sind manche Fortsetzungen naheliegend, andere ausgeschlossen. Der Text, den du geschrieben hast, wird zum Kontext für das, was als Nächstes kommt.

Das ist überraschend ähnlich zu dem, was Sprachmodelle tun:

Du beim Schreiben	Das Sprachmodell
Viele Formulierungen möglich	Wahrscheinlichkeitsverteilung
Du wählst bestimmte Worte	Modell sampelt ein Token
Geschriebenes wird zum Kontext	Token wird zum Kontext
Nächster Satz baut darauf auf	Nächste Vorhersage konditioniert

Der leere Bildschirm ist schwer, weil wenig Kontext da ist. Sobald du anfängst, baut sich Momentum auf. Das gilt für Menschen wie für Modelle.

Pro-tipWarum das für Lernen wichtig ist

Wenn du selbst schreibst, machst du die Auswahl-Arbeit: Du entscheidest, welche Formulierung, welcher Gedankengang. Diese Arbeit ist ein Teil des Denkens.

Wenn KI für dich schreibt, übernimmt sie diese Auswahl. Du bekommst das Produkt, aber du hast den Prozess nicht durchlaufen.

Kurze Reflexion (3 min)

ReflectReflexion

Bevor wir zur Pause gehen: Notiere dir eine Sache, die du über Sprachmodelle gelernt hast, die du vorher nicht wusstest.

Takeaway

Key-pointAntwort auf Frage 1: Was ist KI?

Sprachmodelle generieren Text durch Vorhersage des nächsten Worts. Das klingt simpel, aber es ist funktional ähnlich wie das, was unser Gehirn ständig tut: Muster vervollständigen auf Basis gelernter Assoziationen. Die Implementierung ist anders, aber die kognitive Operation hat echte Parallelen.

Zwei Faktoren bestimmen das Ergebnis:

1. Das Modell: Was es aus Trainingsdaten gelernt hat
2. Der Kontext: Was du im Prompt mitgibst (inkl. Dokumente, Web-Suche, Chat-Verlauf)

Moderne Modelle sind extrem leistungsfähig. Wenn das Ergebnis nicht passt, frag dich: Was fehlt im Kontext?