Teil 2: Warum Nachfragen nicht hilft
Selbstprüfung und Annahmen testen
- Bleib im selben Chat wie vorher
- Kopiere den Prompt unten und füge ihn ein
- Beobachte, was das Modell macht
Bist du sicher? Kannst du deine Antwort überprüfen?
Beobachte die Antwort: Was macht das Modell? Ändert es seine Zahlen? Wird es vorsichtiger? Bleibt es bei seiner Aussage?
Hintergrund: Warum ist “Bist du sicher?” ein Kategorienfehler?
Ein Sprachmodell kann nicht “prüfen”, ob seine Antwort stimmt. Es kann nur weiteren Text generieren, beeinflusst von dem, was bereits im Chat steht.
Das Modell hat zwar Zugriff auf seine vorherige Antwort (sie steht im Kontext), aber das ist nicht dasselbe wie zu wissen, ob diese Antwort wahr ist. Es hat keinen Zugang zu einer externen Realität, mit der es seine Aussagen vergleichen könnte.
“Bist du sicher?” fragt nach Metakognition. Du bekommst aber nur mehr Textgenerierung.
- Starte einen neuen Chat
- Kopiere den Prompt unten und füge ihn ein
- Beobachte: Bestätigt das Modell deine eingebaute Annahme?
Ich habe gelesen dass etwa 60% der Studierenden in Regelzeit abschliessen. Stimmt das ungefähr?
Beobachte: Wie geht das Modell mit deiner (falschen) Annahme um? Korrigiert es dich klar? Oder orientiert es sich an deiner Zahl?
Hintergrund: Subtile Beeinflussung
Moderne Sprachmodelle stimmen dir nicht mehr einfach zu. Die Beeinflussung ist subtiler:
- Das Modell nennt vielleicht eine Spanne, die deine Zahl einschliesst
- Es sagt vielleicht “ungefähr richtig” mit kleinen Einschränkungen
- Es verwendet deine Zahl vielleicht als Ankerpunkt
Der Effekt: Deine Frage formt die Antwort mit. Das ist kein Fehler des Modells, sondern eine Eigenschaft von Textgenerierung, die auf dem Kontext basiert.
Teile deine Beobachtungen:
- Was hat das Modell bei “Bist du sicher?” gemacht?
- Hat es deine Annahme bei der zweiten Frage bestätigt?
Nachfragen beim Sprachmodell ist keine echte Prüfung.
- Es kann sich nicht selbst verifizieren: es generiert nur neue Antworten
- Es bestätigt tendenziell deine Annahmen: deine Frage beeinflusst die Antwort
Beide Wege sind blockiert. Bleibt: Externe Quellen.