Informationsanlass zu KI/ChatGPT

Andrew Ellis

15 June, 2023

Here’s What Happens When Your Lawyer Uses ChatGPT

The Best Prompts For ChatGPT: The ultimate list

Inhalt

  1. Was ist künstliche Intelligenz?
  2. Was ist ChatGPT?
  3. Wie wurde ChatGPT trainiert?
  4. Energieverbrauch, Bias, Ethik
  5. Wie “denkt” ChatGPT?
  6. Zukünftige Verwendungen von LLMs
  7. Wissenschaftliches Arbeiten

Was ist künstliche Intelligenz?

1 2 3 4 5 6 7

Was ist Künstliche Intelligenz?

Quelle: derbund.ch/so-funktioniert-kuenstliche-intelligenz-599276436215

Machine Learning

  • Regelbasierte Systeme müssen programmiert werden.

  • ML Modelle lernen implizit, d.h. ohne Regeln einprogrammiert zu bekommen.

  • Wichtige Begriffe:

    • Trainingsdaten: Modelle werden mit Daten gefüttert, und Parameter des Modells werden so eingestellt, dass das Modell möglichst “gut” ist.
    • Supervised learning: Aufgabe ist bekannt, z.B. Bilder - klassifizieren.
    • Unsupervised learning: Unbekannte Muster entdecken.
    • Reinforcement learning: Ziel ist vorgegeben, Modell lernt durch Feedback (Belohnung) wie Ziel erreicht werden kann.

We have to learn the bitter lesson that building in how we think we think does not work in the long run. We should stop trying to find simple ways to think about space, objects, multiple agents, or symmetries… instead we should build in only the meta-methods that can find and capture this arbitrary complexity. We want AI agents that can discover like we can, not which contain what we have discovered (Sutton 2019).

Supervised learning

Bilder von Hunden und Katzen klassifizeren: Was sind die Merkmale, die Hunde von Katzen unterscheiden?

Reinforcement learning

Was ist ChatGPT?

1 2 3 4 5 6 7

Natural Language Processing

  • Speech recognition
  • Text-to-speech synthesis
  • Machine translation
  • Information extraction
  • Information retrieval
  • Question answering
  • Sentiment analysis
    • 😊 I love this movie!
    • 😐 This movie is ok.
    • 😠 This movie is terrible!

Tokenization

Quelle: State of ChatGPT

Embeddings

  • Numerische Tokens werden in einem hochdimensionalen Vektorraum abgebildet.
  • Distanz zwischen Vektoren misst Ähnlichkeit zwischen Tokens.

Quelle: Wolfram (2023)

Quelle: So funktioniert ChatGPT

ChatGPT

Besteht aus 2 Modellen:

  • Large language model (LLM): GPT-3.5 oder GPT-4 (generative pre-trained transformer): das eigentliche Sprachmodell

  • Assistant: Ein für Dialoge spezialisiertes Modell

LLM

Aufgabe eines LLMs: “auto-regressive next word prediction” (eigentlich “token prediction”):

\[ P(w_{w+1} | w_1, w_2, ..., w_t) \]

  • Das nächste Wort wird vorhergesagt, basierend auf den vorherigen Worten.
  • Diese vorherigen Wörter werden als “context” bezeichnet.

Assistant

  • LLM produziert Text, aber nicht menschliche Konversationen.
  • Weiteres Training ist erforderlich, damit das Modell lernt, wie ein Mensch “Konversationen” zu führen.

Wie wurde ChatGPT trainiert?

1 2 3 4 5 6 7

Daten

Methoden

Pre-training

Pre-training

Reinforcement Learning from Human Feedback (RLHF)

Benutzt Feedback vom Menschen um “schlechte” Outputs zu minimieren.

Quelle: openai.com/blog/chatgpt

Energieverbrauch, Bias, Ethik

1 2 3 4 5 6 7

Energieverbrauch

  • Training: “What we do know is that training ChatGPT used \(1.287\) GWh, roughly equivalent to the consumption of 120 US homes for a year.” Quelle: Heating up: how much energy does AI use?

  • Patterson et al. (2022) schätzen die Trainingskosten auf 502 Tonnen \(\text{CO}_2\) (RLHF würde etwas mehr kosten, ca. 1% der ursprünglichen Kosten).

  • Benutzung: 7 Tonnen \(\text{CO}_2\) pro Tag (Ende Februar). Quelle: How much energy does ChatGPT use?

  • Der Energieverbrauch von ChatGPT ist equivalent zu 400-800 US Haushalten. Das ist beträchtlich, im Vergleich zu z.B. Kryptowährungen eher gering.

Bias

  • Da LLMs von Texten lernen, die von Menschen geschrieben wurden, können sie auch Vorurteile lernen.

Quelle: Hast du Vorurteile?

Ethik

  • Auf Grund der grossen Menge von Trainingsdaten, die für Sprachmodelle benötigt werden, ist Qualitätskontrolle schwierig.
  • Diskriminierende oder beleidigende Aussagen werden von einem Chatbot generiert.
  • Solche Antworten können als unerwünscht markiert werden.
  • Toxische Inhalte wie körperliche und sexuelle Gewalt, Suizide und Tierquälerei, müssen beim Trainieren aus den Antworten gefiltert werden. Dabei mussten angestellte Arbeitskräfte für weniger als 2 Dollar die Stunde teils schockierende Inhalte lesen.

Quelle: Traumatische Klickarbeit

Use Cases

Wie “denkt” ChatGPT?

1 2 3 4 5 6 7

Wie generiert ChatGPT Text?

  • LLM: Gegeben eine Input-Sequenz von Tokens (Wörter, Teile von Wörtern, Satzzeichen, Emojis, etc.), was sind die wahrscheinlichsten nächsten Tokens?
  • Auto-regressiv: Ein Token wird generiert, wird dem Kontext hinzugefügt.

  • Der neue Kontext wird verwendet, um das nächste Token zu generieren, etc.
  • Wichtig: Jedes Token erhält gleich viel Zeit. Es gibt keine Tokens, die mehr oder weniger wichtig sind (Computation per Token ist konstant).

Prompt

  • Der ursprüngliche Kontext wird Prompt (Eingabetext) genannt.
  • Dieser ist entscheidend für die Qualität der Antwort.
  • Weil jedes Token gleich gewichtet wird, kann es an jeder Stelle im Ouptut zu “ungünstigen” Pfaden führen.

Prompt

Role-Playing Simulator

We can think of an LLM as a non-deterministic simulator capable of role-playing an infinity of characters, or, to put it another way, capable of stochastically generating an infinity of simulacra.

Quelle: Shanahan, McDonell, and Reynolds (2023)

  • Bei jeder Interaktion mit ChatGPT wird neu simuliert.

Role-Playing Simulator

Role-Playing Simulator

  • Ein LLM ist keine Entität mit Handlungsabsichten, sondern ein Simulator von möglichen Konversationen.
  • ChatGPT hat kein Konzept von Wahrheit, sondern generiert Antworten, die plausibel sind.
  • Somit kann ChatGPT weder die Wahrheit sagen noch lügen - diese Konzepte sind für ein LLM vorerst irrelevant.

Was kann ChatGPT?

Weitere Beispiele: Bubeck et al. (2023)

Denkt ChatGPT?

System 1 vs System 2

  • Thinking Fast and Slow

  • System 1: schnell, instinktiv, automatisch

  • System 2: langsam, deliberativ, anstrengend

Prompt Engineering

  • Qualität der Antwort hängt sehr von der Qualität des Prompts ab.

  • 2 Möglichkeiten, um die Qualität der Antworten zu verbessern:

    • Incrementelle Prompts: Schritt für Schritt durch die Konversation führen (dialogisches Prompting).
    • Mega-Prompts: Alle Informationen auf einmal geben.

  • Am besten selber ausprobieren.

Mega-Prompt

  1. Rolle: Wer oder was wird simuliert?
  2. Aufgabe: Was ist zu tun?
  3. Arbeitschritte: Was ist in welcher Reihenfolge zu tun?
  4. Kontext, Einschränkungen
  5. Ziel: Was soll am Ende herauskommen?
  6. Format: Wie soll das Ergebnis aussehen?

Beispiel Hochschullehre: Feedback

“I want you to act as a harsh critic. Criticize what I will write to you and show me where my argumentation is lacking. Start by ask- ing me what text I want to have feedback on. Then ask me questions about my context to create the best feedback possible. If you feel you have all the context necessary, think step by step when creating your feedback” (Lenk-Ostendorf & Folgmann 2023)

Weitere Beispiele

Zukünftige Verwendungen von LLMs

1 2 3 4 5 6 7

Plug-ins

Retrieval-augmented LLMs

Retrieval-augmented LLMs

Beispiel: Assistant für KI in der Hochschullehre

Wissenschaftliches Arbeiten

1 2 3 4 5 6 7

Zitieren

  • Es existieren noch keine Richtlinien für das Zitieren von ChatGPT oder anderen KI-basierte Schreibtools.
  • ChatGPT ist rein rechtlich keine zitierfähige Quelle und damit auch nicht zitierpflichtig (Fleck 2023).

Möglicher Pauschalverweis

“Beim Verfassen der Arbeit habe ich das KI-gestützte Schreibwerkzeug ChatGPT zur Textoptimierung verwendet. Wörtlich aus dem Tool übernommene Passagen wurden im Text als persönliche Kommunikation zitiert.”

Plagiate und Detektion

  • Texte von ChatGPT werden jedes Mal individuell erstellt. Es handelt sich nicht um Plagiate.
  • Die klassischen Tools zur Aufdeckung von Plagiaten wie z.B. TurnItIn funktionieren hier nicht.

Kompetenznachweise

Rechtliche Aspekte

  • ChatGPT kann keine Urheberschaft und keine Autorenschaft beanspruchen, da dies nur natürliche Personen können.
  • Menschen können die Urheberschaft eines Textes beanspruchen, auch wenn sie auf Unterstützung durch ChatGPT zurückgegriffen haben – sofern sie eine wesentliche gestalterische Eigenleistung am Text erbracht haben.

Quelle: Salden (2023)

Datenschutz

  • Anonyme Nutzung von ChatGPT ist mit persönlichen Konto nicht möglich (über Handynummer identifizierbar).
  • Alle Eingaben und alle Antworten werden bei ChatGPT unverschlüsselt abgespeichert.
  • Daten liegen auf amerikanischen Servern und sind damit für amerikanische Ermittlungsbehörden grundsätzlich zugänglich.

References

Broschinski, Sebastian, Titus Plattner, Patrick Meier, and Patrick Vögeli. 2023. “In 9 Grafiken erklärt – So funktioniert künstliche Intelligenz.” Der Bund. June 10, 2023. https://www.derbund.ch/so-funktioniert-kuenstliche-intelligenz-599276436215.
Bubeck, Sébastien, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, et al. 2023. “Sparks of Artificial General Intelligence: Early Experiments with GPT-4.” April 13, 2023. http://arxiv.org/abs/2303.12712.
Fleck, Tilmann. 2023. “Prüfungsrechtliche Fragen zu ChatGPT.”
Patterson, David, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, and Jeff Dean. 2022. “Carbon Emissions and Large Neural Network Training.”
Salden, Peter. 2023. “Didaktische und rechtliche Perspektiven auf KI-gestütztes Schreiben in der Hochschulbildung.” Ruhr-Universität Bochum. https://doi.org/10.13154/294-9734.
Shanahan, Murray, Kyle McDonell, and Laria Reynolds. 2023. “Role-Play with Large Language Models.” May 25, 2023. https://doi.org/10.48550/arXiv.2305.16367.
Sutton, Rich. 2019. “The Bitter Lesson.” 2019. http://incompleteideas.net/IncIdeas/BitterLesson.html.
Wolfram, Stephen. 2023. “What Is ChatGPT Doing … and Why Does It Work?” February 14, 2023. https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/.

⤴️ KI/GPT in der Hochschule