Activity: Prompt-Labor Vertiefung
Arbeitsauftrag.
Kaspar Kaufmann 
Ausgangslage
Mollick and Mollick (2023) haben in ihrem Artikel fünf mögliche Strategien für die Verwendung von LLMs für die Lehre vorgestellt. Als erste Strategie nennen Mollick and Mollick (2023) die Möglichkeit, mit Hilfe von Sprachmodellen viele unterschiedliche Beispiele zu produzieren (Strategy 1: Using AI to Produce Many Varied Examples):
Students need many examples when learning complicated concepts Kirschner, Hendrick, and Heal (2022)]. When confronted with new and complex ideas, adding many and varied examples helps students better understand them. If students are presented with only one example, they may focus on the superficial details of that example and not get at the deeper concept. Multiple examples of a single concept can help students decontextualize the idea from the example, leading to better recall and understanding.
Creating examples for instructional purposes can be a time-consuming and challenging task for educators, especially when they aim to produce diverse examples that effectively illustrate various aspects of a concept. Educators often have packed schedules and numerous responsibilities, which adds to the complexity of generating examples that meet specific criteria. When crafting examples, instructors need to contemplate several factors: Are the examples engaging and relevant to the students? For instance, incorporating real-world problems or issues can help tailor the examples to pique students’ interest. Do the examples strike the right balance between detail and clarity? Ensuring that examples are neither overly intricate nor excessively simple is vital. (S. 3)
Mollick and Mollick (2023) präsentieren Beispielprompts, wie man ein LLM anweisen kann, diese Strategie umzusetzen. Da wir jedoch wissen, dass LLMs gewisse Limitationen haben - Halluzinationen, Model Drift bzw. mangelnde zeitliche Konsistenz der Outputs, mangelnde Transparenz der Modelle - kann es sinnvoll sein, Techniken wie z.B. Retrieval Augmented Generation (RAG) zu verwenden. Im Rahmen dieser Aktivität wirst du das von Mollick and Mollick (2023) vorgeschlagene Vorgehen verwenden und reflektieren.
Dein Auftrag
1. Schritt: Wähle ein Thema
Wähle aus deiner eigenen Lehre ein Thema, welches z.B. besonders komplex ist oder welches du deinen Studierenden besonders verständlich machen möchtest. Stelle sicher, dass du ein PDF hast, welches dieses Thema erläutert (z.B. Forschungspapier, Vorlesungsunterlagen).
2. Schritt: Nutze Copilot/ChatGPT
Nutze die Strategie von Mollick and Mollick (2023) und lasse viele verschiedene Beispiele von Copilot oder ChatGPT für das von dir gewählte Thema erstellen. Gehe dafür nach dem folgenden Vorgehen vor. Das Vorgehen basiert auf den Anweisungen im Artikel von Mollick and Mollick (2023):
- Wenn du einen mit dem Internet verbundenen Assistenten verwendest (z. B. Copilot): Weise den Assistenten an, das Konzept anhand der wichtigsten Werke auf diesem Gebiet nachzuschlagen.
- Sage dem Assistenten, was du brauchst (z.B. “viele und unterschiedliche Beispiele für dieses eine Konzept”).
- Beschreibe den von dir bevorzugten Schreibstil (klar, einfach, konkret, dynamisch, ansprechend).
- Beschreibe die Zielgruppe (z.B. “meine Zielgruppe sind Hochschulstudierende, die von diesem Konzept noch nie gehört haben”).
- Du kannst entweder selbst einen Prompt auf der Grundlage der obigen Informationen formulieren oder den folgenden Prompt von Mollick and Mollick (2023) als Ausgangspunkt verwenden:
I would like you to act as an example generator for students. When confronted with new and complex concepts, adding many and varied examples helps students better understand those concepts. I would like you to ask what concept I would like examples of, and what level of students I am teaching. You will look up the concept, and then provide me with four different and varied accurate examples of the concept in action. (S. 4)
Wenn du ChatGPT ohne Websuche verwendest, musst du den Prompt entsprechend anpassen, so dass du den Assistenten nicht aufforderst, etwas im Internet zu suchen, da diese Funktion in der unbezahlten Version nicht zur Verfügung steht.
- Sind die Beispiele relevant und für deine Lehrtätigkeiten nützlich?
- Sind sie relevant und für die Studierenden interessant?
- Sind sie inhaltlich korrekt?
- Sind sie detailliert genug?
- …
3. Schritt (optional): Nutze RAG
Erstelle nun mit Hilfe vom OpenAI Playground und den zuvor erläuterten Anweisungen zu dieser Plattform selbst einen Assistenten, der mit Hilfe von RAG die Inhalte in einem bereitgestellten PDF nachschlagen kann. Folge den gleichen Anweisungen wie in Schritt 2, aber passe den Prompt so an, dass der Assistent das PDF nach relevanten Inhalten durchsucht.
Es ist möglich, im Playground einen Assistenten zu erstellen, der auf ein PDF zugreifen kann. Dieser Service ist jedoch kostenpflichtig. Dies bedeutet, dass du eine Kreditkarte hinterlegen musst, um den Service zu nutzen.
Im Playground kannst du den Assistenten so konfigurieren, dass er auf ein PDF zugreift. Per System Message (Instructions) kannst du den Assistenten anweisen, Antworten nur auf Basis der PDFs zu geben. Die Temperatur für die Textgenerierung boukannst du hier auch anpassen.
Als Alternative kannst du auch den PDF Chatbot auf HuggingFace Spaces benutzen. Hier kannst du ein oder mehrere PDFs hochladen, und “open-source” LLMs konfigurieren. Auch hier kannst du die Temperatur für die Textgenerierung anpassen.
Um diesen PDF Chatbot zu verwenden, ist es sinnvoll, sich bei Hugging Face zu registrieren. Dies ermöglicht es dir, den Chatbot zu kopieren, selber zu konfigurieren und zu speichern.
- In Hugging Face Settings einen Access Token mit “Write”-Rechten erstellen.
- Im PDF Chatbot auf das Icon mit den vertikalen Punkten klicken und “Duplicate this Space” wählen.
- In den Einstellungen des Chatbots den Access Token einfügen.
- Sind die Beispiele für deine Lehrtätigkeiten nützlich?
- Sind sie relevant und für die Studierenden interessant?
- Sind sie sachlich korrekt?
- Sind sie detailliert genug?
- …
- Welche Vorgehensweise hat nützlicheren Output kreiert?
- Wieso?
- Wie beurteilst du die Nützlichkeit von LLMs für diese Aufgabe?
- Wo liegen die Vorteile?
- Welche Herausforderungen und Limitationen siehst du?
- Wofür könnte RAG zusätzlich sinnvoll sein?
4. Schritt: Teile deine Erfahrungen
Tauscht euch in Kleingruppen (2-3) Personen zu eurem Vorgehen und euren Erkenntnissen aus.
Optional
Zur Vertiefung und für weitere Anwendungsszenarien in der Lehre versuche Folgendes:
- Wende diesen Ansatz auch auf die anderen Strategien von Mollick and Mollick (2023) an.
References
Reuse
Citation
@online{ellis2024,
author = {Ellis, Andrew and Kaufmann, Kaspar},
title = {Activity: {Prompt-Labor} {Vertiefung}},
date = {2024-05-16},
url = {https://virtuelleakademie.github.io/promptly-literate/pages/activity-prompt-labor-vertiefung.html},
langid = {en}
}