Lernziele

Nach dieser Einheit können Sie...

• erklären, wie Enkoder und Dekoder im Kontext generativer KI funktionieren.
• erklären, was die Grundlagen aktueller LLMs sind.
• erklären, warum Prompting bei modernen LLMs funktioniert und wo die Grenzen liegen.
• wichtige Prompt-Patterns anwenden.

Fortschritt im Bereich generative Bilderzeugung

Quelle: [1]

Ein einfaches, generatives Modell

Gegeben sind folgende Punke in einem 2D Koordinatensystem.^[1]

Durch welches Modell wurden diese Punkte erzeugt?

Ein einfaches, generatives Modell

Das den Daten zugrundeliegende Modell ist in folgender Abbildung dargestellt.^[1]

Generatives KNN: Autoencoder

Beispiel und Demo

Quelle: [1]

Autoencoder: Grenzen & Fallstricke

Problem 1: Overfitting

• Ist der kompression zu groß, lernt das Netz keine Konzepte, sondern lernt genau die Trainingsdaten.

Problem 2: Lücken

• Klassische Autoencoder weisen jedem Bild einen festen Punkt zu. Zwischen den Produktclustern ist oft "leerer Raum". Wählt man dort einen Punkt zur Generierung, erzeugt der Dekoder nur unbrauchbares Rauschen.
• Variational Autoencoders (VAEs) erzwingen eine stetige Wahrscheinlichkeitsverteilung im Latent Space – der notwendige Schritt zu echter generativer KI

Von Bildern zu Text: Warum Sprache anders ist

Bisher haben wir gesehen, wie komprimierte Repräsentationen Bilder generieren. Text hat jedoch eine besondere Eigenschaft: Er ist streng sequentiell und extrem kontextabhängig.

• Ein Wort hat selten eine feste Bedeutung ohne seinen Kontext.
• Beispiel:
  • "Der Kunde sitzt auf der Bank."
  • "Der Kunde zahlt Geld auf der Bank ein."

Der technologische Durchbruch zur Lösung dieses Problems erfolgte 2017 durch die Transformer-Architektur.

Transformer-Architektur: Definition & Konzept

Ein Transformer ist eine Netzwerk-Architektur, die speziell darauf ausgelegt ist, langreichweitige Abhängigkeiten in Texten effizient zu erfassen.^[2]

• Vorgestellt im Google-Paper "Attention Is All You Need" (2017)^[2].
• Kernaufgabe
  • "Next Token Prediction"
  • Generative Modelle (wie GPT = Generative Pre-trained Transformer) berechnen Wahrscheinlichkeiten für das exakt nächste Wortstück (Token), basierend auf dem bisherigen Text.
• Der Paradigmenwechsel:
  Weg von streng sequentiellen Analysen hin zur parallelen Betrachtung des gesamten Textes.

Transformer-Architektur: Grenzen & Fallstricke

Die technische Funktionsweise (Wahrscheinlichkeiten statt Datenbanken) führt zu bekannten Risiken:

1. Halluzinationen: Das Modell liefert immer das wahrscheinlichste nächste Wort, nicht zwingend das faktisch korrekte.
2. Kosten & Kontextfenster: Die Berechnung der Attention-Gewichte zwischen allen Wörtern wird exponentiell teurer, je länger das Dokument ist.
3. Blackbox: Welche Gewichte genau dazu führen, dass ein Modell eine bestimmte Empfehlung gibt, ist nicht nachvollziehbar.
4. Ethik & Trainingsdaten: Modelle werden auf urheberrechtlich geschützten Daten trainiert.

Architektur eines modernen LLM-Systems

Ein modernes ChatGPT oder Copilot ist nicht nur das nackte LLM. Es ist ein System aus mehreren Schichten, z.B.:

• System Prompt:
  • Die globale Anweisung an das Modell (z.B. Rolle, Tonalität, strenge Regeln).
  • Kann über API übergeben werden, um das Verhalten für die gesamte Session zu "programmieren".
• User Prompt: Ihre eigentliche Eingabe.
• Guardrails: Vor- und nachgelagerte Filter, die unabhängig vom Modell agieren (blockieren z.B. Hassrede oder filtern Firmengeheimnisse).
• Das LLM: Generiert Ausbage auf Basis der Eingaben.

Wichtig: Viele der Fortschritte der Chatbots basieren nicht auf besseren Modell sondern den verfügbaren Werkzeugen und Schnittstellen.

Der Aufbau eines guten Prompts

Eine strukturierte Methode für den Aufbau eines guten Prompts ist der "Role-Context-Task" Framework (oft ergänzt um Format und Constraints).

1. Role (Rolle): "Du bist ein erfahrener Supply Chain Manager."
2. Context (Kontext): "Die Lieferung ist 3 Wochen zu spät, es droht ein Produktionsstopp."
3. Task (Aufgabe): "Schreibe eine E-Mail an den Lieferanten zur Eskalation."

Übung: Chain of Thought

Übung (5 min)

Versuchen Sie die folgenden Fragen mit einem LLM zu lösen.

• Löse

• Ich bin zum Markt gegangen und habe 10 Äpfel gekauft. Ich habe dem Nachbarn zwei Äpfel und dem Handwerker ebenfalls zwei Äpfel gegeben. Dann habe ich noch 5 Äpfel gekauft und 1 davon gegessen. Wie viele Äpfel hatte ich noch übrig?

Was stellen Sie fest? Hilft der Chain-of-Thought-Ansatz?

Übung: Tree of Thought

Szenario

Pricing-Strategie für ein neues Software-Produkt (SaaS).

Übung (5 Min)

Nutzen Sie das ToT-Template, um das LLM verschiedene Preismodelle (Freemium, Pay-per-Use, Flatrate) entwerfen und evaluieren zu lassen.

Technik 4: Rückfragen erzwingen

Konzept

LLMs tendieren dazu, sich Antworten auszudenken (Halluzination), wenn Kontext fehlt. Wir können dieses Verhalten per Prompt umdrehen.

Beispiel (RTC basiert)

Kontext: Ich möchte ein neues CRM-System einführen.
Task: Hilf mir bei der Anforderungsanalyse.
Regel: Du darfst noch KEINE Lösung vorschlagen. Stelle mir stattdessen genau die 3 wichtigsten Rückfragen (nacheinander), um meine Situation zu verstehen.

Übung: Rückfragen erzwingen

Szenario

Requirements Engineering / Anforderungsaufnahme.

Übung (5 Min)

Bitten Sie ein LLM, einen Prozess für "Onboarding neuer Mitarbeiter" zu entwerfen.

• Variante 1: "Schreibe einen Onboarding-Prozess."
• Variante 2: Nutzen Sie das Template und befehlen Sie dem Modell, zuerst Fragen zu Firmenkultur, IT-Ausstattung und Dauer zu stellen.

Strukturierung via Information/Promots mit Markdown

Was ist das Problem mit allen gezeigten Ansätzen?

Limitationen des Promptings (Architekturbedingt)

Prompting und Prompt-Engineering hat harte Grenzen, die in der Transformer-Architektur liegen:

1. Kontext-Fenster: Ist der Prompt zu lang, "vergisst" die Attention-Mechanik oft Informationen in der Mitte des Textes ("Lost in the Middle"-Phänomen).
2. Keine echten Updates: Ein Prompt ändert nicht das angelernte Wissen (die Gewichte) des Modells. Sobald der Chat-Verlauf gelöscht wird, ist alles vergessen.
3. Mangelnde Rechenfähigkeit: Transformer sind Sprachkalkulatoren, keine Taschenrechner. Für komplexe Mathematik helfen Prompts nicht – hier braucht man Tool-Nutzung (z.B. Python-Interpreter).

Referenzen

[1] Foster, D. (2023): Generative Deep Learning: Teaching Machines to Paint, Write, Compose, and Play. 2. Auflage, O'Reilly Media. ⏎

[2] Vaswani, A. et al. (2017): Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762 ⏎

[3] Schulhoff, S. et al. (2025): The Prompt Report: A Systematic Survey of Prompt Engineering Techniques. arXiv:2406.06608v6. https://arxiv.org/abs/2406.06608 ⏎

[4] Brown, T. B. et al. (2020): Language Models are Few-Shot Learners. arXiv:2005.14165. https://arxiv.org/abs/2005.14165 ⏎