KI-Grundlagen

KI-Grundlagen

Informationssysteme - Sommersemester 2026

Prof. Dr. Christian Drumm

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Lernziele

Nach dieser Vorlesung können Sie...

  • die Begriffe Intelligenz und Künstliche Intelligenz definieren und die Herausforderungen bei der Begriffsfindung erklären.
  • die Konzepte des überwachten und unüberwachten Lernens voneinander abgrenzen.
  • die Funktionsweise von Entscheidungsbäumen und dem ID3-Algorithmus erklären und auf kleine Datensätze anwenden.
  • KI-Modelle anhand geeigneter Metriken (Confusion Matrix, Precision, Recall, F-Measure) bewerten und den Trade-off zwischen Precision und Recall analysieren.
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Agenda

  1. Einführung: Was ist (Künstliche) Intelligenz?
  2. Geschichte und Landschaft der KI
  3. Maschinelles Lernen: Überwacht vs. Unüberwacht
  4. Entscheidungsbäume und der ID3-Algorithmus
  5. Evaluation von KI-Modellen
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

KI - Einflussreichste Entwicklung der Neuzeit?

McKinsey: “The impact of AI is as great as the steam engine”

Goldman Sachs: ”Generative AI could raise global GDP by 7%.”

„AI is one of the most profound things we're working on as humanity. It's more profound than fire or electricity“, Alphabet Inc. CEO Sundar Pichai, World Economic Forum 22.01.2024

Goldman Sachs: “Generative AI must create 600 Billion in revenue to be profitable.”

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

KI - Einflussreichste Entwicklung der Neuzeit?

Das Haber-Bosch-Verfahren ist ein großindustrielles chemisches Verfahren zur Synthese von Ammoniak

Ammoniak ist eine chemische Substanz, die überwiegend für die Herstellung von Harnstoff, Ammoniumnitrat, Ammoniumsulfat sowie Ammoniumphosphaten genutzt wird. Diese Stoffe werden als Düngemittel verwendet und tragen zur Ernährung eines Großteils der Weltbevölkerung bei

(Wikipedia)

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Was ist Intelligenz?

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Was ist Intelligenz?

Looked at in one way, everyone knows what intelligence is; looked at in another way, no one does.

Robert J. Sternberg

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Was ist Intelligenz?

24 renommierte Psychologen:
24 verschiedene Definitionen!

Sternberg and Detterman [1]

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Was ist Intelligenz?

Versuch einer Definition

Intelligenz ist die Fähigkeit komplexe Probleme zu lösen.

Eigenschaften dieser Definition

  • Ein graduelles Maß dafür, ein bestimmtes Ziel zu erreichen.
  • Keine Annahme über
    • das Problemgebiet
    • das Vorgehen
    • zugrundeliegenden Mechanismen
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Was ist Intelligenz?

Maze-solving by an amoeboid organism[2]

  • Schleimpilz
  • Keine Nervenzellen!
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Was ist künstliche Intelligenz?

Legg und Hutter sammeln 70 mehr oder weniger abweichende Definitionen von (künstlicher) Intelligenz[3]

Definition

Intelligence measures an agent’s ability to achieve goals in a wide range of environments.[4]

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Agenda

  1. Einführung: Was ist (Künstliche) Intelligenz?
  2. Geschichte und Landschaft der KI
  3. Maschinelles Lernen: Überwacht vs. Unüberwacht
  4. Entscheidungsbäume und der ID3-Algorithmus
  5. Evaluation von KI-Modellen
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Geschichte der KI

sehr kurz und unvollständig...

  1. 1943 - McCulloch & Pitts: Perceptron
  2. 1950 - Alan Turing: Turingtest
  3. 1956 - Dartmouth Workshop: Ursprung der KI-Forschung
  4. 1965 - ELIZA: erster Chatbot
  5. 1969 - Perzeptrons
  6. 1974 - 1985: KI Winter
  7. 1986 - Backpropagation Paper
  8. 1991 & 1997: Hochreiter & Schmidhuber: LSTM
  9. 1997 - Deep Blue
  10. 2015 - 2017: AlphaGo
  11. 2024 - ChatGPT
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Geschichte der KI

sehr kurz und unvollständig...

  1. 1943 - McCulloch & Pitts: Perceptron
  2. 1950 - Alan Turing: Turingtest
  3. 1956 - Dartmouth Workshop
  4. 1965 - ELIZA: erster Chatbot
  5. 1969 - Perzeptrons
  6. 1974 - 1985: KI Winter
  7. 1986 - Backpropagation Paper
  8. 1991 & 1997: Hochreiter & Schmidhuber: LSTM
  9. 1997 - Deep Blue
  10. 2015 - 2017: AlphaGo
  11. 2024 - ChatGPT
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Geschichte der KI

sehr kurz und unvollständig...

  1. 1943 - McCulloch & Pitts: Perceptron
  2. 1950 - Alan Turing: Turingtest
  3. 1956 - Dartmouth Workshop: Ursprung der KI-Forschung
  4. 1965 - ELIZA: erster Chatbot → https://elizaemulator.com
  5. 1969 - Perzeptrons
  6. 1974 - 1985: KI Winter
  7. 1986 - Backpropagation Paper
  8. 1991 & 1997: Hochreiter & Schmidhuber: LSTM
  9. 1997 - Deep Blue
  10. 2015 - 2017: AlphaGo
  11. 2024 - ChatGPT
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Geschichte der KI

sehr kurz und unvollständig...

  1. 1943 - McCulloch & Pitts: Perceptron
  2. 1950 - Alan Turing: Turingtest
  3. 1956 - Dartmouth Workshop
  4. 1965 - ELIZA: erster Chatbot
  5. 1969 - Perzeptrons
  6. 1974 - 1985: KI Winter
  7. 1986 - Backpropagation Paper
  8. 1991 & 1997: Hochreiter & Schmidhuber: LSTM
  9. 1997 - Deep Blue
  10. 2015 - 2017: AlphaGo
  11. 2024 - ChatGPT
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

KI ist mehr als LLMs

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Agenda

  1. Einführung: Was ist (Künstliche) Intelligenz?
  2. Geschichte und Landschaft der KI
  3. Maschinelles Lernen: Überwacht vs. Unüberwacht
  4. Entscheidungsbäume und der ID3-Algorithmus
  5. Evaluation von KI-Modellen
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Überwachtes vs. Unüberwachtes Lernen

Überwachtes Lernen (Supervised)

  • Input: Menge gelabelte Trainingsdaten
  • Gesucht: Eine Funktion , so dass
  • Arten:
    • Klassifikation: Diskrete Labels (z.B. Spam oder nicht Spam)
    • Regression: Kontinuierliche Werte (z.B. Hauspreis-Vorhersage)

Unüberwachtes Lernen (Unsupervised)

  • Input: Menge ungelabelte Daten
  • Gesucht: Verborgene Strukturen/Muster finden
  • Arten:
    • Clustering: Gruppierung ähnlicher Datenpunkte (z.B. Kundensegmentierung)
    • Dimensionsreduktion: Komprimierung von Daten bei Informationserhalt (z.B. PCA)
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Agenda

  1. Einführung: Was ist (Künstliche) Intelligenz?
  2. Geschichte und Landschaft der KI
  3. Maschinelles Lernen: Überwacht vs. Unüberwacht
  4. Entscheidungsbäume und der ID3-Algorithmus
  5. Evaluation von KI-Modellen
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Entscheidungsbaum

  • gerichteter Baum zur Darstellung von Entscheidungsregeln

  • Struktur:

    • Interne Knoten: Tests auf Attributwerte.
    • Blätter: Die Klassifizierung / Vorhersage.

  • Charakteristik:

    • Entscheidungen sind für Menschen nachvollziehbar.
    • Entscheidungen werden als Disjunktion von Konjunktionen dargestellt.



  • Beispiel: Soll ich heute Fahrradfahren gehen?

    ö

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Lernen von Entscheidungsbäumen

  • Problemstellung: Soll ein Kredit gewährt werden?

    Kunde Kreditwürdigkeit Einkommen Besicherung Kredit gewährt?
    1 Hoch Hoch Nein Ja
    2 Hoch Niedrig Ja Ja
    3 Hoch Niedrig Nein Ja
    4 Niedrig Hoch Ja Ja
    5 Niedrig Niedrig Ja Nein
    6 Niedrig Niedrig Nein Nein

  • Was ist der (beste) Entscheidungsbaum auf Basis des Daten?

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Lernen von Entscheidungsbäumen - Der ID3-Algorithmus

Der Iterative Dichotomiser 3 (ID3)[5] baut einen Entscheidungsbaum rekursiv auf.

  • Eingabe: Menge der Trainingsdaten und Menge der Attribute

  • Ausgabe: Ein Entscheidungsbaum

  • ID3-Algorithmus

    1. Wenn alle Beispiele in zur gleichen Klasse gehören Gib ein Blatt mit dieser Klasse zurück.
    2. Wenn leer ist Gib ein Blatt mit der Mehrheitsklasse in zurück.
    3. Berechne den Informationsgewinn für jedes Attribute
    4. Wähle das Attribute mit dem größten Informationsgewinn
      1. Erstelle einen Entscheidungsknoten für das Attribut
      2. Teile in Teilmengen auf der Basis des Attributs
      3. Erstelle rekursive einen Entscheidungsbaum für die Teilmengen und die verbleibenden Attribute
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Mathematische Grundlage: Entropie

Die Entropie (Shannon-Entropie) ist ein Maß für den mittleren Informationsgehalt oder die Unsicherheit eines Datensatzes .

  • : Anzahl der Klassen
  • : Wahrscheinlichkeit bzw. relativer Anteil der Instanzen der Klasse im Datensatz.
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Beispiel: Entropie eines 8-seitigen Würfels

  • Ein fairer 8-seitiger Würfel hat 8 Seiten ().
  • Jede Seite (Klasse) hat beim Werfen die gleiche Wahrscheinlichkeit: .

Interpretation: Wir benötigen exakt 3 Bit an Information (bzw. genau 3 optimale Ja/Nein-Fragen), um das Ergebnis eines Wurfs eindeutig zu bestimmen.

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Mathematische Grundlage: Informationsgewinn

Der Informationsgewinn (Information Gain) gibt an, wie stark die Entropie sinkt, wenn wir den Datensatz nach einem Attribut aufteilen.

  • : Entropie vor der Aufteilung.
  • : Teilmenge der Daten, die den Wert für Attribut haben.
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Schritt-für-Schritt: der ID3-Algorithmus

  • Problemstellung: Soll ein Kredit gewährt werden?

  • Datensatz:

    Kunde Kreditwürdigkeit Einkommen Besicherung Kredit gewährt?
    1 Hoch Hoch Nein Ja
    2 Hoch Niedrig Ja Ja
    3 Hoch Niedrig Nein Ja
    4 Niedrig Hoch Ja Ja
    5 Niedrig Niedrig Ja Nein
    6 Niedrig Niedrig Nein Nein
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Schritt-für-Schritt: der ID3-Algorithmus (1/4)

  • Entropie berechnen

    • enthält 6 Datensätze mit 4x "Ja" und 2x "Nein".

  • Informationsgewinn (IG) für alle Attribute berechnen

    • Kreditwürdigkeit:
      • : 3 Ja, 0 Nein
      • : 1 Ja, 2 Nein
    • Einkommen:
    • Besicherung:
    • Kreditwürdigkeit hat den höchsten Informationsgewinn
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Schritt-für-Schritt: der ID3-Algorithmus (2/4)

Die Daten werden nun anhand des neuen Wurzelknotens in Teilmengen aufgeteilt.

  • Ast "Hoch": Alle 3 Kunden bekamen einen Kredit. Es wird ein Blatt mit Klasse Ja erstellt.
  • Ast "Niedrig": Die Menge ist gemischt (1 Ja, 2 Nein). Die verbleibenden Attributen werden weiter aufgeteilt.

Aktueller Baum

(Kreditwürdigkeit)
    ├── Hoch ─────> [Ja]
    └── Niedrig ──> (Nächste Entscheidung?)
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Schritt-für-Schritt: der ID3-Algorithmus (3/4)

  • Baum für Teilmenge (Kunden 4, 5, 6) und die verbleibenden Attribute Einkommen und Besicherung erstellen

  • Entropie der Teilmenge berechnen

    • enthält 3 Datensätze (1x "Ja", 2x "Nein").

  • Informationsgewinn für die verbleibenden Attribute

    • Einkommen:
      • (Kunde 4): 1 Ja, 0 Nein
      • (Kunden 5, 6): 0 Ja, 2 Nein
    • Besicherung:
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Schritt-für-Schritt: der ID3-Algorithmus (4/4)

Das Attribut Einkommen liefert den maximalen Informationsgewinn () für die Teilmenge und bereinigt die restliche Unsicherheit komplett.

Die finalen Zweige für den Knoten Einkommen werden erzeugt:

  • Ast "Hoch" (Kunde 4) Blatt mit Klasse Ja.
  • Ast "Niedrig" (Kunden 5, 6) Blatt mit Klasse Nein.

Finaler Entscheidungsbaum

(Kreditwürdigkeit)
    ├── Hoch ────────────────────────> [Ja]
    └── Niedrig ──> (Einkommen)
                        ├── Hoch ────> [Ja]
                        └── Niedrig ─> [Nein]
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Agenda

  1. Einführung: Was ist (Künstliche) Intelligenz?
  2. Geschichte und Landschaft der KI
  3. Maschinelles Lernen: Überwacht vs. Unüberwacht
  4. Entscheidungsbäume und der ID3-Algorithmus
  5. Evaluation von KI-Modellen
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Evaluation von KI-Modellen

Ein mögliches Maß zur Bewertung ist die Accuracy (Genauigkeit)

  • Accuracy:

Warum reicht die Accuracy nicht aus?

  • Angenommen, bei einer seltenen Krankheit sind 99% der Patienten gesund (Neg) und 1% krank (Pos).
  • Ein Modell, das einfach immer "gesund (Neg)" vorhersagt, hat eine Accuracy von 99%!
  • Es ist aber komplett nutzlos, da es keinen einzigen kranken Patienten findet (0% Trefferquote bei POS).

Wir müssen genauer hinschauen

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Evaluation von KI-Modellen: verschiedene Metriken

Confusion Matrix

Vorhersage: Pos Vorhersage: Neg
Ist: Pos True Positive (TP) False Negative (FN)
Ist: Neg False Positive (FP) True Negative (TN)

Auf Basis der Confusion Matrix lassen sich spezifischere Metriken berechnen:

  • Accuracy (Genauigkeit):

  • Precision (Relevanz): (Wie viele der als Pos vorhergesagten Fälle waren wirklich Pos?)

  • Recall (Sensitivität): (Wie viele der tatsächlichen Pos Fälle wurden gefunden?)

  • F-Measure (harmonisches Mittel aus Precision und Recall):

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Evaluation von KI-Modellen: Precision vs. Recall: Der Trade-off

Precision und Recall lassen sich oft nur auf Kosten des jeweils anderen optimieren. Welcher Wert wichtiger ist, hängt vom Anwendungsfall ab.

Beispiel 1: Spam-Filter (Fokus auf Precision)

  • Ziel: Keine echten Mails im Spam-Ordner (False Positives vermeiden!).
  • Folge: Der Filter ist "vorsichtig". Er sortiert nur Mails aus, bei denen er sich sehr sicher ist.
  • Ergebnis: Hohe Precision, aber niedriger Recall (einige Spam-Mails rutschen durch).

Beispiel 2: Krebs-Screening (Fokus auf Recall)

  • Ziel: Keinen kranken Patienten übersehen (False Negatives vermeiden!).
  • Folge: Das Modell schlägt bei der kleinsten Auffälligkeit Alarm.
  • Ergebnis: Hoher Recall (alle Kranken gefunden), aber niedrige Precision (viele gesunde Patienten müssen zur Nachuntersuchung).
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Rechenbeispiel: Precision vs. Recall Trade-off

Wir haben 100 kranke (Pos) und 100 gesunde (Neg) Patienten.

Szenario A: "Vorsichtiges" Modell (Fokus Precision)

Sagt nur bei extremer Sicherheit "krank" (Pos) voraus.

  • TP = 20, FP = 0, FN = 80, TN = 100
  • Precision: (100%)
  • Recall: (20%) 80 Kranke wurden übersehen!

Szenario B: "Übervorsichtiges" Modell (Fokus Recall)

Sagt bei geringstem Verdacht "krank" (Pos) voraus.

  • TP = 95, FP = 50, FN = 5, TN = 50
  • Precision: (65%) 50 Gesunde fälschlich alarmiert.
  • Recall: (95%)
Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Acknowledgements

Ein besonderer Dank gilt Prof. Dr. Ingo Elsen für seinen wertvollen Input und den fachlichen Austausch.

Einige der in diesem Foliensatz verwendeten Ideen, Konzepte und didaktischen Beispiele basieren auf seinen Vorlesungsmaterialien zur Künstlichen Intelligenz.

Prof. Dr. Christian Drumm - FH Aachen
KI-Grundlagen

Referenzen

[1] R. Sternberg and D. Detterman, What is intelligence? contemporary viewpoints on its nature and definition, 3. print. Norwood, N.J: Ablex, 1993. ⏎
[2] T. Nakagaki, H. Yamada, and Á. Tóth, “Maze-solving by an amoeboid organism,” Nature, vol. 407, no. 6803, pp. 470–470, Sep. 2000, doi: 10.1038/35035159. ⏎
[3] S. Legg and M. Hutter, “A Collection of Definitions of Intelligence,” 2007, doi: 10.48550/ARXIV.0706.3639. ⏎
[4] S. Legg and M. Hutter, “Universal Intelligence: A Definition of Machine Intelligence,” Minds & Machines, vol. 17, no. 4, pp. 391–444, Nov. 2007, doi: 10.1007/s11023-007-9079-x. ⏎
[5] S. J. Russell and P. Norvig, Artificial intelligence: a modern approach, Fourth edition. in Pearson series in artificial intelligence. Hoboken: Pearson, 2021. ⏎

Prof. Dr. Christian Drumm - FH Aachen