Das Perzeptron - Struktur des künstlichen Neurons

Grundlagen: McCulloch & Pitts (1943)

• Eingabewerte ()
  Vektor von Features oder Datenpunkte
• Gewichte ()
  Vektor von Gewichten
• Bias (b)
• Aktivierungsfunktion (): z.B.

Das Perzeptron - Berechnung der Ausgabe

Die Berechnung der Ausgabe des Perzeptrons besteht aus zwei Schritten:

1. Summation
2. Aktivierung

Formal

Das Skalarprodukt aus Gewichtsvektor und Eingabevektor bestimmt den Output.

Beispiel: Logisches Oder

Mögliche Konfiguration:

• Gewichte: ,
• Bias

Beispiel: Logisches Oder

Mögliche Konfiguration:

• Gewichte: ,
• Bias

Das XOR-Problem

Multi-Layer Perzeptron

Ein einzelnes Perzeptron fungiert als linearer Klassifikator.

• Es kann nur Probleme lösen, bei denen die Klassen durch eine Gerade (2D) oder Hyperebene (nD) voneinander getrennt werden können.
• Die Entweder-Oder Funktion (XOR) kann mit einem Perzeptron nicht dargestellt werden!

Lösung

• Durch das Hintereinanderschalten von Neuronen können komplexere Probleme gelöst werden.

Neuronale Netze

Ein Multi-Layer Perzeptron (MLP) mit einer Vielzahl von künstlichen Neuronen, die in mehreren Schichten organisiert sind, bezeichnet man als (künstliches) Neuronales Netz (KNN / ANN).

Die grundlegende Architektur besteht aus drei Arten von Schichten (Layers):

• Input Layer (Eingabeschicht)
• Hidden Layer(s) (Verborgene Schichten)
• Output Layer (Ausgabeschicht)

Im Zusammenhang mit LLM ist of von Parametern die Rede. Jede Linie in dieser Graphik ist einen Parameter ().

Update der Gewichte: Gradientenabstieg

Geometrische Interpretation

• Die Fehlerfunktion spannt einen mehrdimensionalen Raum (Fehlerlandschaft) auf. Ziel ist das Finden eines Minimums.

Anpasssung der Gewichtsmatrizen zur Minimierung der Fehlerfunktion :

• Der Gradient (): Partiellen Ableitungen der Fehlerfunktion nach allen den (z.B. )
• Gewichtsadaption (): Die Änderung der Gewichte ergibt sich aus dem negativen Gradienten skaliert mit der Lernrate .

• Angepasste Gewichtsmatrizen:

Ausblick & Demo: Komplexere Architekturen

Neuronale Netze können weitaus komplexere Strukturen annehmen als die einfachen gezeigten KNN. Ein prominentes Beispiel hierfür sind Autoencoder.

• Encoder: Komprimiert hochdimensionale Eingabedaten (z. B. Bilder) auf die wesentlichen Merkmale in eine kompakte Repräsentation (den latenten Raum).
• Decoder: Rekonstruiert aus dieser komprimierten Repräsentation wieder die ursprünglichen Daten.