KI-Ethik

KI-Ethik

Informationssysteme - Sommersemester 2026

Prof. Dr. Christian Drumm

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Vorbereitung auf diese Vorlesung

Wir nutzen die heutige Vorlesung, um diese Konzepte auf konkrete wirtschaftliche und gesellschaftliche Problemstellungen anzuwenden!

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Lernziele

Nach dieser Vorlesung können Sie...

  1. die fünf Säulen der KI-Ethik auf reale wirtschaftliche Szenarien übertragen und kritisch reflektieren.
  2. statistische Phänomene wie das Simpson-Paradoxon erklären und deren Gefahr für algorithmische Fairness bewerten.
  3. den Einsatz von automatisierter Personenerkennung im öffentlichen Raum hinsichtlich Wirtschaftlichkeit und ethischer Grenzen abwägen (Stichwort: False Positives).
  4. die geschäftlichen und gesellschaftlichen Risiken von Deep Fakes analysieren.
  5. die Auswirkungen des EU AI Acts auf unternehmerische KI-Projekte (risikobasierter Ansatz) einschätzen.
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Agenda

  1. Fragen und Reflektion
  2. Gescheiterte Projekte
  3. Daten & Fairness
  4. KI im öffentlichen Raum
  5. Der rechtliche Rahmen
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Fragen und Reflektion

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Agenda

  1. Fragen und Reflektion
  2. Gescheiterte Projekte
  3. Daten & Fairness
  4. KI im öffentlichen Raum
  5. Der rechtliche Rahmen
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Gescheiterte KI-Projekte: "Garbage In, Bias Out"

Fallstudie: Amazon Recruiting-KI (Ausgangssituation)

  • Das Ziel: Automatisierung der Bewerbervorauswahl, um die besten Talente effizienter zu finden.
  • Die Daten: Das System wurde mit den erfolgreichen Lebensläufen der eigenen Belegschaft aus den letzten 10 Jahren trainiert.
  • Die Aufgabe an die KI: "Finde Muster in den Lebensläufen der Vergangenheit und bewerte neue Bewerbungen danach."

Frage (Murmelgruppen - 2 Min)

Welches ethische und geschäftliche Problem könnte hier entstehen, wenn man die historische Personalstruktur der Tech-Branche bedenkt?

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Die Auflösung: Was ist passiert?

  • Das Problem: Die Tech-Branche war historisch extrem männlich dominiert. Die Trainingsdaten bestanden fast nur aus Profilen von Männern.
  • Das Ergebnis: Die KI erkannte das "Muster", dass Männer bevorzugt eingestellt wurden. Sie schloss daraus logisch (aber ethisch falsch), dass männliche Bewerber besser sind.
  • Sie wertete Lebensläufe systematisch ab, die das Wort "Frauen" enthielten (z.B. "Frauen-Schachtteam") oder von reinen Frauen-Colleges stammten.

Konsequenz

  • Amazon musste das Projekt abbrechen.
  • Später leakte der Fall und verursachte einen massiven PR-Schaden.[1]
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Agenda

  1. Fragen und Reflektion
  2. Gescheiterte Projekte
  3. Daten & Fairness
  4. KI im öffentlichen Raum
  5. Der rechtliche Rahmen
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Nicht nur KI: Bias in klassischen Algorithmen

Auch klassische Algorithmen können eine Bias ausweisen

Aktuelles Beispiel: Nierentransplantationen in den USA [2]

  • Algorithmus
    • Bei der medizinischen Berechnung der Nierenfunktion (eGFR) wurde die Nierenfunktion für Afroamerikaner um 16 - 21% überschätzt
    • Die Nierenfunktion von Afroamerikanern wurde systematisch als gesünder berechnet, als sie klinisch tatsächlich war.
  • Verzögert Behandlung und verzögerten Zugang zu Transplantationen für betroffene Patienten

Aktuelle Daten

  • 27% der afroamerikanischen Patienten beeinflusst
  • 5.3 mehr Transplantationen pro 1000 afroamerikanischen Patienten
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Daten & Fairness: Fallstricke in der Statistik

Betrachten wir die aggregierten Zulassungsdaten für Graduate-Programme der UC Berkeley (1973)[3]:

Geschlecht Bewerbungen Zugelassen Quote
Frauen 4.321 1.494 ~ 35 %
Gesamt 12.763 5.232 ~ 41 %

Fragen

  1. Wurden Frauen systematisch diskriminiert?
  2. Würden Sie diese historischen Daten nutzen, um eine KI für zukünftige Zulassungen zu trainieren?
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Der Blick ins Detail

Gleiche Daten, jetzt nach Fachrichtung getrennt. Zahlen nach Bickel et al. (1975)[3],[4]

Fachrichtung Gesamt Quote Männer Quote Frauen Quote
A 933 64% 825 62% 108 82%
B 585 63% 560 63% 25 68%
C 918 35% 325 37% 593 34%
D 792 34% 417 33% 375 35%
E 584 25% 191 28% 393 24%
F 714 6% 373 6% 341 7%
  • In mehreren Fachrichtung ist die Zulassungsquote für Frauen höher (A, B, D, F).
  • Trotzdem ist die aggregierte Quote für Frauen niedriger, weil sich Bewerbungen stark auf Fachrichtung mit niedriger Grundquote konzentrieren.
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Das Simpsons-Paradox

Ein statistisches Phänomen, bei dem ein Trend in verschiedenen Datengruppen auftritt, verschwindet oder sich umkehrt, wenn diese Gruppen kombiniert werden.

Die Mechanik im Berkeley-Fall:

  • Die Störvariable (Confounder) ist die Wahl der Fachrichtung.
  • Frauen bewarben sich häufig für Studiengänge (z.B. Geisteswissenschaften) mit Zulassungsquoten von unter 10 %.
  • Männer bewarben sich häufiger auf Studiengänge (z.B. Ingenieurwesen) mit sehr hohen Zulassungsquoten (über 60 %).

Aggregierte Daten ohne Kontext führen zu Fehleinschätzungen und potenziell diskriminierenden Systemen.

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Agenda

  1. Fragen und Reflektion
  2. Gescheiterte Projekte
  3. Daten & Fairness
  4. KI im öffentlichen Raum
  5. Der rechtliche Rahmen
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

KI im öffentlichen Raum: Verhaltensüberwachung

Sehr aktuelles Thema, sowohl für Behörden:

  • Berlin[5]
  • Mannheim[6]
  • Hamburger Hochbahn[7]
  • Bremen[8]

Als auch durch private Firmen:

  • Ring[9]
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Umfrage und Diskussion (in Slido)

1. Einstellung zum System

Befürworten Sie grundsätzlich den Einsatz von KI-Kameras zur automatisierten Erkennung von unerwünschtem Verhalten an Bahnhöfen?

2. Der Schwellenwert

Ab welcher Genauigkeit der KI würden Sie den Einsatz und z.B. die automatische Alarmierung der Polizei akzeptieren?

3. Vorteile und Risiken

Was ist für Sie der größte Vorteil und das größte Risiko beim Einsatz solcher Systeme?

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Beispiel: Der ÖPNV in Berlin (S-Bahn und U-Bahn)

Annahmen

  • 3 - 4 Millionen Fahrgäste pro Tag

  • Täglich 1000 unerwünschte Verhaltensweisen, die eine Eingreifen erfordern

  • KI-System mit folgeader Qualität

    • 99 % der unerwünschten Verhaltensweisen werden erkannt.
    • 1 % der harmlosen Verhaltensweisen werden fälschlicherweise als unerwünscht erkannt

Frage

  • Würden Sie den Einsatz diese Systems Befürworten?
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Das Problem

Nur ein Aspekt neben vielen weiteren Problemen wie Privacy oder Verhaltensänderungen!

  • 3 Millionen Fahrgäste pro Tag 1000 unerwünschte Verhaltensweisen.

Verteilungsübersicht (Confusion Matrix)

erkann als unerwünscht erkannt als normal
unerwünschte Verhaltensweisen (1000) 990 10
normale Verhaltensweisen (2.999.000) 29.900 2.969.100
Gesamt 30.890 2.969.910
  • mehr als 96% Fehlalarme
  • 29.900 Fahrgäste grundlos kontrolliert
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Kosten-/Personalkalkulation

  • Annahmen:

    • Bearbeitungszeit pro Alarm: durchschnittlich 10 Minuten (inkl. Verifizierung, Eskalation etc.)
    • Arbeitszeit pro Mitarbeiter: 8 h
    • Jahresgehalt pro Mitarbeiter: 50.000 €

  • Alarme pro Tag: 30.098

    • Bearbeitungszeit pro Tag:
    • Benötigtes Personal pro Tag:

  • Jährliche Personalkosten (ohne Urlaub, Krankheit etc)
    €€

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Fazit zu KI im öffentlichen Raum

  • Einsatz unwirtschaftlich
  • schwerwiegenden Grundrechtseingriffen

Anwendungsfälle mit ähnlichen Problemen

  • Chat-Kontrolle und Client-Side-Scanning[10]
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Weiterführende Probleme

Nur eine Auswahl vielfältiger ethische Probleme mit der Nutzung von KI.

Fehlerhafte Gesichtserkennung: Unschuldige im Gefängnis

  • Unschuldige Person wird aufgrund von fehlerhafter Gesichtserkennungs-KI inhaftiert wurden.
  • Fehlerhafte Resultate der Technik führten zu Inhaftierungen.[11]
  • Polizeibehörden verließen sich blind auf automatisierte Ergebnisse.

Niedriglohn-Arbeiter beim KI-Content-Filtering

  • Niedriglohn-Arbeiter weltweit filtern Inhalte (z.B. Gewaltvideos, extremistische Inhalte), bevor sie KI trainieren können.
  • Diese Arbeiter sind enormen psychischen Belastungen ausgesetzt, oft ohne ausreichenden Arbeitsschutz.[12]

Desinformation

  • Wissenschaftler erfanden 2024 die völlig fiktive Augenkrankheit "Bixonimania", um die Fehleranfälligkeit von LLMs zu testen.[13]
  • Sie veröffentlichten dazu fingierte Preprints mit offensichtlichen Hinweisen auf die Fälschung.
  • Führende KI-Modelle (wie ChatGPT, Copilot, Gemini) gaben Bixonimania kurz darauf als reale Krankheit aus. Die fiktive Krankheit wurde ungeprüft in einem Peer-Review-geprüften medizinischen Fachartikel zitiert.
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Empfohlene Lektüre

"ChatGPT is Bullshit" (Hicks, Humphries & Slater, 2024)[15]

  • Die Autoren argumentieren philosophisch, dass LLMs (wie ChatGPT) nicht "halluzinieren" oder lügen, sondern "Bullshit" produzieren.
  • Nach der Definition des Philosophen Harry Frankfurt ist "Bullshit" eine Aussage, die ohne jegliche Rücksicht auf die Wahrheit getroffen wird.

Wie du von KI überwacht wirst | Fun Facts mit Linus Neumann

Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Agenda

  1. Fragen und Reflektion
  2. Gescheiterte Projekte
  3. Daten & Fairness
  4. KI im öffentlichen Raum
  5. Der rechtliche Rahmen
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Der rechtliche Rahmen: EU AI Act

Das weltweit erste umfassende Gesetz zur Regulierung Künstlicher Intelligenz.

Ziele des AI Acts

  • Sicherheit und Grundrechte: Schutz der EU-Bürger vor schädlicher KI.
  • Rechtssicherheit: Klare Regeln für Unternehmen, um Investitionen und Innovationen zu fördern.
  • Globaler Standard: Versuch der EU, wie bei der DSGVO (GDPR), einen weltweiten Standard zu setzen.[15]
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Der risikobasierte Ansatz des AI Acts

Der AI Act teilt KI-Systeme in vier Risikoklassen ein. Je höher das Risiko, desto strenger die Auflagen.

  1. Unannehmbares Risiko (Verboten)
    • z.B. Social Scoring, ungerichtete Gesichtserkennung in Echtzeit (wie im ÖPNV-Beispiel), manipulative KI.
  2. Hohes Risiko (Strenge Auflagen)
    • z.B. KI in Recruiting (Amazon-Beispiel), Medizin, kritische Infrastruktur.
    • Pflichten: Risikomanagement, hohe Datenqualität, menschliche Aufsicht, Dokumentation.
  3. Begrenztes Risiko (Transparenzpflichten)
    • z.B. Chatbots (ChatGPT), Deepfakes.
    • Pflichten: Nutzer müssen wissen, dass sie mit einer KI interagieren oder Inhalte generiert sind.
  4. Minimales Risiko (Keine Vorgaben)
    • z.B. KI in Videospielen, Spam-Filter.
Prof. Dr. Christian Drumm - FH Aachen
KI-Ethik

Referenzen

[1] Dastin, J. (2018): Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. Online verfügbar ⏎
[2] STAT News (2026): Kidney transplants for Black Americans rise after race-based test is discarded. Online verfügbar ⏎
[3] Bickel, P. J., Hammel, E. A., & O'Connell, J. W. (1975): Sex bias in graduate admissions: Data from Berkeley. Science, 187(4175), 398-404. ⏎
[4] Wikipedia (abgerufen 2026-05-06): Simpson's paradox – UC Berkeley gender bias. Online verfügbar ⏎
[5] Chaos Computer Club (2026): Verhaltensüberwachung. Online verfügbar ⏎
[6] Heise Online (2024): Evaluation von intelligenter Videoüberwachung in Mannheim. Online verfügbar ⏎
[7] Hamburg.de (2024): Sicherheit im ÖPNV. Online verfügbar ⏎
[8] taz (2023): KI-Überwachung im Nahverkehr. Online verfügbar ⏎
[9] Heise Online (2024): Kritik an KI-Funktion für die Ring-Kameras. Online verfügbar ⏎
[10] netzpolitik.org (2026): Anlasslose Massenüberwachung: Datenschutzbeauftragte kritisieren Chatkontrolle. Online verfügbar ⏎
[11] Telepolis (2023): KI-Fehler mit Folgen: Wenn Polizei blind auf Technik vertraut. Online verfügbar ⏎
[12] Perrigo, B. (2023): OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic. TIME. Online verfügbar ⏎
[13] Stokel-Walker, C. (2026): Scientists invented a fake disease. AI told people it was real. Nature. Online verfügbar ⏎
[14] Hicks, M.T., Humphries, J. & Slater, K. (2024): ChatGPT is bullshit. Ethics Inf Technol 26, 38. Online verfügbar ⏎
[15] Europäisches Parlament (2024): Artificial Intelligence Act (AI Act). Online verfügbar ⏎

Prof. Dr. Christian Drumm - FH Aachen