Entwicklung eines LLM-basierten Assistenten für SAP S/4HANA

Abstract

Diese Bachelorarbeit befasst sich mit der Entwicklung und Evaluierung eines Chatbots zur Unterstützung von Studierenden im Umgang mit dem ERP-System SAP S/4HANA. Grundlage des entwickelten Systems bildet der Einsatz von Retrieval-Augmented Generation (RAG), einem innovativen Verfahren, dass Large Language Models (LLM) mit externen Wissensquellen kombiniert, um fundierte und kontextbezogene Antworten zu generieren. Ziel der Arbeit war es zu untersuchen, ob ein solcher Chatbot als digitale Lernhilfe im Hochschulkontext dienen kann.

Im Rahmen der technischen Umsetzung wurde ein Plugin realisiert, das auf relevante Inhalte aus Vorlesungsskripten, Praxisfälle und Foreneinträgen zurückgreift, um Studierenden bei der Bearbeitung typischer Aufgabenstellungen aus dem Modul „Business Information Systems“ an der FH Aachen zu unterstützen. Die Wirksamkeit des Systems wurde in zwei Evaluationsrunden mit Studierenden ohne oder mit geringen SAP-Vorkenntnisse getestet. Dabei wurden Verständlichkeit, fachliche Korrektheit, Nützlichkeit und Benutzerfreundlichkeit des Chatbots analysiert.

Die Ergebnisse zeigen, dass die erste Version des Chatbots mehrere Schwächen aufwies, insbesondere hinsichtlich der Verständlichkeit der Antworten und ihrer fachlichen Präzision. Nach einer technischen und inhaltlichen Überarbeitung konnten diese Mängel in einer zweiten Evaluationsrunde deutlich reduziert werden, wodurch insbesondere die Verständlichkeit, Nützlichkeit und Nutzerzufriedenheit gesteigert wurden. Dabei zeigte sich, dass der Chatbot bei konkreten Aufgabenstellungen und der schnellen Orientierung im SAP-System Studierende wirksam unterstützt. Dennoch offenbarten beide Evaluationsrunden, dass eine tiefergehende Förderung des Prozessverständnisses bisher begrenzt bleibt. Zukünftige Entwicklungen sollten daher auf eine stärkere Personalisierung sowie eine didaktisch gezieltere, interaktive Gestaltung abzielen, um reflektierendes Lernen und nachhaltiges Systemverständnis zu fördern.