Text

Hintergrund/Fragestellung: Large Language Models (LLM) ermöglichen die breite Implementierung KI-basierter virtueller Gesprächssimulationen in die med. Ausbildung. Zentrale Potenziale liegen im adaptiven Lernen [1] durch Wiederholbarkeit und individuelles Feedback. Ziel war es zu untersuchen, ob Leistungszufriedenheit im Training und KI-Feedback die Trainingshäufigkeit im virtuellen Setting beeinflussen und welche Aspekte des adaptiven Lernens dabei als lernerfolgsrelevant bewertet werden.

Methoden: Studierende des 1. Fachsemesters im Modellstudiengang Medizin der Uni Bielefeld erhielten im WiSe 2025/26 fakultativ und pseudonymisiert Zugang zu zwei LLM-basierten Trainingsszenarien auf der Lernplattform VirtualSP [2]. Jedes Training umfasste ein Gespräch mit einer virtuellen Simulationsperson (vSP) sowie ein KI-Feedback auf Basis des MAAS D 2.0 [3] (qualitativ sowie quantitativ mit 0-100% der Punkte). Die Trainingsanzahl war innerhalb eines 2-wöchigen Zeitraums unbegrenzt. Nach jedem Training wurde die Zufriedenheit mit der eigenen Gesprächsleistung erhoben (6-stufige Likert-Skala).

Die Zeit bis zur Trainingswiederaufnahme wurde szenariogetrennt mit einem Cox-Proportional-Hazards-Modell (recurrent-event Gap-Time) untersucht. Modelliert wurden Leistungszufriedenheit (Hazard ratio (HR) pro +1 Punkt) und KI-Bewertung (HR pro +10 Punkte); Unsicherheiten wurden mittels Cluster-Bootstrap geschätzt. Ergänzend erfolgte eine prä-post-Onlinebefragung zu Kompetenzselbsteinschätzung und Merkmalen adaptiven Lernens (5-stufige Likert-Skala).

Ergebnisse: Am Training in VirtualSP nahmen N=85 Studierende teil und absolvierten insgesamt 811 Trainings (M=7,7; SD=6; Median=6). Eine höhere Leistungszufriedenheit war mit geringerer Wahrscheinlichkeit eines erneuten Trainings assoziiert (Szenario 1: HR=0,89 pro +1 Punkt, p=0,037; Szenario 2: HR=0,81 pro +1 Punkt, p=0,005). Auch eine höhere KI-Bewertung war mit geringerer Wahrscheinlichkeit der Trainingswiederaufnahme verbunden (Szenario 1: HR=0,85 pro +10 Punkte, p=0,002; Szenario 2: HR=0,84 pro +10 Punkte, p=0,002). In der begleitenden Evaluation (n=23) zeigte sich kein signifikanter Zusammenhang zwischen initialer Kompetenzselbsteinschätzung und Trainingshäufigkeit. Als besonders lernerfolgsrelevant wurden zeitliche Unabhängigkeit (91,3%; M=4,7), Wiederholbarkeit (91,3%; M=4,6), Anonymität (82,6%; M=4,4), individuelles Training (78,3%; M=4,3) und Feedback (78,3%; M=4,13) bewertet.

Diskussion: Leistungszufriedenheit und KI-Feedback stehen im Zusammenhang mit der Trainingswiederholung in der virtuellen Simulation und können selbstregulierten Lernen unterstützen. Zentrale Merkmale adaptiven Lernens werden von Studierenden als lernförderlich wahrgenommen.

Take-Home-Messages:

• LLM-basierte Simulationen ermöglichen über Feedback adaptives, selbstreguliertes Training.
• Flexibilität, Wiederholbarkeit, Anonymität und Feedback werden als zentral für den Lernerfolg wahrgenommen.

References

[1] Kelly S, Smyth E, Murphy P, Pawlikowska T. A scoping review: virtual patients for communication skills in medical undergraduates. BMC Med Educ. 2022;22(1):429. DOI: 10.1186/s12909-022-03474-9
[2] Universität Bielefeld. VirtualSP - Kommunikationstrainings mit virtuellen Simulationspersonen. Bielefeld: Universität Bielefeld; 2025. Zugänglich unter/available from: https://bielefeld.virtualsp.de/
[3] Stamer T, Flägel K, Steinhäuser J. MAAS-D 2.0 Handbuch: Leitfaden zur Bewertung von ärztlichen Kommunikations- und klinischen Fertigkeiten. Deutsche Übersetzung. Lübeck: Universität zu Lübeck; 2022. Zugänglich unter/available from: https://www.uksh.de/uksh_media/Dateien_Kliniken_Institute/L%C3%BCbeck+Campuszentrum/Allgemeinmedizin_HL/Dokumente/MAAS+2_0+_+Handbuch-p-634876.pdf%20