Text

Fragestellung: In der Medizindidaktik kommen zunehmend KI-basierte Lehrprogramme und -methoden zum Einsatz. Die Validierung erfolgt in den meisten Fällen aber hauptsächlich bezüglich ihrer Usability [1].

Ziel dieser Studie ist daher die empirische Validierung des didaktischen Mehrwerts einer in eine VR-Lernumgebung integrierten, RAG-basierten virtuellen Tutorperson (vTp). Dabei wird der zusätzliche Effekt der vTp-Unterstützung auf den kurz- und mittelfristigen Wissenserwerb, das Kontextwissen sowie das Clinical Reasoning bei Medizinstudierenden in VR-Notfallszenarien im Vergleich zur Nutzung der Basis-VR-Anwendung mit einer deterministisch-statischen Endevaluation gemessen [2], [3].

Methoden: Es wurde eine prospektive, kontrollierte Interventionsstudie konzipiert (Interventionsgruppe: VR-Szenario mit vTp vs. Kontrollgruppe: Gleiches VR-Szenario mit deterministisch-statischer Evaluation). Zur Vermeidung einer methodisch konfundierenden Pre-Test-Sensitization (Priming) durch gezieltes Prompting der KI wird an T1 auf die Testung höherer kognitiver Level verzichtet. Stattdessen fungieren die Ergebnisse der korrespondierenden Fachklausur als Kovariate zur Kontrolle präexistenter Reasoning-Fähigkeiten. Die Evaluation erfolgt an drei Messzeitpunkten:

• T1 (Pre-Intervention): Erhebung des expliziten Szenariowissens der VR-Standardanwendung (Fakten aus dem statischen Evaluationsfeedback)
• T2 (Post-Intervention, unmittelbar): Re-Evaluation des Basiswissens; zusätzlich Überprüfung von assoziiertem Kontextwissen und Erfassung der klinischen Entscheidungskompetenz unter Unsicherheit mittels Script-Concordance-Tests (SCTs)
• T3 (Follow-up, 4 Wochen post-Intervention): Erneute Testung des vollständigen T2-Inventars zur Quantifizierung der Wissensretention

Ergebnisse: Die Datenerhebung evaluiert die adjustierten Mittelwertdifferenzen (ANCOVA) bezüglich Szenario- und Kontextwissen zwischen den Kohorten. Ein besonderes Augenmerk liegt auf den Gruppenunterschieden bei den SCTs an T2 sowie dem Abbaugradienten des Wissens an T3. Damit wird der spezifische Einfluss des elaborierten, kontextsensitiven Feedbacks durch die vTp auf tiefergehende kognitive Lernprozesse und die langfristige Verankerung isoliert (siehe Abbildung 1 [Abb. 1]).

Diskussion: KI-gestützte Lehre erfordert rigorose Wirksamkeitsnachweise. SCTs und Retentionsmessungen differenzieren präzise zwischen oberflächlichem Faktenabruf und tiefgreifendem Verständnis, was den Paradigmenwechsel zu adaptiven Feedback- und Lehrmethoden empirisch legitimieren kann.

Take-Home-Messages:

• Die Evaluation von KI-Tutorpersonen sollte Wissensretention und Clinical Reasoning adressieren, um den didaktischen Mehrwert zu belegen.
• Die kontrollierte Vermeidung von Priming-Effekten (Klausurergebnisse als Proxy-Metrik statt prä-interventioneller SCTs) sichert die interne Validität bei offenen LLM-Interventionen.
• Die Kombination aus Szenariowissen, Kontextwissen und Script-Concordance-Tests quantifiziert präzise die kognitiven Effekte durch LLM-gestütztes Feedback.

Literatur

[1] Feigerlova E, Hani H, Hothersall-Davies E. A systematic review of the impact of artificial intelligence on educational outcomes in health professions education. BMC Med Educ. 2025;25(1):129. DOI: 10.1186/s12909-025-06719-5
[2] Hudon A, Phan V, Charlin B, Wittmer R. Teaching Clinical Reasoning in Health Care Professions Learners Using AI-Generated Script Concordance Tests: Mixed Methods Formative Evaluation. JMIR Form Res. 2025;9:e76618. DOI: 10.2196/76618
[3] Tene T, Vique López DF, García Veloz MJ, Rojas Oviedo BS, Tene-Fernandez R. Artificial intelligence, extended reality, and emerging AI-XR integrations in medical education. Front Digit Health. 2026;7:1740557. DOI: 10.3389/fdgth.2025.1740557