26gma02310.3205/26gma023urn:nbn:de:0183-26gma0232Meeting AbstractVirTuAI: Evaluation des didaktischen Effektes einer Open-Source-KI-Tutorperson in notfallmedizinischen VR-SzenarienZamzowZamzowAlexanderAUniversitätsklinikum Würzburg, Zentrum für Studiengangsmanagement und -entwicklung (ZSME), Würzburg, DeutschlandauthorKellerKellerLennartLJulius-Maximilians-Universität Würzburg, Informatik XII/Lehrstuhl für Natural Language Processing, Würzburg, DeutschlandauthorGlavasGlavasGoranGJulius-Maximilians-Universität Würzburg, Informatik XII/Lehrstuhl für Natural Language Processing, Würzburg, DeutschlandauthorKönigKönigSarahSUniversitätsklinikum Würzburg, Institut für medizinische Lehre und Ausbildungsforschung (IMLA), Würzburg, DeutschlandauthorMühlingMühlingTobiasTUniversitätsklinikum Würzburg, Zentrum für Studiengangsmanagement und -entwicklung (ZSME), Würzburg, DeutschlandauthorGerman Medical Science GMS Publishing House
Düsseldorf
61020260904germThis is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).M0655023Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)V-04 KI – Virtual Reality & Immersives LernenDresden2026091720260919V-0405TextFragestellung: In der Medizindidaktik kommen zunehmend KI-basierte Lehrprogramme und -methoden zum Einsatz. Die Validierung erfolgt in den meisten Fällen aber hauptsächlich bezüglich ihrer Usability .Ziel dieser Studie ist daher die empirische Validierung des didaktischen Mehrwerts einer in eine VR-Lernumgebung integrierten, RAG-basierten virtuellen Tutorperson (vTp). Dabei wird der zusätzliche Effekt der vTp-Unterstützung auf den kurz- und mittelfristigen Wissenserwerb, das Kontextwissen sowie das Clinical Reasoning bei Medizinstudierenden in VR-Notfallszenarien im Vergleich zur Nutzung der Basis-VR-Anwendung mit einer deterministisch-statischen Endevaluation gemessen , .Methoden: Es wurde eine prospektive, kontrollierte Interventionsstudie konzipiert (Interventionsgruppe: VR-Szenario mit vTp vs. Kontrollgruppe: Gleiches VR-Szenario mit deterministisch-statischer Evaluation). Zur Vermeidung einer methodisch konfundierenden Pre-Test-Sensitization (Priming) durch gezieltes Prompting der KI wird an T1 auf die Testung höherer kognitiver Level verzichtet. Stattdessen fungieren die Ergebnisse der korrespondierenden Fachklausur als Kovariate zur Kontrolle präexistenter Reasoning-Fähigkeiten. Die Evaluation erfolgt an drei Messzeitpunkten:T1 (Pre-Intervention): Erhebung des expliziten Szenariowissens der VR-Standardanwendung (Fakten aus dem statischen Evaluationsfeedback)T2 (Post-Intervention, unmittelbar): Re-Evaluation des Basiswissens; zusätzlich Überprüfung von assoziiertem Kontextwissen und Erfassung der klinischen Entscheidungskompetenz unter Unsicherheit mittels Script-Concordance-Tests (SCTs)T3 (Follow-up, 4 Wochen post-Intervention): Erneute Testung des vollständigen T2-Inventars zur Quantifizierung der WissensretentionErgebnisse: Die Datenerhebung evaluiert die adjustierten Mittelwertdifferenzen (ANCOVA) bezüglich Szenario- und Kontextwissen zwischen den Kohorten. Ein besonderes Augenmerk liegt auf den Gruppenunterschieden bei den SCTs an T2 sowie dem Abbaugradienten des Wissens an T3. Damit wird der spezifische Einfluss des elaborierten, kontextsensitiven Feedbacks durch die vTp auf tiefergehende kognitive Lernprozesse und die langfristige Verankerung isoliert (siehe Abbildung 1 ).Diskussion: KI-gestützte Lehre erfordert rigorose Wirksamkeitsnachweise. SCTs und Retentionsmessungen differenzieren präzise zwischen oberflächlichem Faktenabruf und tiefgreifendem Verständnis, was den Paradigmenwechsel zu adaptiven Feedback- und Lehrmethoden empirisch legitimieren kann.Take-Home-Messages: Die Evaluation von KI-Tutorpersonen sollte Wissensretention und Clinical Reasoning adressieren, um den didaktischen Mehrwert zu belegen.Die kontrollierte Vermeidung von Priming-Effekten (Klausurergebnisse als Proxy-Metrik statt prä-interventioneller SCTs) sichert die interne Validität bei offenen LLM-Interventionen.Die Kombination aus Szenariowissen, Kontextwissen und Script-Concordance-Tests quantifiziert präzise die kognitiven Effekte durch LLM-gestütztes Feedback.Feigerlova EHani HHothersall-Davies EA systematic review of the impact of artificial intelligence on educational outcomes in health professions education2025BMC Med Educ129Feigerlova E, Hani H, Hothersall-Davies E. A systematic review of the impact of artificial intelligence on educational outcomes in health professions education. BMC Med Educ. 2025;25(1):129. DOI: 10.1186/s12909-025-06719-5http://dx.doi.org/10.1186/s12909-025-06719-5Hudon APhan VCharlin BWittmer RTeaching Clinical Reasoning in Health Care Professions Learners Using AI-Generated Script Concordance Tests: Mixed Methods Formative Evaluation2025JMIR Form Rese76618Hudon A, Phan V, Charlin B, Wittmer R. Teaching Clinical Reasoning in Health Care Professions Learners Using AI-Generated Script Concordance Tests: Mixed Methods Formative Evaluation. JMIR Form Res. 2025;9:e76618. DOI: 10.2196/76618http://dx.doi.org/10.2196/76618Tene TVique López DFGarcía Veloz MJRojas Oviedo BSTene-Fernandez RArtificial intelligence, extended reality, and emerging AI-XR integrations in medical education2026Front Digit Health1740557Tene T, Vique López DF, García Veloz MJ, Rojas Oviedo BS, Tene-Fernandez R. Artificial intelligence, extended reality, and emerging AI-XR integrations in medical education. Front Digit Health. 2026;7:1740557. DOI: 10.3389/fdgth.2025.1740557http://dx.doi.org/10.3389/fdgth.2025.1740557011
Abbildung 1: Studiendesign: Flowchart des Studienablaufs