Jahrestagung der Gesellschaft für Medizinische Ausbildung
VirTuAI: Entwicklung einer Open-Source-KI Tutorperson für notfallmedizinische Lernszenarien
2Julius-Maximilians-Universität Würzburg, Informatik XII/Lehrstuhl für Natural Language Processing, Würzburg, Deutschland
3Universitätsklinikum Würzburg, Institut für medizinische Lehre und Ausbildungsforschung (IMLA), Würzburg, Deutschland
Text
Fragestellung und Zielsetzung: Große Sprachmodelle (Large Language Models, LLMs) haben beeindruckende Ergebnisse bei der Beantwortung medizinischer Fragen zu Fachthemen erzielt [1], [2]. Die Interaktion mit diesen Modellen kann Lernende unterstützen und ermöglicht eine individualisierte Lehre [3].
Diese Ergebnisse sind jedoch alle mit kommerziellen Hochleistungsmodellen und unter Einbezug urheberrechtlich geschützter Fachinformationen erzielt worden. Sogenannte Halluzinationen, also falsche Antworten der Modelle, stellen eine weitere Herausforderung dar.
Das Ziel dieser Arbeit ist zu untersuchen, inwieweit mit frei verfügbaren Ressourcen und geringem Mittelaufwand eine virtuelle Tutorperson (vTp) erstellt werden kann, die verlässlich und nutzbringend Fragen fortgeschrittener Medizinstudierender beantwortet.
Methoden: Zur Entwicklung eines didaktischen Konzepts für die vTp wurden die bisherigen Interaktionen der Studierenden mit der bestehenden Notfallaufnahme-Simulation STEP.VR analysiert und unter Einbezug der Studierenden ein idealtypisches didaktisches Vorgehen definiert. Die technische Umsetzung erfolgte unter Nutzung von Retrieval-Augmented-Generation zur kontextbasierten Antwortgenerierung (siehe Abbildung 1 [Fig. 1]).
Abbildung 1: Vereinfachte Darstellung des Datenflusses für die vTp
Als Datenbasis wurden frei verfügbare deutschsprachige Fachquellen genutzt und mit den urheberrechtlich geschützten Inhalten eines medizinischen Fachverlages verglichen. Ein modellunabhängiges Framework ermöglichte die Integration verschiedener Sprachmodelle und Datenquellen.
Die in den unterschiedlichen Modellen generierten Antworten haben wir bezüglich Korrektheit, Detailtiefe und kontextueller Passung verglichen.
Ergebnisse: Für das Sommersemester 2025 ist der Einsatz einer auf der optimalen Kombination aus Modell und Datenbasis basierenden vTp zur Unterstützung von Studierenden in VR-Notfallszenarien geplant. In diesem Kontext wird eine fragebogenbasierte Evaluation hinsichtlich des Effektes auf Immersionserleben, Präsenzgefühl und Motivationsgewinn erfolgen.
Diskussion: Wertvolle, individualisierte Lerninteraktionen sollten didaktisch im Mittelpunkt stehen. Dabei ist es entscheidend zu untersuchen, inwiefern öffentliche Bildungseinrichtungen mit frei zugänglichen Ressourcen vergleichbare Ergebnisse wie Unternehmen erzielen können, insbesondere vor dem Hintergrund der fortschreitenden Konzentration von Wissen und Technologie.
Take-Home Messages:
- Sprachmodelle bieten großes Potenzial für die medizinische Lehre, sind aber Limitationen unterworfen (Halluzinationen, Datenschutz, Kommerzialisierung).
- An der Erstellung einer LLM-basierten virtuellen Tutorperson für Notfallszenarien kann exemplarisch die Verwendung von Open-Source-Modellen und frei verfügbaren Daten nachvollzogen werden.
- Aufbauend auf unseren Erfahrungen können auch andere Fachrichtungen und Universitäten virtuelle Tutorpersonen etablieren und in der Lehre einsetzen.
References
[1] Ramnani S, Bhalla M, Bassi R. A Comparative Study of ChatGPT and BingAI in Answering the National Eligibility Entrance Test for Postgraduates (NEET-PG)-Style Practice Questions: A Cross-Sectional Analysis. Cureus. 2024;16(12):e76108. DOI: 10.7759/cureus.76108[2] Penny P, Bane R, Riddle V. Advancements in AI Medical Education: Assessing ChatGPT’s Performance on USMLE-Style Questions Across Topics and Difficulty Levels. Cureus. 2024;16(12):e76309. DOI: 10.7759/cureus.76309
[3] Ghorashi N, Ismail A, Ghosh P, Sidawy A, Javan R. AI-Powered Chatbots in Medical Education: Potential Applications and Implications. Cureus. 2023;15(8):e43271. DOI: 10.7759/cureus.43271
