25gma175 10.3205/25gma175 urn:nbn:de:0183-25gma1757 Meeting Abstract Zamzow Zamzow Alexander A

Universitätsklinikum Würzburg, Zentrum für Studiengangsmanagement und -entwicklung (ZSME), Würzburg, Deutschland

author Keller Keller Lennart L

Julius-Maximilians-Universität Würzburg, Informatik XII/Lehrstuhl für Natural Language Processing, Würzburg, Deutschland

author Glavaš Glavaš Goran G

Julius-Maximilians-Universität Würzburg, Informatik XII/Lehrstuhl für Natural Language Processing, Würzburg, Deutschland

author König König Sarah S

Universitätsklinikum Würzburg, Institut für medizinische Lehre und Ausbildungsforschung (IMLA), Würzburg, Deutschland

author Mühling Mühling Tobias T

Universitätsklinikum Würzburg, Zentrum für Studiengangsmanagement und -entwicklung (ZSME), Würzburg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20250908 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0626 175 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-23 Notfallmedizin / Praktische Fertigkeiten Düsseldorf 20250908 20250910 V-23-07 TextFragestellung und Zielsetzung: Große Sprachmodelle (Large Language Models, LLMs) haben beeindruckende Ergebnisse bei der Beantwortung medizinischer Fragen zu Fachthemen erzielt , . Die Interaktion mit diesen Modellen kann Lernende unterstützen und ermöglicht eine individualisierte Lehre .Diese Ergebnisse sind jedoch alle mit kommerziellen Hochleistungsmodellen und unter Einbezug urheberrechtlich geschützter Fachinformationen erzielt worden. Sogenannte Halluzinationen, also falsche Antworten der Modelle, stellen eine weitere Herausforderung dar.Das Ziel dieser Arbeit ist zu untersuchen, inwieweit mit frei verfügbaren Ressourcen und geringem Mittelaufwand eine virtuelle Tutorperson (vTp) erstellt werden kann, die verlässlich und nutzbringend Fragen fortgeschrittener Medizinstudierender beantwortet.Methoden: Zur Entwicklung eines didaktischen Konzepts für die vTp wurden die bisherigen Interaktionen der Studierenden mit der bestehenden Notfallaufnahme-Simulation STEP.VR analysiert und unter Einbezug der Studierenden ein idealtypisches didaktisches Vorgehen definiert. Die technische Umsetzung erfolgte unter Nutzung von Retrieval-Augmented-Generation zur kontextbasierten Antwortgenerierung (siehe Abbildung 1 ).Als Datenbasis wurden frei verfügbare deutschsprachige Fachquellen genutzt und mit den urheberrechtlich geschützten Inhalten eines medizinischen Fachverlages verglichen. Ein modellunabhängiges Framework ermöglichte die Integration verschiedener Sprachmodelle und Datenquellen.Die in den unterschiedlichen Modellen generierten Antworten haben wir bezüglich Korrektheit, Detailtiefe und kontextueller Passung verglichen.Ergebnisse: Für das Sommersemester 2025 ist der Einsatz einer auf der optimalen Kombination aus Modell und Datenbasis basierenden vTp zur Unterstützung von Studierenden in VR-Notfallszenarien geplant. In diesem Kontext wird eine fragebogenbasierte Evaluation hinsichtlich des Effektes auf Immersionserleben, Präsenzgefühl und Motivationsgewinn erfolgen.Diskussion: Wertvolle, individualisierte Lerninteraktionen sollten didaktisch im Mittelpunkt stehen. Dabei ist es entscheidend zu untersuchen, inwiefern öffentliche Bildungseinrichtungen mit frei zugänglichen Ressourcen vergleichbare Ergebnisse wie Unternehmen erzielen können, insbesondere vor dem Hintergrund der fortschreitenden Konzentration von Wissen und Technologie.Take-Home Messages: Sprachmodelle bieten großes Potenzial für die medizinische Lehre, sind aber Limitationen unterworfen (Halluzinationen, Datenschutz, Kommerzialisierung).An der Erstellung einer LLM-basierten virtuellen Tutorperson für Notfallszenarien kann exemplarisch die Verwendung von Open-Source-Modellen und frei verfügbaren Daten nachvollzogen werden.Aufbauend auf unseren Erfahrungen können auch andere Fachrichtungen und Universitäten virtuelle Tutorpersonen etablieren und in der Lehre einsetzen. Ramnani S Bhalla M Bassi R A Comparative Study of ChatGPT and BingAI in Answering the National Eligibility Entrance Test for Postgraduates (NEET-PG)-Style Practice Questions: A Cross-Sectional Analysis 2024 Cureus e76108 Ramnani S, Bhalla M, Bassi R. A Comparative Study of ChatGPT and BingAI in Answering the National Eligibility Entrance Test for Postgraduates (NEET-PG)-Style Practice Questions: A Cross-Sectional Analysis. Cureus. 2024;16(12):e76108. DOI: 10.7759/cureus.76108 http://dx.doi.org/10.7759/cureus.76108 Penny P Bane R Riddle V Advancements in AI Medical Education: Assessing ChatGPT’s Performance on USMLE-Style Questions Across Topics and Difficulty Levels 2024 Cureus e76309 Penny P, Bane R, Riddle V. Advancements in AI Medical Education: Assessing ChatGPT’s Performance on USMLE-Style Questions Across Topics and Difficulty Levels. Cureus. 2024;16(12):e76309. DOI: 10.7759/cureus.76309 http://dx.doi.org/10.7759/cureus.76309 Ghorashi N Ismail A Ghosh P Sidawy A Javan R AI-Powered Chatbots in Medical Education: Potential Applications and Implications 2023 Cureus e43271 Ghorashi N, Ismail A, Ghosh P, Sidawy A, Javan R. AI-Powered Chatbots in Medical Education: Potential Applications and Implications. Cureus. 2023;15(8):e43271. DOI: 10.7759/cureus.43271 http://dx.doi.org/10.7759/cureus.43271 0

1 1 Abbildung 1: Vereinfachte Darstellung des Datenflusses für die vTp

1 0 0