26gma228 10.3205/26gma228 urn:nbn:de:0183-26gma2281 Meeting Abstract Wiest Wiest Isabella Catharina IC

Medizinische Fakultät Dresden, Technische Universität Dresden, Else Kröner Fresenius Zentrum für Digitale Gesundheit, Dresden, Deutschland Deutsches Konsortium für Translationale Krebsforschung (DKTK), Partnerstandort Dresden und Deutsches Krebsforschungszentrum (DKFZ), Dresden, Deutschland

author Meißner Meißner Theresa Maria TM

Universitätsklinikum Dresden, Viszeral-, Thorax- und Gefäßchirurgie, Dresden, Deutschland

author Matthes Matthes Katja K

Universitätsklinikum Dresden, Medizinische Klinik I, Dresden, Deutschland

author Diek Diek Miriam Katharina MK

Medizinische Fakultät Dresden, Technische Universität Dresden, Else Kröner Fresenius Zentrum für Digitale Gesundheit, Dresden, Deutschland

author Kather Kather Jakob Nikolas JN

Medizinische Fakultät Dresden, Technische Universität Dresden, Else Kröner Fresenius Zentrum für Digitale Gesundheit, Dresden, Deutschland Universitätsklinikum Heidelberg, Medizinische Onkologie, Nationales Centrum für Tumorerkrankungen (NCT), Heidelberg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 228 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) SYM-14 Large Language Models in Lehr- und Prüfungsszenarien Dresden 20260917 20260919 SYM-1405 TextProblembeschreibung/Zielsetzung: Feedback ist zentral für kompetenzorientierte Bildung, jedoch zeigen Studien, dass Studierende unmittelbar nach OSCE-Prüfungen (Objective Structured Clinical Examinations) nur etwa 16% der Feedbackpunkte erinnern. Ursächlich sind physiologischer Stress und kognitiver Overload während der Prüfungssituation. Zudem stellt die Formulierung qualitativ hochwertigen kurzen Feedbacks für Prüfende eine erhebliche Herausforderung dar. Dieses Projekt untersucht, wie Large Language Models (LLMs) zur Verbesserung der Feedbackqualität und -nachhaltigkeit im OSCE beitragen können. Projektteil 1 evaluiert die Nützlichkeit, Akzeptanz und Retentionsfähigkeit eines LLM-basierten, asynchron bereitgestellten Feedbacks für Studierende. Projektteil 2 analysiert, wie Prüfende ein LLM-generiertes Meta-Feedback zur Reflexion ihrer eigenen Feedbackpraxis wahrnehmen.Projektbeschreibung/Evaluationsmethoden: In dieser monozentrischen, prospektiven Kohortenstudie wird das mündliche Prüferfeedback während einer OSCE Prüfung am Ende des 10. Fachsemesters audioaufgezeichnet, mittels LLM transkribiert und strukturiert zusammengefasst. Zur Evaluation der Feedbackretention wird diese 0, 4 und 6 Wochen nach der Prüfung abgefragt. Die Studierenden werden randomisiert in zwei Gruppen eingeteilt: Die Interventionsgruppe erhält im Anschluss an die erste Retentions-Abfrage ihr Feedback-Transkript.Studierende und Prüfende bewerten darüber hinaus ihre Feedbackwahrnehmung. Studierende evaluieren sowohl das mündliche Prüferfeedback als auch die LLM-generierten Zusammenfassungen. Prüfende erhalten während einer Schulung Meta-Feedback zu ihren Feedbackkompetenzen basierend auf LLM-Analysen ihrer Audioaufzeichnungen.Ergebnisse: Die Datenerhebung beginnt im Sommersemester 2026. Erste Ergebnisse werden zur GMA verfügbar sein.Diskussion: Die Integration von LLMs in OSCE-Feedbackprozesse bietet Potenzial zur zeitlichen Entkopplung von Prüfung und Feedback, wodurch kognitive Barrieren reduziert werden könnten. Das randomisierte Studiendesign ermöglicht erstmals die Untersuchung, ob schriftliche Feedbackzusammenfassungen die Langzeitretention optimieren. Während Studien zeigen, dass fast 80% der Medizinstudierenden bereits generative KI nutzen, präferieren sie in Prüfungen weiterhin menschliches Feedback. Ein hybrider Ansatz, also eine Kombination aus direktem Feedback und asynchroner LLM-Aufbereitung, könnte die Vorteile beider Ansätze vereinen. Für Prüfende könnte Meta-Feedback die Feedbackqualität systematisch verbessern. Die Studie liefert evidenzbasierte Erkenntnisse für den Einsatz von KI-Technologien in der medizinischen Ausbildung.Take-Home-Messages: LLM-basierte Feedbackaufbereitung ermöglicht zeitversetzte Rezeption und es wird untersucht, inwiefern das die Retention von Prüfungsfeedback verbessern kann. Die Kombination aus menschlichem und KI-gestütztem Feedback vereint persönliche Interaktion mit technologischer Effizienz. 0 0 0 0