26gma225 10.3205/26gma225 urn:nbn:de:0183-26gma2257 Meeting Abstract Linde Linde Philipp P

University Hospital of Cologne, Faculty of Medicine, Department of Radiation Oncology, Cyberknife and Radiation Therapy, Köln, Deutschland

author Fichter Fichter Florian F

University Hospital of Cologne, Faculty of Medicine, Institute for Diagnostic and Interventional Radiology, Köln, Deutschland

author Dietlein Dietlein Markus M

University Hospital of Cologne, Faculty of Medicine, Department of Nuclear Medicine, Köln, Deutschland

author Sudbrock Sudbrock Ferdinand F

University Hospital of Cologne, Faculty of Medicine, Department of Nuclear Medicine, Köln, Deutschland

author Afshar Afshar Kambiz K

Hannover Medical School, Institute for General Practice and Palliative Care, Hannover, Deutschland

author Dapper Dapper Hendrik H

University Hospital of Cologne, Faculty of Medicine, Department of Radiation Oncology, Cyberknife and Radiation Therapy, Köln, Deutschland

author Fokas Fokas Emmanouil E

University Hospital of Cologne, Faculty of Medicine, Department of Radiation Oncology, Cyberknife and Radiation Therapy, Köln, Deutschland

author Hillebrecht Hillebrecht Anna-Lena AL

Department of Prosthetic Dentistry, Centre for Dental Medicine, Medical Centre, University of Freiburg, Deutschland

author Raupach Raupach Tobias T

University Hospital Bonn, Institute of Medical Education, Bonn, Deutschland

author Laupichler Laupichler Matthias Carl MC

University Hospital Bonn, Institute of Medical Education, Bonn, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 225 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) SYM-14 Large Language Models in Lehr- und Prüfungsszenarien Dresden 20260917 20260919 SYM-1402 TextHintergrund/Fragestellung: Multiple-Choice-Prüfungsfragen (MCQs) sind in der radioonkologischen Aus- und Weiterbildung weiterhin das häufigste und wichtigste Erhebungsinstrument. Die Erstellung und Aktualisierung der Items binden erhebliche personelle Ressourcen. Large-Language-Models (LLMs) wie ChatGPT könnten Fragensammlungen skalierbar machen. Ziel dieser Studie war der Vergleich menschengemachter mit LLM generierten MCQs sowie die Detektierbarkeit der Item-Herkunft durch Studierende und Ärzt*innen.Methoden: Präregistrierte, verblindete Single-Center-Studie. Medizinstudierende (n=82) und Ärztinnen/Ärzte (n=46; davon 33% Radioonkologie) bearbeiteten 48 deutschsprachige Single-best-answer MCQs: 24 von Expert*innen verfasst und 24 thematisch gepaarte GPT-Fragen aus Radioonkologie, Radiologie und Nuklearmedizin. Die Teilnehmenden sollten nach jeder MCQ einschätzen, ob die Frage von einem LLM oder einem Menschen erstellt wurde. Die KI-Fragen wurden vorab im Human-in-the-loop-Workflow geprüft (Richtigkeit, Eindeutigkeit, plausible Antwortoptionen).Ergebnisse: Es existierte kein signifikanter Unterschied zwischen LLM-generierten und menschengemachten MCQs in Bezug auf Itemschwierigkeit (0,65±0,22 vs. 0,67±0,20; p=,658) oder Trennschärfe (Diskrimination zwischen starken und schwächeren Prüflingen, 0,27±0,12 vs. 0,29±0,12; p=,673). Auch der Vergleich der Studierenden- und Ärzt*innen-Subgruppen ergab keine signifikanten Unterschiede. Die Herkunft der MCQs wurde nur in 49% der Fälle richtig erkannt, was keinen signifikanten Unterschied zum Zufallserwartungswert von 50% darstellte (Trefferquote 0,49±0,12; p=,435).Diskussion: Die Ergebnisse deuten darauf hin, dass generative KI unter Expert*innen-Review die Entwicklung von Prüfungsfragen in bildgebungsorientierten Fächern effizient unterstützen kann. Unter prüfungsnahen Bedingungen zeigten KI-generierte Items hinsichtlich Schwierigkeit und Trennschärfe eine vergleichbare Performance zu konventionell erstellten Fragen; zudem war der Ursprung der Items für Teilnehmende nicht besser als zufällig erkennbar. Die geringe Übereinstimmung der Expert*innenbewertungen spricht jedoch für die Notwendigkeit klarer Governance- und Qualitätsstandards (z.B. standardisierte Review-Rubriken, Transparenzanforderungen, Bias-/Fairness-Prüfung), um Validität und Fairness beim Einsatz generativer KI zu sichern.Take-Home-Messages: Ein LLM kann die Generierung radioonkologisch relevanter MCQs insbesondere für formative Settings und Übungsklausuren mit bildgebungsbezogenem, interdisziplinärem Fokus assistieren. Für eine Anwendung in summativen Prüfungen sind multizentrische Validierung, definierte Freigabeprozesse und kontinuierliches Qualitätsmonitoring erforderlich. 0 0 0 0