Text

Hintergrund/Fragestellung: Multiple-Choice-Prüfungsfragen (MCQs) sind in der radioonkologischen Aus- und Weiterbildung weiterhin das häufigste und wichtigste Erhebungsinstrument. Die Erstellung und Aktualisierung der Items binden erhebliche personelle Ressourcen. Large-Language-Models (LLMs) wie ChatGPT könnten Fragensammlungen skalierbar machen. Ziel dieser Studie war der Vergleich menschengemachter mit LLM generierten MCQs sowie die Detektierbarkeit der Item-Herkunft durch Studierende und Ärzt*innen.

Methoden: Präregistrierte, verblindete Single-Center-Studie. Medizinstudierende (n=82) und Ärztinnen/Ärzte (n=46; davon 33% Radioonkologie) bearbeiteten 48 deutschsprachige Single-best-answer MCQs: 24 von Expert*innen verfasst und 24 thematisch gepaarte GPT-Fragen aus Radioonkologie, Radiologie und Nuklearmedizin. Die Teilnehmenden sollten nach jeder MCQ einschätzen, ob die Frage von einem LLM oder einem Menschen erstellt wurde. Die KI-Fragen wurden vorab im Human-in-the-loop-Workflow geprüft (Richtigkeit, Eindeutigkeit, plausible Antwortoptionen).

Ergebnisse: Es existierte kein signifikanter Unterschied zwischen LLM-generierten und menschengemachten MCQs in Bezug auf Itemschwierigkeit (0,65±0,22 vs. 0,67±0,20; p=,658) oder Trennschärfe (Diskrimination zwischen starken und schwächeren Prüflingen, 0,27±0,12 vs. 0,29±0,12; p=,673). Auch der Vergleich der Studierenden- und Ärzt*innen-Subgruppen ergab keine signifikanten Unterschiede. Die Herkunft der MCQs wurde nur in 49% der Fälle richtig erkannt, was keinen signifikanten Unterschied zum Zufallserwartungswert von 50% darstellte (Trefferquote 0,49±0,12; p=,435).

Diskussion: Die Ergebnisse deuten darauf hin, dass generative KI unter Expert*innen-Review die Entwicklung von Prüfungsfragen in bildgebungsorientierten Fächern effizient unterstützen kann. Unter prüfungsnahen Bedingungen zeigten KI-generierte Items hinsichtlich Schwierigkeit und Trennschärfe eine vergleichbare Performance zu konventionell erstellten Fragen; zudem war der Ursprung der Items für Teilnehmende nicht besser als zufällig erkennbar. Die geringe Übereinstimmung der Expert*innenbewertungen spricht jedoch für die Notwendigkeit klarer Governance- und Qualitätsstandards (z.B. standardisierte Review-Rubriken, Transparenzanforderungen, Bias-/Fairness-Prüfung), um Validität und Fairness beim Einsatz generativer KI zu sichern.

Take-Home-Messages: Ein LLM kann die Generierung radioonkologisch relevanter MCQs insbesondere für formative Settings und Übungsklausuren mit bildgebungsbezogenem, interdisziplinärem Fokus assistieren. Für eine Anwendung in summativen Prüfungen sind multizentrische Validierung, definierte Freigabeprozesse und kontinuierliches Qualitätsmonitoring erforderlich.