25gma262 10.3205/25gma262 urn:nbn:de:0183-25gma2626 Meeting Abstract Darici Darici Dogus D

Universität Münster, Institut für Anatomie und Neurobiologie, Münster, Deutschland

author Vollprecht Vollprecht Jonathan J

Universität Heidelberg, Heidelberg, Deutschland

author Benker Benker Sina S

Universität Münster, Münster, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20250908 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0626 262 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) P-08 Assessment / Evaluation der Lehre Düsseldorf 20250908 20250910 P-08-12 TextFragestellung/Zielsetzung: Die Beurteilung der klinischen Entscheidungsfindung (Clinical Decision Making, CDM) von Medizinstudierenden ist ein zentraler Bestandteil der medizinischen Ausbildung ]. Sie ermöglicht die Identifizierung von Wissenslücken, ermöglicht gezieltes Feedback und stellt sicher, dass Absolvent*innen die erforderlichen beruflichen Kompetenzen erfüllen. Traditionelle Bewertungsmethoden studentischer CDM basieren auf der Fremdeinschätzung von menschlicher Ratern; diese sind jedoch besoders ressourcenintensiv und schwer skalierbar. Diese Studie untersuchte, ob Große Sprachmodelle (Large Language Models, LLMs) als automatisierte Bewerter der CDM-Fähigkeiten von Medizinstudierenden eingesetzt werden können.Methoden: Wir verglichen ChatGPT v3.5-generierte Bewertungen mit den Einschätzungen zweier menschlicher Expert*innen anhand von 21 Anamnesegesprächen von Medizinstudierenden. Als Bewertungsinstrument diente der Clinical Reasoning Indicator-Health Training Indicator (CRI-HTI) .Ergebnisse: Die Ergebnisse zeigten eine hohe Übereinstimmung zwischen menschlichen Bewertern und dem KI-System (ICC=.675-.782, mittlerer absoluter Fehler=0.343), wobei über 91% der Bewertungen maximal 0.5 Punkte voneinander abwichen. Die Analyse auf Einzelkriterienebene ergab moderate bis exzellente Zuverlässigkeit für alle acht CRI-HTI-Kriterien. Um geschlechtsspezifische Verzerrungen zu untersuchen, wurden dem LLM identische Gesprächsprotokolle mit unterschiedlichen Geschlechtsbezeichnungen (männlich, weiblich, neutral) vorgelegt. Es zeigten sich keine signifikanten Unterschiede zwischen den geschlechtsspezifischen Auswertungen (p>.05), was darauf hindeutet, dass das LLM unabhängig vom Geschlecht der bewerteten Person einheitliche Bewertungsstandards anwendete.Diskussion: Diese Ergebnisse legen nahe, dass LLMs als zuverlässige und unvoreingenommene Werkzeuge zur Unterstützung der CDM-Bewertung in der medizinischen Ausbildung dienen könnten. Sie bieten möglicherweise eine skalierbare Lösung, um Medizinstudierenden zeitnahes Feedback zu ihrer klinischen Entscheidungsfindung zu geben. Fürstenberg S Helm T Prediger S Kadmon M Berberat PO Harendza S Assessing clinical reasoning in undergraduate medical students during history taking with an empirically derived scale for clinical reasoning indicators 2020 BMC Med Educ 368 Fürstenberg S, Helm T, Prediger S, Kadmon M, Berberat PO, Harendza S. Assessing clinical reasoning in undergraduate medical students during history taking with an empirically derived scale for clinical reasoning indicators. BMC Med Educ. 2020;20(1):368. DOI: 10.1186/s12909-020-02260-9 http://dx.doi.org/10.1186/s12909-020-02260-9 Brügge E Ricchizzi S Arenbeck M Keller MN Schur L Stummer W Holling M Lu MH Darici D Large language models improve clinical decision making of medical students through patient simulation and structured feedback: A randomized controlled trial 2024 BMC Med Educ 1391 Brügge E, Ricchizzi S, Arenbeck M, Keller MN, Schur L, Stummer W, Holling M, Lu MH, Darici D. Large language models improve clinical decision making of medical students through patient simulation and structured feedback: A randomized controlled trial. BMC Med Educ. 2024;24:1391. DOI: 10.1186/s12909-024-06399-7 http://dx.doi.org/10.1186/s12909-024-06399-7 0 0 0 0