26gma226 10.3205/26gma226 urn:nbn:de:0183-26gma2260 Meeting Abstract Laupichler Laupichler Matthias Carl MC

Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland

author Eigster Eigster Susanne S

Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland

author Ahmadi Ahmadi Seifollah S

Universität Bonn, Institut für Physiologie II, Bonn, Deutschland

author Grunwald Kadow Grunwald Kadow Ilona I

Universität Bonn, Institut für Physiologie II, Bonn, Deutschland

author Raupach Raupach Tobias T

Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland

author Rother Rother Johanna Flora JF

Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 226 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) SYM-14 Large Language Models in Lehr- und Prüfungsszenarien Dresden 20260917 20260919 SYM-1403 TextFragestellung: Künstliche Intelligenz (KI) ist aktuell in vielen Bereichen ein kontrovers diskutiertes und häufig untersuchtes Thema, wovon auch die medizinische Ausbildungsforschung nicht ausgenommen ist. Obwohl einige Personen den damit einhergehenden Veränderungen offen gegenüberstehen, wurde in der Vergangenheit oft eine Aversion gegenüber künstlicher Intelligenz festgestellt. Diese wird als Algorithm Aversion bezeichnet und beschreibt die Tendenz, menschliche Entscheidungen als vertrauenswürdiger als die eines KI-Systems einzuschätzen. Die vorgestellte Studie erforschte, ob dieser Bias auch bei Medizinstudierenden vorliegt und untersuchte die Einschätzungen von Medizinstudierenden gegenüber KI-generierter Multiple-Choice-Fragen. Diese subjektiven Faktoren wurden kontrastiert mit objektiven, psychometrischen Qualitätskriterien wie Itemschwierigkeit und Trennschärfe.Methoden: Medizinstudierenden der Universität Bonn im zweiten Studienjahr wurde die Teilnahme an einer formativen Neurophysiologie-Probeklausur als freiwillige Prüfungsvorbereitung angeboten. Die Übungsklausur enthielt 40 Fragen, von denen 20 mit dem Label „KI-generiert“ und 20 mit dem Label „durch eine medizinische Lehrperson erstellt“ versehen wurden. Tatsächlich waren diese Labels jedoch bei der Hälfte der Fragen nicht korrekt, so dass jeder Label-Block in Wahrheit 10 KI-generierte und 10-menschgemachte Fragen enthielt. Die Studierenden sollten anschließend für jede Frage bewerten, inwiefern diese relevant für die Prüfung schien und wie gut diese formuliert seien.Ergebnisse: Hinsichtlich der wahrgenommenen Relevanz zeigte sich kein signifikanter Unterschied zwischen den unterschiedlich gelabelten Items. Die als KI-generiert gelabelten Items wurden von den Studierenden jedoch als schlechter formuliert eingeschätzt (p=.012, partial η²=.417), wobei die eigentliche Quelle des Items keine Rolle spielte. Die allgemeine Bewertung beider Fragentypen war jedoch sehr gut. Die psychometrischen Gütekriterien zeigten, dass die KI-generierten Items signifikant leichter waren (p<.001, partial η²=.696), sich aber kein signifikanter Unterschied in der Trennschärfe zeigte.Diskussion: Insgesamt zeichnen unsere Ergebnisse kein klares Bild hinsichtlich einer möglichen Algorithm Aversion gegenüber KI-generierten MC-Fragen. Obwohl die Bewertung der Formulierung der vermeintlich KI-generierten Items signifikant schlechter war als die der vermeintlich menschgemachten Items, fielen die Bewertungen trotzdem sehr positiv aus und sprechen eher für einen positiven Eindruck. Diese These stützen auch die Befunde hinsichtlich der ähnlich wahrgenommenen Relevanz für die Prüfungsvorbereitung.Take-Home-Messages: Sowohl KI-generierte als auch menschgemachte Fragen erhielten sehr gute Bewertungen.Vermeintlich KI-generierte Items wurden als schlechter formuliert wahrgenommen.Tatsächlich KI-generierte Items waren leichter, es zeigte sich jedoch kein signifikanter Unterschied in der Trennschärfe 0 0 0 0