Text

Fragestellung: Künstliche Intelligenz (KI) ist aktuell in vielen Bereichen ein kontrovers diskutiertes und häufig untersuchtes Thema, wovon auch die medizinische Ausbildungsforschung nicht ausgenommen ist. Obwohl einige Personen den damit einhergehenden Veränderungen offen gegenüberstehen, wurde in der Vergangenheit oft eine Aversion gegenüber künstlicher Intelligenz festgestellt. Diese wird als Algorithm Aversion bezeichnet und beschreibt die Tendenz, menschliche Entscheidungen als vertrauenswürdiger als die eines KI-Systems einzuschätzen. Die vorgestellte Studie erforschte, ob dieser Bias auch bei Medizinstudierenden vorliegt und untersuchte die Einschätzungen von Medizinstudierenden gegenüber KI-generierter Multiple-Choice-Fragen. Diese subjektiven Faktoren wurden kontrastiert mit objektiven, psychometrischen Qualitätskriterien wie Itemschwierigkeit und Trennschärfe.

Methoden: Medizinstudierenden der Universität Bonn im zweiten Studienjahr wurde die Teilnahme an einer formativen Neurophysiologie-Probeklausur als freiwillige Prüfungsvorbereitung angeboten. Die Übungsklausur enthielt 40 Fragen, von denen 20 mit dem Label „KI-generiert“ und 20 mit dem Label „durch eine medizinische Lehrperson erstellt“ versehen wurden. Tatsächlich waren diese Labels jedoch bei der Hälfte der Fragen nicht korrekt, so dass jeder Label-Block in Wahrheit 10 KI-generierte und 10-menschgemachte Fragen enthielt. Die Studierenden sollten anschließend für jede Frage bewerten, inwiefern diese relevant für die Prüfung schien und wie gut diese formuliert seien.

Ergebnisse: Hinsichtlich der wahrgenommenen Relevanz zeigte sich kein signifikanter Unterschied zwischen den unterschiedlich gelabelten Items. Die als KI-generiert gelabelten Items wurden von den Studierenden jedoch als schlechter formuliert eingeschätzt (p=.012, partial η²=.417), wobei die eigentliche Quelle des Items keine Rolle spielte. Die allgemeine Bewertung beider Fragentypen war jedoch sehr gut. Die psychometrischen Gütekriterien zeigten, dass die KI-generierten Items signifikant leichter waren (p<.001, partial η²=.696), sich aber kein signifikanter Unterschied in der Trennschärfe zeigte.

Diskussion: Insgesamt zeichnen unsere Ergebnisse kein klares Bild hinsichtlich einer möglichen Algorithm Aversion gegenüber KI-generierten MC-Fragen. Obwohl die Bewertung der Formulierung der vermeintlich KI-generierten Items signifikant schlechter war als die der vermeintlich menschgemachten Items, fielen die Bewertungen trotzdem sehr positiv aus und sprechen eher für einen positiven Eindruck. Diese These stützen auch die Befunde hinsichtlich der ähnlich wahrgenommenen Relevanz für die Prüfungsvorbereitung.

Take-Home-Messages:

• Sowohl KI-generierte als auch menschgemachte Fragen erhielten sehr gute Bewertungen.
• Vermeintlich KI-generierte Items wurden als schlechter formuliert wahrgenommen.
• Tatsächlich KI-generierte Items waren leichter, es zeigte sich jedoch kein signifikanter Unterschied in der Trennschärfe