Text

Hintergrund/Fragestellung: Die Bewertung klinischer Entscheidungsfindungsfähigkeiten erfordert reliable und valide Prüfungsformate. Die österreichische Prüfung Arzt für Allgemeinmedizin nutzt 25 Fälle mit 2 -6 Unterfragen im offenen Kurzantwortformat (VSAQ). Deren manuelle Korrektur ist jedoch personalintensiv. Für die alternative Nutzung geschlossener Formate (MC-Typ PickN) wird befürchtet, dass reines Wiedererkennen richtiger Lösungen die klinische Realität unzureichend abbildet. Die Studie untersucht, ob PickN als psychometrisch äquivalenter Ersatz für VSAQ dienen kann.

Methoden: In einer Probeprüfung im Crossover-Design bearbeiteten N=54 Kandidat*innen unterschiedlicher Ausbildungsstufen (Studierende, Ärzt*innen in Ausbildung, fertige Ärzt*innen) 30 stammäquivalente Fälle (92 Fragen, 284 Punkte). Sechs Ankerfälle verlinkten die Gruppen psychometrisch. Die übrigen 24 Fälle wurden systematisch rotiert: Gruppe A bearbeitete 12 Fälle als VSAQ und 12 als PickN, Gruppe B umgekehrt. Distraktoren für PickN wurden KI-gestützt generiert und fachärztlich validiert (siehe Abbildung 1 [Abb. 1]).

Ergebnisse:

• Schwierigkeit: Probanden erzielten im Format PickN signifikant höhere Punktzahlen als bei VSAQs (p<.001).
• Äquivalenz: Es zeigte sich eine hochsignifikante Korrelation der inhaltlich geschichteten Formate, was die Konstrukt-Äquivalenz stützt (Gruppe A: r=.77**, α_PickN=.69, α_VSAQ=.67; Gruppe B: r=.82**, α_PickN=.87, α_VSAQ=.83). Nach Attenuierungskorrektur lag die wahre Korrelation bei 1.00 bzw. .96.
• Kompetenzgradient: Die Leistung korrespondierte in beiden Formaten mit dem Ausbildungsstand (letztes Ausbildungsjahr signifikant besser als Studierende, p=.03).
• Itemanalyse: Entscheidungsfragen (Diagnostik/Therapie) erwiesen sich als hochgradig austauschbar. Niedrigste Trennschärfe zeigten VSAQ-Anamnesefragen.
• Akzeptanz: 57% der Ärzt*innen kurz vor Ausbildungsende bevorzugten PickN (vs. 24% VSAQ).

Diskussion: Obwohl VSAQs subjektiv als realitätsnäher empfunden wurden, belegen die Daten eine Konstrukt-Äquivalenz bei stammäquivalenten Items [1]. Dies stützt die Annahme, dass die Validität primär vom Stimulus (Vignette) abhängt [2]. Die Sorge vor einer unerwünschten Lernsteuerung [3] ist in der postgradualen Weiterbildung unbegründet, da angehende Fachärzt*innen primär angewandtes Praxiswissen abrufen und nicht theoriebasiert für Prüfungen lernen. Prüfungsökonomisch amortisiert sich der erhöhte Fallerstellungsaufwand für PickN durch den Entfall der manuellen Korrektur. Automatisierte KI-Korrekturen für offene Fragen sind derzeit durch den EU AI Act (Einstufung als Hochrisiko-KI) noch limitiert.

Take-Home-Messages:

• PickN und VSAQ messen bei stammäquivalenten Fallvignetten dasselbe klinische Konstrukt.
• PickN-Fragen sind leichter, differenzieren aber bei entsprechender Itemkonstruktion ebenso reliabel und valide.
• Eine fallbasierte PickN-Prüfung oder eine Mischform bietet aktuell den besten Kompromiss aus Validität, psychometrischer Sicherheit, Ökonomie und rechtlicher Machbarkeit.

Literatur

[1] Rodriguez MC. Construct equivalence of multiple-choice and constructed-response items: a random effects synthesis of correlations. J Educ Meas. 2003;40(2):163-184. DOI: 10.1111/j.1745-3984.2003.tb01102.x
[2] van der Vleuten CP. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ Theory Pract. 1996;1(1):41-67. DOI: 10.1007/BF00596229
[3] van Wijk EV, Janse RJ, Ruijter BN, Rohling JH, van der Kraan J, Crobach S, de Jonge M, de Beaufort AJ, Dekker FW, Langers AM. Use of very short answer questions compared to multiple choice questions in undergraduate medical students: An external validation study. PLoS One. 2023;18(7):e0288558. DOI: 10.1371/journal.pone.0288558