26gma017 10.3205/26gma017 urn:nbn:de:0183-26gma0176 Meeting Abstract Schmidts Schmidts Michael M

Karl Landsteiner Privatuniversität, Stabsstelle Lehre, Krems, Österreich

author Fischer Fischer Martin R. MR

LMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

author Rebhandl Rebhandl Erwin E

JKU Linz, Medizinische Fakultät, Institut für Allgemeinmedizin, Linz, Österreich

author Zehetner Zehetner Anna A

Österreichische Akademie der Ärzte GmbH, Österreich

author Berndt Berndt Markus M

LMU Klinikum, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 017 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-03 Gestaltung & Prüfen – Assessments & Fairness Dresden 20260917 20260919 V-0305 TextHintergrund/Fragestellung: Die Bewertung klinischer Entscheidungsfindungsfähigkeiten erfordert reliable und valide Prüfungsformate. Die österreichische Prüfung Arzt für Allgemeinmedizin nutzt 25 Fälle mit 2 -6 Unterfragen im offenen Kurzantwortformat (VSAQ). Deren manuelle Korrektur ist jedoch personalintensiv. Für die alternative Nutzung geschlossener Formate (MC-Typ PickN) wird befürchtet, dass reines Wiedererkennen richtiger Lösungen die klinische Realität unzureichend abbildet. Die Studie untersucht, ob PickN als psychometrisch äquivalenter Ersatz für VSAQ dienen kann.Methoden: In einer Probeprüfung im Crossover-Design bearbeiteten N=54 Kandidat*innen unterschiedlicher Ausbildungsstufen (Studierende, Ärzt*innen in Ausbildung, fertige Ärzt*innen) 30 stammäquivalente Fälle (92 Fragen, 284 Punkte). Sechs Ankerfälle verlinkten die Gruppen psychometrisch. Die übrigen 24 Fälle wurden systematisch rotiert: Gruppe A bearbeitete 12 Fälle als VSAQ und 12 als PickN, Gruppe B umgekehrt. Distraktoren für PickN wurden KI-gestützt generiert und fachärztlich validiert (siehe Abbildung 1 ).Ergebnisse: Schwierigkeit: Probanden erzielten im Format PickN signifikant höhere Punktzahlen als bei VSAQs (p<.001).Äquivalenz: Es zeigte sich eine hochsignifikante Korrelation der inhaltlich geschichteten Formate, was die Konstrukt-Äquivalenz stützt (Gruppe A: r=.77**, αPickN=.69, αVSAQ=.67; Gruppe B: r=.82**, αPickN=.87, αVSAQ=.83). Nach Attenuierungskorrektur lag die wahre Korrelation bei 1.00 bzw. .96.Kompetenzgradient: Die Leistung korrespondierte in beiden Formaten mit dem Ausbildungsstand (letztes Ausbildungsjahr signifikant besser als Studierende, p=.03).Itemanalyse: Entscheidungsfragen (Diagnostik/Therapie) erwiesen sich als hochgradig austauschbar. Niedrigste Trennschärfe zeigten VSAQ-Anamnesefragen.Akzeptanz: 57% der Ärzt*innen kurz vor Ausbildungsende bevorzugten PickN (vs. 24% VSAQ).Diskussion: Obwohl VSAQs subjektiv als realitätsnäher empfunden wurden, belegen die Daten eine Konstrukt-Äquivalenz bei stammäquivalenten Items . Dies stützt die Annahme, dass die Validität primär vom Stimulus (Vignette) abhängt . Die Sorge vor einer unerwünschten Lernsteuerung ist in der postgradualen Weiterbildung unbegründet, da angehende Fachärzt*innen primär angewandtes Praxiswissen abrufen und nicht theoriebasiert für Prüfungen lernen. Prüfungsökonomisch amortisiert sich der erhöhte Fallerstellungsaufwand für PickN durch den Entfall der manuellen Korrektur. Automatisierte KI-Korrekturen für offene Fragen sind derzeit durch den EU AI Act (Einstufung als Hochrisiko-KI) noch limitiert.Take-Home-Messages: PickN und VSAQ messen bei stammäquivalenten Fallvignetten dasselbe klinische Konstrukt.PickN-Fragen sind leichter, differenzieren aber bei entsprechender Itemkonstruktion ebenso reliabel und valide.Eine fallbasierte PickN-Prüfung oder eine Mischform bietet aktuell den besten Kompromiss aus Validität, psychometrischer Sicherheit, Ökonomie und rechtlicher Machbarkeit. Rodriguez MC Construct equivalence of multiple-choice and constructed-response items: a random effects synthesis of correlations 2003 J Educ Meas 163-184 Rodriguez MC. Construct equivalence of multiple-choice and constructed-response items: a random effects synthesis of correlations. J Educ Meas. 2003;40(2):163-184. DOI: 10.1111/j.1745-3984.2003.tb01102.x http://dx.doi.org/10.1111/j.1745-3984.2003.tb01102.x van der Vleuten CP The assessment of professional competence: developments, research and practical implications 1996 Adv Health Sci Educ Theory Pract 41-67 van der Vleuten CP. The assessment of professional competence: developments, research and practical implications. Adv Health Sci Educ Theory Pract. 1996;1(1):41-67. DOI: 10.1007/BF00596229 http://dx.doi.org/10.1007/BF00596229 van Wijk EV Janse RJ Ruijter BN Rohling JH van der Kraan J Crobach S de Jonge M de Beaufort AJ Dekker FW Langers AM Use of very short answer questions compared to multiple choice questions in undergraduate medical students: An external validation study 2023 PLoS One e0288558 van Wijk EV, Janse RJ, Ruijter BN, Rohling JH, van der Kraan J, Crobach S, de Jonge M, de Beaufort AJ, Dekker FW, Langers AM. Use of very short answer questions compared to multiple choice questions in undergraduate medical students: An external validation study. PLoS One. 2023;18(7):e0288558. DOI: 10.1371/journal.pone.0288558 http://dx.doi.org/10.1371/journal.pone.0288558 0

1 1 Abbildung 1: Beispiel einer stammäquivalenten Frage im VSAQ- und PickN-Format mit Itemanalyse

1 0 0