26gma014 10.3205/26gma014 urn:nbn:de:0183-26gma0148 Meeting Abstract Möltner Möltner Andreas A

Universität Heidelberg, Medizinische Fakultät, Qualitätssicherung Prüfungen, Heidelberg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 014 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-03 Gestaltung & Prüfen – Assessments & Fairness Dresden 20260917 20260919 V-0302 TextHintergrund/Fragestellung: Pick-N-Items sind Multiple-Response-Aufgaben, bei denen aus einer Reihe n zutreffender und unzutreffender Antworten eine vorgegebene und bekannte Zahl k korrekter Antworten zu wählen sind. Wie bei Mehrfach-Richtig-Falsch-Items (MTF) stellt sich die Frage nach dem optimalen Scoring solcher Aufgaben, wie dort ist eine Teilbepunktung zur reliableren Erfassung der Kenntnisse sinnvoll. Bauer et al. untersuchten empirisch verschiedene Bewertungsverfahren, Schmidt et al. führen in einem Review 24 verwendete Scoring-Algorithmen auf und vergleichen sie hinsichtlich ihrer Beantwortung bei reinem Raten.Methoden: Wie in für MTF-Items erfolgt eine Analyse auf Basis des Finite-State-Modells, welches einen für jedes Item und für jeden Prüfungsteilnehmer spezifischen Fähigkeitsparameter λ annimmt, der die Wahrscheinlichkeit bezeichnet, die Richtigkeit einer Antwortoption bei diesem Item zu kennen. Für das Scoring „1/n Punkt für jede richtige Antwort“ (P1/n), „½ Punkt bei einem Fehler (PS-1)“, „½ Punkt bei mehr als 50 % (PS50-)“, „½ Punkt ab 50 % richtiger Antworten (PS50+)“ und „1 Punkt nur bei vollständiger Beantwortung (dichotomes Scoring DS)“, sonst 0 Punkte, werden die erwarteten Scores abhängig von λ sowie die aus dem Modell abzuleitende Itemreliabilität bestimmt.Der empirische Vergleich unterschiedlicher Scoring-Algorithmen wurde anhand von 1484 Pick-N-Fragen aus den Prüfungen der med. Fakultät Heidelberg von WS 2020/21 bis WS 2025/26 durchgeführt. Die statistische Prüfung auf Unterschiede in der Trennschärfe als indirektes Maß der Reliabilität erfolgte mittels paarweiser Wilcoxon-Vorzeichen-Rang-Tests, welche nach Bonferroni-Holm adjustiert wurden.Ergebnisse: Die theoretische Analyse zeigt eine Abhängigkeit der Algorithmen vom Typ des Pick-N-Items „k aus n“. Generell sind die Unterschiede zwischen PS1/n, PS50+, PS50- und PS50- jedoch gering, PS50- liefert zwar eine etwas geringere Reliabilität, hat im Unterschied zu PS1/n und PS50+ aber keine für die übliche 60%-Bestehensgrenze zu hohe Ratewahrscheinlichkeit (siehe Abbildung 1 ). DS erweist sich bei allen Vergleichen als deutlich weniger reliabel.Die empirischen Daten stimmen mit dem Modell überein. Signifikant schlechtere Trennschärfen als indirektes Maß für die Itemreliabilität ergeben sich für das dichotome Scoring DS gegenüber allen anderen Algorithmen. PS1/n und PS-1 erweisen sich als optimale Verfahren, die Unterschiede zu PS50+ und PS50- sind jedoch gering (siehe Abbildung 2 ).Diskussion: Die theoretischen Resultate entsprechen im Wesentlichen den empirischen Ergebnissen. Sofern für verschiedene Typen k aus n von Pick-N-Items die selben Algorithmen verwendet werden sollen, dürfte PS-1 oder PS50- zu empfehlen sein, da beide eine akzeptable Ratewahrscheinlichkeit sowie Reliabilität aufweisen.Take-Home-Message: Pick-N-Items sollten mit 1 Punkt bei vollständiger und mit ½ Punkt bei einem Fehler oder ½ Punkt bei mehr als 50% korrekt beantworteter Optionen bewertet werden. Bauer D Holzer M Kopp V Fischer MR Pick-N multiple choice-exams: a comparison of scoring algorithms 2011 Adv Health Sci Educ Theory Pract 211-221 Bauer D, Holzer M, Kopp V, Fischer MR. Pick-N multiple choice-exams: a comparison of scoring algorithms. Adv Health Sci Educ Theory Pract. 2011;16(2):211-221. DOI: 10.1007/s10459-010-9256-1 http://dx.doi.org/10.1007/s10459-010-9256-1 Möltner A Bewertung von Mehrfach-Richtig-Falsch-Aufgaben: Beurteilung von Scoring-Algorithmen mittels Finite-State-Modell 2025 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Düsseldorf, 08.-10.09.2025 DocV-07-02 Möltner A. Bewertung von Mehrfach-Richtig-Falsch-Aufgaben: Beurteilung von Scoring-Algorithmen mittels Finite-State-Modell. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Düsseldorf, 08.-10.09.2025. Düsseldorf: German Medical Science GMS Publishing House; 2025. DocV-07-02. DOI: 10.3205/25gma049 https://doi.org/10.3205/25gma049 Schmidt D Raupach T Wiegand A Herrmann M Kanzow P Relation between examinees’ true knowledge and examination scores: systematic review and exemplary calculations on Pick-N items 2022 Educ Res Rev 100483 Schmidt D, Raupach T, Wiegand A, Herrmann M, Kanzow P. Relation between examinees’ true knowledge and examination scores: systematic review and exemplary calculations on Pick-N items. Educ Res Rev. 2022;37:100483. DOI: 10.1016/j.edurev.2022.100483 http://dx.doi.org/10.1016/j.edurev.2022.100483 0

1 1 Abbildung 1: Zusammenhang des Fähigkeitsparameters und des Erwartungswerts des Scores bei Pick-N (6 aus12): Erwartungswert des Scores in in Abhängigkeit vom Fähigkeitsparameter des Finite-State-Modells für verschiedene Scoring-Algorithmen bei Pick-N-Items mit 6 zu wählenden Antworten aus 12 Optionen.

2 2 Abbildung 2: Trennschärfen in Abhängigkeit vom Scoring-Algorithmus. Mittlere Trennschärfen und Standardfehler des Mittelwerts der 1484 in Prüfungen verwendeten Pick-N-Items des WS 2020/21 bis WS 2025/26 in der med. Fakultät Heidelberg.

2 0 0