Text

Hintergrund/Fragestellung: Pick-N-Items sind Multiple-Response-Aufgaben, bei denen aus einer Reihe n zutreffender und unzutreffender Antworten eine vorgegebene und bekannte Zahl k korrekter Antworten zu wählen sind. Wie bei Mehrfach-Richtig-Falsch-Items (MTF) stellt sich die Frage nach dem optimalen Scoring solcher Aufgaben, wie dort ist eine Teilbepunktung zur reliableren Erfassung der Kenntnisse sinnvoll. Bauer et al. [1] untersuchten empirisch verschiedene Bewertungsverfahren, Schmidt et al. [2] führen in einem Review 24 verwendete Scoring-Algorithmen auf und vergleichen sie hinsichtlich ihrer Beantwortung bei reinem Raten.

Methoden: Wie in [3] für MTF-Items erfolgt eine Analyse auf Basis des Finite-State-Modells, welches einen für jedes Item und für jeden Prüfungsteilnehmer spezifischen Fähigkeitsparameter λ annimmt, der die Wahrscheinlichkeit bezeichnet, die Richtigkeit einer Antwortoption bei diesem Item zu kennen. Für das Scoring „1/n Punkt für jede richtige Antwort“ (P1/n), „½ Punkt bei einem Fehler (PS-1)“, „½ Punkt bei mehr als 50 % (PS50-)“, „½ Punkt ab 50 % richtiger Antworten (PS50+)“ und „1 Punkt nur bei vollständiger Beantwortung (dichotomes Scoring DS)“, sonst 0 Punkte, werden die erwarteten Scores abhängig von λ sowie die aus dem Modell abzuleitende Itemreliabilität bestimmt.

Der empirische Vergleich unterschiedlicher Scoring-Algorithmen wurde anhand von 1484 Pick-N-Fragen aus den Prüfungen der med. Fakultät Heidelberg von WS 2020/21 bis WS 2025/26 durchgeführt. Die statistische Prüfung auf Unterschiede in der Trennschärfe als indirektes Maß der Reliabilität erfolgte mittels paarweiser Wilcoxon-Vorzeichen-Rang-Tests, welche nach Bonferroni-Holm adjustiert wurden.

Ergebnisse: Die theoretische Analyse zeigt eine Abhängigkeit der Algorithmen vom Typ des Pick-N-Items „k aus n“. Generell sind die Unterschiede zwischen PS1/n, PS50+, PS50- und PS50- jedoch gering, PS50- liefert zwar eine etwas geringere Reliabilität, hat im Unterschied zu PS1/n und PS50+ aber keine für die übliche 60%-Bestehensgrenze zu hohe Ratewahrscheinlichkeit (siehe Abbildung 1 [Abb. 1]). DS erweist sich bei allen Vergleichen als deutlich weniger reliabel.

Die empirischen Daten stimmen mit dem Modell überein. Signifikant schlechtere Trennschärfen als indirektes Maß für die Itemreliabilität ergeben sich für das dichotome Scoring DS gegenüber allen anderen Algorithmen. PS1/n und PS-1 erweisen sich als optimale Verfahren, die Unterschiede zu PS50+ und PS50- sind jedoch gering (siehe Abbildung 2 [Abb. 2]).

Diskussion: Die theoretischen Resultate entsprechen im Wesentlichen den empirischen Ergebnissen. Sofern für verschiedene Typen k aus n von Pick-N-Items die selben Algorithmen verwendet werden sollen, dürfte PS-1 oder PS50- zu empfehlen sein, da beide eine akzeptable Ratewahrscheinlichkeit sowie Reliabilität aufweisen.

Take-Home-Message: Pick-N-Items sollten mit 1 Punkt bei vollständiger und mit ½ Punkt bei einem Fehler oder ½ Punkt bei mehr als 50% korrekt beantworteter Optionen bewertet werden.

References

[1] Bauer D, Holzer M, Kopp V, Fischer MR. Pick-N multiple choice-exams: a comparison of scoring algorithms. Adv Health Sci Educ Theory Pract. 2011;16(2):211-221. DOI: 10.1007/s10459-010-9256-1
[2] Schmidt D, Raupach T, Wiegand A, Herrmann M, Kanzow P. Relation between examinees’ true knowledge and examination scores: systematic review and exemplary calculations on Pick-N items. Educ Res Rev. 2022;37:100483. DOI: 10.1016/j.edurev.2022.100483
[3] Möltner A. Bewertung von Mehrfach-Richtig-Falsch-Aufgaben: Beurteilung von Scoring-Algorithmen mittels Finite-State-Modell. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Düsseldorf, 08.-10.09.2025. Düsseldorf: German Medical Science GMS Publishing House; 2025. DocV-07-02. DOI: 10.3205/25gma049