Text

Hintergrund: Schriftliche Semesterabschlussprüfungen in medizinischen Studiengängen werden vorwiegend mit Multiple Choice Klausuren durchgeführt. Diese basieren auf festgelegten Blueprints und eindeutig definierter Antwortmöglichkeiten. Eine effiziente und fehlerminimierte Auswertung ist dadurch möglich.

Möchte man Aussagen über z.B. das konkrete Wissen in einem Fach treffen, benötigt man robuste und objektiv validierte Methoden. Die Validierung anhand erhaltener Prüfungsergebnisse ist jedoch ungenau, da relevante Parameter auf Item- und Prüflingsebene in der Regel unbekannt sind und die Genauigkeit dieser Methoden schwer einzuschätzen.

Ziel dieser Studie ist die Entwicklung einer Pipeline, die einen authentischen synthetischen Antwortdatensatz erstellt, bei dem diese Parameter vordefiniert sind.

Methoden: Die SAD-Pipe bietet die gezielte Erstellung eines hypothetischen Fragen- und eines Prüflingspools. So wird auf der Fragenebene z.B. der Anteil der intendierten Antwortverhalten auf die Fragen definiert. Dies beinhaltet u.a. reguläres Antwortverhalten (regular) oder Antwortverhalten bei attraktiv wirkenden Distraktoren (misleading). Auf der Prüflingsebene werden die Verteilung der Fähigkeiten (θ) und individuelles Verhalten einbezogen, z.B. Testschläue oder die Fähigkeit, gezielt zu raten (guessiness).

Die gängigen Itemanalysen der klassischen Testtheorie und der Item Response Theorie werden exemplarisch durchgeführt und vergleichend dargestellt. Dies beinhaltet unter anderem die geschätzten Schwierigkeiten und Trennschärfen im Vergleich zueinander und zu den simulierten Grundwahrheiten. Die Pipeline liegt sowohl in Python als auch in R [https://github.com/maerz-m/SAD_Pipe] und beinhaltet je Skriptsprache einen Datensatz.

Ergebnisse: Die simulierten Datensätze basieren auf 80 Fragen mit 50% regulärem, 30% idealem (regular clean), 10% schwachem (diluted) und 10% getäuschtem (misleading) intendierten Antwortverhalten. Es wurden Antworten von 200 Prüflingen generiert. Die psychometrischen Kennwerte der beiden Datensätze sind nicht identisch, aber weisen die gleichen Tendenzen auf. So liegen zum Beispiel Cronbachs bei ~0.80 und die mittleren Itemtrennschärfen bei ~1.1.

Diskussion: Die Veröffentlichung in zwei Skriptsprachen und das Beifügen bereits simulierter Datensätze bietet einem großen Anwendendenkreis die Möglichkeit die Pipeline(ergebnisse) zu verwenden. Außerdem ermöglicht sie ihnen einen eigenen, auf den individuellen Begebenheiten angepassten Datensatz zu erstellen. Die Kontrolle über die Datengrundlage verfeinert die Analyse und Validierung neuer Auswertungs-und Feedbacksroutinen. Durch Seedsetzung sind die Datensätze nachvollziehbar und reproduzierbar.

Take-Home-Message: SAD-Pipe liefert datenschutzkonforme, reproduzierbare und anpassbare Datensätze, deren Grundparameter bekannt sind. Neue Methoden zur Auswertung oder Feedbackerstellung von Multiple Choice Prüfungen können so genauer validiert werden.