26gma193 10.3205/26gma193 urn:nbn:de:0183-26gma1932 Meeting Abstract Sieg Sieg Miriam M

Charité – Universitätsmedizin Berlin, Referat für Studienangelegenheiten, Berlin, Deutschland Charité – Universitätsmedizin Berlin, Progress Test Medizin, Berlin, Deutschland

author März März Maren M

Charité – Universitätsmedizin Berlin, Progress Test Medizin, Berlin, Deutschland Charité – Universitätsmedizin Berlin, Referat für Studienangelegenheiten, Berlin, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 193 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) P-09 Spezialisierte Fachbereiche & Querschnittsthemen I Dresden 20260917 20260919 P-0904 TextHintergrund: Schriftliche Semesterabschlussprüfungen in medizinischen Studiengängen werden vorwiegend mit Multiple Choice Klausuren durchgeführt. Diese basieren auf festgelegten Blueprints und eindeutig definierter Antwortmöglichkeiten. Eine effiziente und fehlerminimierte Auswertung ist dadurch möglich. Möchte man Aussagen über z.B. das konkrete Wissen in einem Fach treffen, benötigt man robuste und objektiv validierte Methoden. Die Validierung anhand erhaltener Prüfungsergebnisse ist jedoch ungenau, da relevante Parameter auf Item- und Prüflingsebene in der Regel unbekannt sind und die Genauigkeit dieser Methoden schwer einzuschätzen. Ziel dieser Studie ist die Entwicklung einer Pipeline, die einen authentischen synthetischen Antwortdatensatz erstellt, bei dem diese Parameter vordefiniert sind. Methoden: Die SAD-Pipe bietet die gezielte Erstellung eines hypothetischen Fragen- und eines Prüflingspools. So wird auf der Fragenebene z.B. der Anteil der intendierten Antwortverhalten auf die Fragen definiert. Dies beinhaltet u.a. reguläres Antwortverhalten (regular) oder Antwortverhalten bei attraktiv wirkenden Distraktoren (misleading). Auf der Prüflingsebene werden die Verteilung der Fähigkeiten (θ) und individuelles Verhalten einbezogen, z.B. Testschläue oder die Fähigkeit, gezielt zu raten (guessiness).Die gängigen Itemanalysen der klassischen Testtheorie und der Item Response Theorie werden exemplarisch durchgeführt und vergleichend dargestellt. Dies beinhaltet unter anderem die geschätzten Schwierigkeiten und Trennschärfen im Vergleich zueinander und zu den simulierten Grundwahrheiten. Die Pipeline liegt sowohl in Python als auch in R [https://github.com/maerz-m/SAD_Pipe] und beinhaltet je Skriptsprache einen Datensatz. Ergebnisse: Die simulierten Datensätze basieren auf 80 Fragen mit 50% regulärem, 30% idealem (regular clean), 10% schwachem (diluted) und 10% getäuschtem (misleading) intendierten Antwortverhalten. Es wurden Antworten von 200 Prüflingen generiert. Die psychometrischen Kennwerte der beiden Datensätze sind nicht identisch, aber weisen die gleichen Tendenzen auf. So liegen zum Beispiel Cronbachs bei ~0.80 und die mittleren Itemtrennschärfen bei ~1.1.Diskussion: Die Veröffentlichung in zwei Skriptsprachen und das Beifügen bereits simulierter Datensätze bietet einem großen Anwendendenkreis die Möglichkeit die Pipeline(ergebnisse) zu verwenden. Außerdem ermöglicht sie ihnen einen eigenen, auf den individuellen Begebenheiten angepassten Datensatz zu erstellen. Die Kontrolle über die Datengrundlage verfeinert die Analyse und Validierung neuer Auswertungs-und Feedbacksroutinen. Durch Seedsetzung sind die Datensätze nachvollziehbar und reproduzierbar.Take-Home-Message: SAD-Pipe liefert datenschutzkonforme, reproduzierbare und anpassbare Datensätze, deren Grundparameter bekannt sind. Neue Methoden zur Auswertung oder Feedbackerstellung von Multiple Choice Prüfungen können so genauer validiert werden. 0 0 0 0