Text

Hintergrund: Für die kontinuierliche Verbesserung und Qualitätssicherung von Prüfungen ist die Evaluation psychometrischer Gütekriterien zentral. Bei kleinen Stichprobengrößen beschränkt sich die psychometrische Analyse meist auf die Klassische Testtheorie. Zwar ermöglichen die Kenngrößen dieser Theorie die Identifikation großer Defizite von Prüfungen, doch geringfügige Auffälligkeiten, die einen frühzeitigen Handlungsbedarf im Prüfungsdesign signalisieren, können unentdeckt bleiben.

Methoden: MINT-Studierende der RWTH Aachen werden im Fach „Einführung in die Medizin“ mittels OSPE geprüft. Das Prüfungsformat wurde im Rahmen der Förderung Freiraum 2023 (StIL) erstmalig in diesem Fach zur Prüfung interdisziplinärer Kompetenz implementiert. 32 Studierende nahmen im Sommersemester 2025 an der Prüfung teil. Zur Evaluation der Reliabilität wählten und schätzten wir den geeigneten Reliabilitätskoeffizienten gemäß Cho [1]. Die Konstruktvalidität wurde mittels explorativer Faktorenanalyse evaluiert. Für jede der fünf OSPE-Stationen wurden die Schwierigkeit und die Trennschärfe (Item-Rest-Korrelation) berechnet. Zusätzlich haben wir lineare und lokale Regressionskurven (LOESS) zur Trennschärfe jeder Station in einem Diagramm überlagert, um deren Steigungen und Schnittpunkte mit der Bestehensgrenze (50%) zu analysieren.

Ergebnisse: Die Prüfung zeigte eine akzeptable Reliabilität (ω=0,91) und Konstruktvalidität (52% Gesamtvarianz), wobei Station 1 die niedrigste Faktorenladung aufwies. Die Schwierigkeit lag für die meisten Stationen nahe der Bestehensgrenze; nur Station 1 war geringfügig zu einfach (0,79). Die Trennschärfen der Stationen waren akzeptabel bis gut (0,47-0,78). Die Regressionskurven der Stationen 3 bis 5 wiesen darauf hin, dass die Leistung der Prüflinge an diesen Stationen ihre Gesamtleistung widerspiegelte, während nur leistungsstarke Prüflinge Station 2 bestanden haben. Für Station 1 wiesen die konsistent flachen Regressionskurven oberhalb der Bestehensgrenze auf eine geringe Trennschärfe im gesamten Leistungsspektrum der Prüflinge hin.

Diskussion: Die Kenngrößen zeigten für Station 1 nur geringe Auffälligkeiten, die bei einer herkömmlichen Prüfungsevaluation leicht übersehen werden könnten. Erst die detaillierte Analyse der Steigungen und des Verlaufs der Regressionskurven machte die Defizite von Station 1 sichtbar. Die Untersuchung der Unterschiede im Stationsdesign ermöglichte uns die Ableitung eines Conceptual Frameworks und praxisorientierter Handlungsempfehlungen für das Design von OSPE-Stationen zur Prüfung interdisziplinärer Kompetenz [2].

Take-Home-Messages: Die Schätzung und Berechnung von Kenngrößen reichen nicht aus, um subtile Defizite einzelner OSPE-Stationen zu erkennen. Die ergänzende Betrachtung von Steigung und Verlauf der Regressionskurven ermöglicht eine frühzeitige Identifikation solcher Auffälligkeiten und damit die Qualitätssicherung sowie die kontinuierliche Verbesserung von Prüfungen in der medizinischen Ausbildung.

Literatur