Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)
Vergleich von Schulnote und Anvertraubarkeit im Rahmen des PJ-Reife-OSCE
Text
Fragestellung: In der klinisch praktischen Prüfung (Objective structured clinical examination (OSCE)) vor Antritt des Praktischen Jahres (PJ) werden neben der Bewertung von Checklisten-Items auch Globalnoten vergeben. Diese erfolgten bislang überwiegend als Schulnoten (1=sehr gut bis 5=ungenügend). Seit Sommersemester 2024 wird in größerem Maßstab stattdessen die Anvertraubarkeit eingeschätzt (1=ohne weitere Überprüfung bis 5=nur gemeinsam mit mir). Ziel dieser Studie war es zu untersuchen, ob sich Schulnote und Anvertraubarkeit im Abgleich mit den aus Checklisten-Items abgeleiteten Gesamtnoten hinsichtlich Konsistenz, Reliabilität und Aussagekraft unterscheiden.
Methoden: Datensätze des PJ-Reife-OSCEs wurden aus vier Semestern (WiSe 2022/23 bis SoSe 2025) mit ca. 7000 Bewertungen einzelner Stationsleistungen analysiert. Nach Ausschluss von ca. 10% der Datensätze mit jeweils mehr als 10% fehlenden oder geänderten Checklisten-Items gingen 3684 Datensätze mit Schulnoten (102 Stationen) und 3269 Datensätze mit Anvertraubarkeit (73 Stationen) in die Berechnungen ein. Die aus den Checklisten-Items resultierenden Noten wurden mit den jeweiligen Globalnoten verglichen. Zur Analyse der Abweichungen wurden paarweise t-Tests sowie eine Varianzanalyse (ANOVA) der Differenzen (Δ=Gesamtnote aus der Checkliste – Globalnote) in Abhängigkeit vom Skalentyp durchgeführt. Zusätzlich wurden Stationen mit identischer Checkliste berücksichtigt.
Ergebnisse: Über den Gesamtdatensatz hinweg zeigte sich bei der Verwendung der Schulnotenskala eine negative mittlere Differenz Δ, was auf eine mildere Bewertung in der Globalnote hindeutet (Δ=-0,22). Demgegenüber fiel die Anvertraubarkeit als strengerer Bewertungsmaßstab aus (Δ=0,11). Beide Unterscheide waren statistisch signifikant (p < 0,05). In der fachspezifischen Analyse zeigten sich bei der Anvertraubarkeit überwiegend geringere absolute Differenzen zwischen Globalnote und checklistenbasierter Gesamtnote. Die ANOVA war diesbezüglich nur bei Skills bzw. bei identischen Checklisten auch bei Radiologie und Innere Medizin nicht signifikant, die t-Tests ebenfalls seltener statistisch signifikant (siehe Abbildung 1 [Abb. 1]).
Abbildung 1: Global- und Gesamtnoten im Bewertungsmaßstab der Anvertraubarkeit und Schulnote im Fächervergleich
A: Gesamtdatensatz, B: identische Stationen; Mittelwerte: horizontale Balken; statistisch signifikante t-Tests (p< 0,05) mit * markiert, Differenz Δ=Gesamtnote aus Checkliste – Globalnote; Farbkodierung für Δ<0 = rot (strengere Globalnote) und Δ>0 = schwarz mildere Globalnote); Angabe der p-Werte bei skalenübergreifender, fachinterner ANOVA mit p>0,05.
Diskussion: Im Vergleich zur Schulnote führt die Anvertraubarkeit zu einer stärkeren Annäherung von Globalnote und checklistenbasierter Gesamtnote, was auf eine höhere Validität dieses Bewertungsmaßstabes hindeutet. Ausnahmen zeigten sich in den Fächern Notfallmedizin, Skills und Transfusionsmedizin, die stark standardisierte Prozesse abbilden. Hier scheinen Unsicherheiten in der Durchführung in der Globalbewertung stärker berücksichtigt zu werden und schlagen sich insbesondere in der Anvertraubarkeit nieder, die strenger als die Schulnote ausfällt. Die Ergebnisse unterstreichen die Anvertraubarkeit als Eignung für praktische Prüfungen.
Take-Home-Message: Für (klinisch) praktische Prüfungen in der medizinischen Ausbildung sollte die Anvertraubarkeit einer Globalbewertung im Schulnotensystem vorgezogen werden.
