26gma016 10.3205/26gma016 urn:nbn:de:0183-26gma0164 Meeting Abstract Leutritz Leutritz Tobias T

Universitätsklinikum Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Deutschland

author Appel Appel Marc M

Julius-Maximilians-Universität Würzburg, Zentrum für Studiengangsmanagement und -entwicklung, Würzburg, Deutschland

author König König Sarah S

Universitätsklinikum Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 016 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-03 Gestaltung & Prüfen – Assessments & Fairness Dresden 20260917 20260919 V-0304 TextFragestellung: In der klinisch praktischen Prüfung (Objective structured clinical examination (OSCE)) vor Antritt des Praktischen Jahres (PJ) werden neben der Bewertung von Checklisten-Items auch Globalnoten vergeben. Diese erfolgten bislang überwiegend als Schulnoten (1=sehr gut bis 5=ungenügend). Seit Sommersemester 2024 wird in größerem Maßstab stattdessen die Anvertraubarkeit eingeschätzt (1=ohne weitere Überprüfung bis 5=nur gemeinsam mit mir). Ziel dieser Studie war es zu untersuchen, ob sich Schulnote und Anvertraubarkeit im Abgleich mit den aus Checklisten-Items abgeleiteten Gesamtnoten hinsichtlich Konsistenz, Reliabilität und Aussagekraft unterscheiden.Methoden: Datensätze des PJ-Reife-OSCEs wurden aus vier Semestern (WiSe 2022/23 bis SoSe 2025) mit ca. 7000 Bewertungen einzelner Stationsleistungen analysiert. Nach Ausschluss von ca. 10% der Datensätze mit jeweils mehr als 10% fehlenden oder geänderten Checklisten-Items gingen 3684 Datensätze mit Schulnoten (102 Stationen) und 3269 Datensätze mit Anvertraubarkeit (73 Stationen) in die Berechnungen ein. Die aus den Checklisten-Items resultierenden Noten wurden mit den jeweiligen Globalnoten verglichen. Zur Analyse der Abweichungen wurden paarweise t-Tests sowie eine Varianzanalyse (ANOVA) der Differenzen (Δ=Gesamtnote aus der Checkliste – Globalnote) in Abhängigkeit vom Skalentyp durchgeführt. Zusätzlich wurden Stationen mit identischer Checkliste berücksichtigt.Ergebnisse: Über den Gesamtdatensatz hinweg zeigte sich bei der Verwendung der Schulnotenskala eine negative mittlere Differenz Δ, was auf eine mildere Bewertung in der Globalnote hindeutet (Δ=-0,22). Demgegenüber fiel die Anvertraubarkeit als strengerer Bewertungsmaßstab aus (Δ=0,11). Beide Unterscheide waren statistisch signifikant (p < 0,05). In der fachspezifischen Analyse zeigten sich bei der Anvertraubarkeit überwiegend geringere absolute Differenzen zwischen Globalnote und checklistenbasierter Gesamtnote. Die ANOVA war diesbezüglich nur bei Skills bzw. bei identischen Checklisten auch bei Radiologie und Innere Medizin nicht signifikant, die t-Tests ebenfalls seltener statistisch signifikant (siehe Abbildung 1 ).Diskussion: Im Vergleich zur Schulnote führt die Anvertraubarkeit zu einer stärkeren Annäherung von Globalnote und checklistenbasierter Gesamtnote, was auf eine höhere Validität dieses Bewertungsmaßstabes hindeutet. Ausnahmen zeigten sich in den Fächern Notfallmedizin, Skills und Transfusionsmedizin, die stark standardisierte Prozesse abbilden. Hier scheinen Unsicherheiten in der Durchführung in der Globalbewertung stärker berücksichtigt zu werden und schlagen sich insbesondere in der Anvertraubarkeit nieder, die strenger als die Schulnote ausfällt. Die Ergebnisse unterstreichen die Anvertraubarkeit als Eignung für praktische Prüfungen.Take-Home-Message: Für (klinisch) praktische Prüfungen in der medizinischen Ausbildung sollte die Anvertraubarkeit einer Globalbewertung im Schulnotensystem vorgezogen werden. 0

1 1 Abbildung 1: Global- und Gesamtnoten im Bewertungsmaßstab der Anvertraubarkeit und Schulnote im FächervergleichA: Gesamtdatensatz, B: identische Stationen; Mittelwerte: horizontale Balken; statistisch signifikante t-Tests (p< 0,05) mit * markiert, Differenz Δ=Gesamtnote aus Checkliste – Globalnote; Farbkodierung für Δ<0 = rot (strengere Globalnote) und Δ>0 = schwarz mildere Globalnote); Angabe der p-Werte bei skalenübergreifender, fachinterner ANOVA mit p>0,05.

1 0 0