Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)
Ergebnisse der Testung kompetenzorientierter Bewertungsbögen im Rahmen der Pilotierung eines neuen M3 Prüfungsformats
Text
Hintergrund/Fragestellung: Mit dem Masterplan Medizinstudium 2020 wurden wesentliche Rahmenbedingungen für die Weiterentwicklung des Medizinstudiums formuliert. Das BMG hat dies in seinen Referentenentwürfen zur ÄApprO aufgegriffen und sieht für den 3. Abschnitt der ärztlichen Prüfung die „Prüfung am Patienten oder an der Patientin“ vor [1]. Eine Arbeitsgruppe am IMPP hat auf Basis der Ärztlichen Rollen und anvertraubarer professioneller Tätigkeiten gemäß Absolventenprofil (GK 5.1, NKLM 2.0) strukturierte Bewertungsbögen mit 2-4 Kompetenzclustern und einer 5-stufigen Bewertungsskala (0-4) entwickelt. Diese Bögen wurden an zwei Fakultäten unter realitätsnahen Bedingungen pilotiert. Ziel war die Testung der entwickelten Bewertungsbögen in simulierten Prüfungen, um ihre Anwendbarkeit und Funktionalität zu analysieren.
Methoden: Nach positiven Ethikvoten erfolgten an den Standorten Magdeburg und Dresden 9 Testprüfungen mit 9 Prüfungskandidat*innen, 9 Patient:innen und 18 Prüfer*innen. Die Prüfungskommission bestand aus zwei Prüfer*innen unterschiedlicher Disziplinen. Die Auswahl des Patientenfalls erfolgte durch den Prüfungsvorsitz (Innere Medizin oder Chirurgie). Die Bewertung der Prüfungsbestandteile (Anamnese, körperliche Untersuchung, intra- und interprofessionelle Übergabe, Entscheidungsfindung, Befunderläuterung, ärztlicher Bericht) erfolgte unabhängig voneinander mittels der strukturierten Bögen. Die Bögen wurden nach Abschluss aller Prüfung ausgewertet und hinsichtlich verschiedener teststatistischer Parameter untersucht (u.a. Varianzanalyse, Interrater-Reliabilität, Linear-Regression).
Ergebnisse: Die Prüfer*innen haben alle Bewerbungsbögen vollständig ausgefüllt dabei Punkte-Werte von 1-4 vergeben (0 Punkte wurden nicht vergeben). Für die Benotung der Prüfungsleistung wurden die Punkte dieser Bewertungen entsprechend dem jeweiligen Prüfungsbestandteil gewichtet und addiert. Zusätzlich haben sie am Ende der Prüfung ein globales Rating (Schulnote) vergeben. Die Gesamtpunktzahl der einzelnen Bewertungen korreliert mit dem globalen Rating (r=0,75). Die Interrater-Reliabilität beträgt 0,67. Faktoren wie Standort, Patientenfall, Schwierigkeitsgrad des Falls oder Fachdisziplin der Prüfer*innen hatten keinen systematischen Einfluss auf die Bewertung.
Diskussion: Die Auswertungen der Bewertungsbögen zeigt, dass diese in einem komplexen praktischen Prüfungsformat mit mehreren Prüfungsbestandteilen anwendbar sind. Zudem zeigte sich eine hohe Korrelation der Prüfungsbewertung anhand der Bewertungsbögen im Vergleich zu dem globalen Rating, wobei die Bewertungsbögen eine differenzierte Betrachtung einzelner Kompetenzkategorien über die verschiedenen Prüfungsbestandteile ermöglichen.
Take-Home-Message: Die Pilotstudie zeigt, dass die neu entwickelten kompetenzorientierten Bewertungsbögen für die Bewertung von komplexen praktischen Prüfungen eingesetzt werden können, sich aber auch für die Bewertungen einzelner Prüfungsbestandteile eignen könnten.
