Text

Hintergrund/Fragestellung: Die frühzeitige Identifikation von Studierenden mit Risiko für leistungsschwache Abschlüsse ist zentral für die frühzeitige Studienberatung im Medizinstudium. Progress Tests sind Tests auf Absolvent*innenniveau, die den langfristigen Wissenszuwachs abbilden. Gleichzeitig dienen sie auch als lokales Feedbackinstrument für Studierende und Fakultäten [1].

Ziel der Studie ist die Entwicklung einer Pipeline, die es ermöglicht, auf Grundlage von Progress-Test-Medizin-Daten bereits am Ende des ersten Studienabschnitts den zu erwartenden Erfolg in fakultätsinternen Prüfungen (z.B. Äquivalenzprüfungen) abzuschätzen.

Methoden: PTM-Daten der Semester 1-4 wurden mit fakultätsinternen Prüfungsnoten einer Fakultät zusammengeführt und anonymisiert.

Zur Identifikation diagnostisch relevanter Items wurden zwei komplementäre Kriterien eingesetzt:

• klassische Trennschärfe (punktbiseriale Korrelation) der Items bezogen auf die Endnoten,
• paarweise AUC-Werte zur Bestimmung der trennschärfsten Items zwischen Notenkategorien.

Aus den diagnostischen Itemsets wurden aggregierte Leistungsmerkmale, wie relative Korrektheits-, Fehler- und Nichtbeantwortungsraten berechnet. Um individuelle Lernverläufe abzubilden wurden longitudinale Slopes berechnet.

Diese Daten wurden als Features einem Classifier zur Vorhersage der Note übergeben. Anschließend wurden die Charakteristika diagnostischer Fragen („Markerfragen“) ermittelt.

Ergebnisse: Die Modellleistung verbesserte sich deutlich zwischen den Zeitpunkten: Im 3. Semester lag die Genauigkeit bei 0.656, im 4. Semester bei 0.793. Zu den stärksten Prädiktoren gehörten longitudinale Slopes, insbesondere Entwicklungen der relativen Korrektheitsrate und des Antwortverhältnisses. Diese Merkmale steigerten die Modellgüte gegenüber rein querschnittlichen Leistungsindikatoren. Diagnostische Items sind vor allem an ihrem Schwierigkeitsgrad und der thematischen Einordnung (Domäne, Fach und Organsystem) zu erkennen.

Diskussion: Die Ergebnisse zeigen, dass nicht nur momentane Leistung, sondern insbesondere individuelle Lernverläufe prognostisch relevant sind. Zentrales Element ist dabei das Feature-Engineering: Die Kombination aus diagnostisch selektierten Items und aus deren zeitlicher Entwicklung abgeleiteten Leistungsmerkmalen erhöht die Vorhersagepräzision deutlich und ermöglicht eine Risikoabschätzungen bereits in dem ersten Studienabschnitt.

Take-Home-Messages:

• Obgleich Progress Tests auf Absolvent*innenniveau verankert sind, ermöglichen sie einen vorsichtigen, aber belastbaren Ausblick auf das Abschneiden in fakultätsinternen Prüfungen in der ersten Studienhälfte.
• Das daraus abgeleitete Feedback erfolgt zu einem Zeitpunkt im Studium, der Studierenden noch eine wirksame Anpassung ihrer Lernstrategien ermöglicht.
• Besonders die Wissenszunahme in diagnostisch relevanten Fragen („Markerfragen“) erweist sich als zentraler Prädiktor für spätere Prüfungsergebnisse.

References