26gma032 10.3205/26gma032 urn:nbn:de:0183-26gma0323 Meeting Abstract März März Maren M

Charité – Universitätsmedizin Berlin, GB Lehre, AG Progress Test Medizin, Berlin, Deutschland

author Roselló Atanet Roselló Atanet Iván I

Charité – Universitätsmedizin Berlin, GB Lehre, AG Progress Test Medizin, Berlin, Deutschland

author Arias Arias Johann J

RWTH Aachen University, Studiendekanat, Aachen, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 032 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-06 KI – Assessment, Testing & Feedback Dresden 20260917 20260919 V-0602 TextHintergrund/Fragestellung: Die frühzeitige Identifikation von Studierenden mit Risiko für leistungsschwache Abschlüsse ist zentral für die frühzeitige Studienberatung im Medizinstudium. Progress Tests sind Tests auf Absolvent*innenniveau, die den langfristigen Wissenszuwachs abbilden. Gleichzeitig dienen sie auch als lokales Feedbackinstrument für Studierende und Fakultäten .Ziel der Studie ist die Entwicklung einer Pipeline, die es ermöglicht, auf Grundlage von Progress-Test-Medizin-Daten bereits am Ende des ersten Studienabschnitts den zu erwartenden Erfolg in fakultätsinternen Prüfungen (z.B. Äquivalenzprüfungen) abzuschätzen.Methoden: PTM-Daten der Semester 1-4 wurden mit fakultätsinternen Prüfungsnoten einer Fakultät zusammengeführt und anonymisiert.Zur Identifikation diagnostisch relevanter Items wurden zwei komplementäre Kriterien eingesetzt:klassische Trennschärfe (punktbiseriale Korrelation) der Items bezogen auf die Endnoten,paarweise AUC-Werte zur Bestimmung der trennschärfsten Items zwischen Notenkategorien.Aus den diagnostischen Itemsets wurden aggregierte Leistungsmerkmale, wie relative Korrektheits-, Fehler- und Nichtbeantwortungsraten berechnet. Um individuelle Lernverläufe abzubilden wurden longitudinale Slopes berechnet.Diese Daten wurden als Features einem Classifier zur Vorhersage der Note übergeben. Anschließend wurden die Charakteristika diagnostischer Fragen („Markerfragen“) ermittelt.Ergebnisse: Die Modellleistung verbesserte sich deutlich zwischen den Zeitpunkten: Im 3. Semester lag die Genauigkeit bei 0.656, im 4. Semester bei 0.793. Zu den stärksten Prädiktoren gehörten longitudinale Slopes, insbesondere Entwicklungen der relativen Korrektheitsrate und des Antwortverhältnisses. Diese Merkmale steigerten die Modellgüte gegenüber rein querschnittlichen Leistungsindikatoren. Diagnostische Items sind vor allem an ihrem Schwierigkeitsgrad und der thematischen Einordnung (Domäne, Fach und Organsystem) zu erkennen.Diskussion: Die Ergebnisse zeigen, dass nicht nur momentane Leistung, sondern insbesondere individuelle Lernverläufe prognostisch relevant sind. Zentrales Element ist dabei das Feature-Engineering: Die Kombination aus diagnostisch selektierten Items und aus deren zeitlicher Entwicklung abgeleiteten Leistungsmerkmalen erhöht die Vorhersagepräzision deutlich und ermöglicht eine Risikoabschätzungen bereits in dem ersten Studienabschnitt.Take-Home-Messages: Obgleich Progress Tests auf Absolvent*innenniveau verankert sind, ermöglichen sie einen vorsichtigen, aber belastbaren Ausblick auf das Abschneiden in fakultätsinternen Prüfungen in der ersten Studienhälfte. Das daraus abgeleitete Feedback erfolgt zu einem Zeitpunkt im Studium, der Studierenden noch eine wirksame Anpassung ihrer Lernstrategien ermöglicht.Besonders die Wissenszunahme in diagnostisch relevanten Fragen („Markerfragen“) erweist sich als zentraler Prädiktor für spätere Prüfungsergebnisse. Freeman A Van Der Vleuten C Nouns Z Ricketts C Progress testing internationally 2010 Med Teach 451‑455 Freeman A, Van Der Vleuten C, Nouns Z, Ricketts C. Progress testing internationally. Med Teach. 2010;32(6):451‑455. DOI: 10.3109/0142159X.2010.485231 http://dx.doi.org/10.3109/0142159X.2010.485231 0 0 0 0