25gma252 10.3205/25gma252 urn:nbn:de:0183-25gma2523 Meeting Abstract Leutritz Leutritz Tobias T

Julius-Maximilians-Universität Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Deutschland

author Hörnlein Hörnlein Alexander A

Julius-Maximilians-Universität Würzburg, Rechenzentrum: Anwendungen und Softwareentwicklung, Würzburg, Deutschland

author Weingart Weingart Astrid A

Julius-Maximilians-Universität Würzburg, Zentrum für Studiengangsmanagement und -entwicklung, Würzburg, Deutschland

author Appel Appel Marc M

Julius-Maximilians-Universität Würzburg, Zentrum für Studiengangsmanagement und -entwicklung, Würzburg, Deutschland

author Entwistle Entwistle Andrew A

Julius-Maximilians-Universität Würzburg, Zentrum für Studiengangsmanagement und -entwicklung, Würzburg, Deutschland

author König König Sarah S

Julius-Maximilians-Universität Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20250908 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0626 252 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) P-08 Assessment / Evaluation der Lehre Düsseldorf 20250908 20250910 P-08-02 TextZielsetzung: Schriftliche und praktische Prüfungen finden mit digitaler Unterstützung statt. Schriftliche Prüfungen werden auf Tablet-PCs oder papierbasiert mittels CaseTrain durchgeführt . Praktische Prüfungen finden in Form von Objective structured clinical examination (OSCE) statt. Dabei füllen Prüfende digitale Bewertungslisten über das intern entwickelte OSCEweb aus. Prüfungsergebnisse stehen daher in digitaler Form zur Verfügung.Die Ergebnispräsentation und -analyse dieser Prüfungen erfolgte bisher mit Microsoft Excel und der Scriptsprache Visual Basic for Applications. Teils waren dabei manuelle Schritte notwendig, die fehleranfällig und zeitaufwändig waren und mit Einarbeitungsaufwand verbunden waren. Die Ergebnisse wurden in Excel-Tabellen und statischen PDF-Dateien ausgegeben, wobei die ursprünglichen Aufgabenstellungen und Bewertungslisten darin nur rudimentär dargestellt waren.Für eine automatisierte Auswertung wurden daher folgende Ziele gesetzt:minimierte Arbeitsschritte und geringe Einarbeitungszeit,Berichte mit hohem Nutzwert,Aggregation von Aufgabenstellungen und Ergebnissen (auch Notizen zu/von Prüflingen) zur schnellen Identifizierung falsch oder missverständlich formulierter/interpretierter Aufgaben.Methoden: Für die Umsetzung wurde ein Shiny-Server (basierend auf R ) unter Ubuntu eingerichtet. Über eine Web-Oberfläche erfolgt der Upload der Eingabedateien und die Auswahl von Darstellungsoptionen. Grundlage für die Berichterstellung sindstatistische Analysen (z. B. Einteilung in Leistungsgruppen zur Diskriminationsanalyse),grafische Darstellungen von Kennwerten,sowie eine Struktur in Rmarkdown.Diese werden via Pandoc in dynamische HTML- oder PDF-Dokumente umgewandelt.Ergebnisse: Die Web-Oberfläche ermöglicht eine einfache und intuitive Handhabung in nur wenigen Schritten. Fehler durch falsches Kopieren und Einfügen werden so vermieden und der Ablauf zeitlich effizient.Die dynamischen HMTL-Berichte sind in allen Web-Browsern darstellbar. Durch interne Verlinkungen in Grafiken und Tabellen erfolgt eine einfache, intuitive und schnelle Navigation zwischenverschiedenen Darstellungsvariantensowie den detailreichen Darstellungen statistischer Kennzahlen (Schwierigkeit insgesamt und nach Leistungsgruppen, Trennschärfe mit linearer Regression) für einzelne Aufgaben (siehe Abbildung 1 ).Sortier- und Suchmöglichkeiten erweitern die Interaktivität der Dokumente.Diskussion: Durch Automatisierung und Standardisierung können Prüfungen effizient ausgewertet und detailliert dargestellt werden. Dies erleichtert die Optimierung von Prüfungsaufgaben – auch im Bereich der Medizindidaktik – sowie die Nachbesprechung mit Prüfungsverantwortlichen und Studierendenvertretungen. Zudem erfolgt die Auswertung der studentischen Prüfungsleistungen im Einklang anerkannter Bildungskonsortien .Take Home Messages: Einfache und effiziente serverbasierte Prüfungsauswertung.Umfangreiche und dynamische Darstellung der Ergebnisse als HTML-Dokument. König S Hörnlein A Prüfungen im Medizinstudium – mehr als nur Noten 2019 Wien Med Wochenschr 126-131 König S, Hörnlein A. Prüfungen im Medizinstudium – mehr als nur Noten [Examinations while studying medicine - more than simply grades]. Wien Med Wochenschr. 2019;169(5-6):126-131. DOI: 10.1007/s10354-018-0650-2 http://dx.doi.org/10.1007/s10354-018-0650-2 R Core Team 2004 R: A Language and Environment for Statistical Computing R Core Team. R: A Language and Environment for Statistical Computing. Wien: R Foundation for Statistical Computing; 2004. Jünger J Just I Recommendations of the German Society for Medical Education and the German Association of Medical Faculties regarding university-specific assessments during the study of human, dental and veterinary medicine 2014 GMS Z Med Ausbild Doc34 Jünger J, Just I. Recommendations of the German Society for Medical Education and the German Association of Medical Faculties regarding university-specific assessments during the study of human, dental and veterinary medicine. GMS Z Med Ausbild. 2014;31(3):Doc34. DOI: 10.3205/zma000926 http://dx.doi.org/10.3205/zma000926 0

1 1 Abbildung 1: Ein- und Ausgabebeispiel der ausführlichen serverbasierten PrüfungsauswertungDie Abbildung zeigt (A) das Eingabeformular für schriftliche Prüfungen, sowie verschiedene Details der dynamischen HTML-Ausgabe: (B) Berichtsgliederung (navigierbar) mit grafischer Darstellung der Kennzahlen der Aufgaben, (C) Aufgabenstellung mit Kennzahlen zu Lösungen und Distraktoren sowie Kommentaren der Prüflinge, (D) grafische Darstellung der Auswahlhäufigkeiten (Gesamtkohorte bzw. nach Leistungsgruppen), sowie der Trennschärfe mit linearer Regression und Gesamtpunkteverteilungen je erzielter Punkte der Aufgabe als Violinplot.

1 0 0