¹Julius-Maximilians-Universität Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Deutschland
²Julius-Maximilians-Universität Würzburg, Rechenzentrum: Anwendungen und Softwareentwicklung, Würzburg, Deutschland
³Julius-Maximilians-Universität Würzburg, Zentrum für Studiengangsmanagement und -entwicklung, Würzburg, Deutschland

Text

Zielsetzung: Schriftliche und praktische Prüfungen finden mit digitaler Unterstützung statt. Schriftliche Prüfungen werden auf Tablet-PCs oder papierbasiert mittels CaseTrain durchgeführt [1]. Praktische Prüfungen finden in Form von Objective structured clinical examination (OSCE) statt. Dabei füllen Prüfende digitale Bewertungslisten über das intern entwickelte OSCEweb aus. Prüfungsergebnisse stehen daher in digitaler Form zur Verfügung.

Die Ergebnispräsentation und -analyse dieser Prüfungen erfolgte bisher mit Microsoft Excel und der Scriptsprache Visual Basic for Applications. Teils waren dabei manuelle Schritte notwendig, die fehleranfällig und zeitaufwändig waren und mit Einarbeitungsaufwand verbunden waren. Die Ergebnisse wurden in Excel-Tabellen und statischen PDF-Dateien ausgegeben, wobei die ursprünglichen Aufgabenstellungen und Bewertungslisten darin nur rudimentär dargestellt waren.

Für eine automatisierte Auswertung wurden daher folgende Ziele gesetzt:

• minimierte Arbeitsschritte und geringe Einarbeitungszeit,
• Berichte mit hohem Nutzwert,
• Aggregation von Aufgabenstellungen und Ergebnissen (auch Notizen zu/von Prüflingen) zur schnellen Identifizierung falsch oder missverständlich formulierter/interpretierter Aufgaben.

Methoden: Für die Umsetzung wurde ein Shiny-Server (basierend auf R [2]) unter Ubuntu eingerichtet. Über eine Web-Oberfläche erfolgt der Upload der Eingabedateien und die Auswahl von Darstellungsoptionen. Grundlage für die Berichterstellung sind

• statistische Analysen (z. B. Einteilung in Leistungsgruppen zur Diskriminationsanalyse),
• grafische Darstellungen von Kennwerten,
• sowie eine Struktur in Rmarkdown.

Diese werden via Pandoc in dynamische HTML- oder PDF-Dokumente umgewandelt.

Ergebnisse: Die Web-Oberfläche ermöglicht eine einfache und intuitive Handhabung in nur wenigen Schritten. Fehler durch falsches Kopieren und Einfügen werden so vermieden und der Ablauf zeitlich effizient.

Die dynamischen HMTL-Berichte sind in allen Web-Browsern darstellbar. Durch interne Verlinkungen in Grafiken und Tabellen erfolgt eine einfache, intuitive und schnelle Navigation zwischen

• verschiedenen Darstellungsvarianten
• sowie den detailreichen Darstellungen statistischer Kennzahlen (Schwierigkeit insgesamt und nach Leistungsgruppen, Trennschärfe mit linearer Regression) für einzelne Aufgaben (siehe Abbildung 1 [Fig. 1]).

Sortier- und Suchmöglichkeiten erweitern die Interaktivität der Dokumente.

Diskussion: Durch Automatisierung und Standardisierung können Prüfungen effizient ausgewertet und detailliert dargestellt werden. Dies erleichtert die Optimierung von Prüfungsaufgaben – auch im Bereich der Medizindidaktik – sowie die Nachbesprechung mit Prüfungsverantwortlichen und Studierendenvertretungen. Zudem erfolgt die Auswertung der studentischen Prüfungsleistungen im Einklang anerkannter Bildungskonsortien [3].

Take Home Messages:

• Einfache und effiziente serverbasierte Prüfungsauswertung.
• Umfangreiche und dynamische Darstellung der Ergebnisse als HTML-Dokument.

Literatur

[1] König S, Hörnlein A. Prüfungen im Medizinstudium – mehr als nur Noten [Examinations while studying medicine - more than simply grades]. Wien Med Wochenschr. 2019;169(5-6):126-131. DOI: 10.1007/s10354-018-0650-2
[2] R Core Team. R: A Language and Environment for Statistical Computing. Wien: R Foundation for Statistical Computing; 2004.
[3] Jünger J, Just I. Recommendations of the German Society for Medical Education and the German Association of Medical Faculties regarding university-specific assessments during the study of human, dental and veterinary medicine. GMS Z Med Ausbild. 2014;31(3):Doc34. DOI: 10.3205/zma000926