Text

Problembeschreibung/Zielsetzung: Feedback ist zentral für kompetenzorientierte Bildung, jedoch zeigen Studien, dass Studierende unmittelbar nach OSCE-Prüfungen (Objective Structured Clinical Examinations) nur etwa 16% der Feedbackpunkte erinnern. Ursächlich sind physiologischer Stress und kognitiver Overload während der Prüfungssituation. Zudem stellt die Formulierung qualitativ hochwertigen kurzen Feedbacks für Prüfende eine erhebliche Herausforderung dar. Dieses Projekt untersucht, wie Large Language Models (LLMs) zur Verbesserung der Feedbackqualität und -nachhaltigkeit im OSCE beitragen können. Projektteil 1 evaluiert die Nützlichkeit, Akzeptanz und Retentionsfähigkeit eines LLM-basierten, asynchron bereitgestellten Feedbacks für Studierende. Projektteil 2 analysiert, wie Prüfende ein LLM-generiertes Meta-Feedback zur Reflexion ihrer eigenen Feedbackpraxis wahrnehmen.

Projektbeschreibung/Evaluationsmethoden: In dieser monozentrischen, prospektiven Kohortenstudie wird das mündliche Prüferfeedback während einer OSCE Prüfung am Ende des 10. Fachsemesters audioaufgezeichnet, mittels LLM transkribiert und strukturiert zusammengefasst. Zur Evaluation der Feedbackretention wird diese 0, 4 und 6 Wochen nach der Prüfung abgefragt. Die Studierenden werden randomisiert in zwei Gruppen eingeteilt: Die Interventionsgruppe erhält im Anschluss an die erste Retentions-Abfrage ihr Feedback-Transkript.

Studierende und Prüfende bewerten darüber hinaus ihre Feedbackwahrnehmung. Studierende evaluieren sowohl das mündliche Prüferfeedback als auch die LLM-generierten Zusammenfassungen. Prüfende erhalten während einer Schulung Meta-Feedback zu ihren Feedbackkompetenzen basierend auf LLM-Analysen ihrer Audioaufzeichnungen.

Ergebnisse: Die Datenerhebung beginnt im Sommersemester 2026. Erste Ergebnisse werden zur GMA verfügbar sein.

Diskussion: Die Integration von LLMs in OSCE-Feedbackprozesse bietet Potenzial zur zeitlichen Entkopplung von Prüfung und Feedback, wodurch kognitive Barrieren reduziert werden könnten. Das randomisierte Studiendesign ermöglicht erstmals die Untersuchung, ob schriftliche Feedbackzusammenfassungen die Langzeitretention optimieren. Während Studien zeigen, dass fast 80% der Medizinstudierenden bereits generative KI nutzen, präferieren sie in Prüfungen weiterhin menschliches Feedback. Ein hybrider Ansatz, also eine Kombination aus direktem Feedback und asynchroner LLM-Aufbereitung, könnte die Vorteile beider Ansätze vereinen. Für Prüfende könnte Meta-Feedback die Feedbackqualität systematisch verbessern. Die Studie liefert evidenzbasierte Erkenntnisse für den Einsatz von KI-Technologien in der medizinischen Ausbildung.

Take-Home-Messages: LLM-basierte Feedbackaufbereitung ermöglicht zeitversetzte Rezeption und es wird untersucht, inwiefern das die Retention von Prüfungsfeedback verbessern kann. Die Kombination aus menschlichem und KI-gestütztem Feedback vereint persönliche Interaktion mit technologischer Effizienz.