Text

Hintergrund: Test-Enhanced Learning (TEL) beschreibt den Effekt, dass wiederholtes Abrufen durch Tests das langfristige Behalten wirksamer fördert als reines Wiederholen. Tests dienen damit nicht nur der Leistungsüberprüfung, sondern auch der Lernförderung. In formativen TEL-Formaten können zusätzlich Prozessdaten wie Antwortzeiten und Confidence-Based Ratings (CBR) erhoben und für differenziertes Feedback genutzt werden, wobei der Wissensstand, insbesondere das Studienjahr, zu berücksichtigen ist.

Fragestellung: Wie entwickeln sich Antwortzeiten und Confidence-Based Ratings im Test-Enhanced Learning in Abhängigkeit vom Wissensstand?

Methoden: Daten des TEL-Formats „Kompetenzorientierter Progresstest“ (2017-2020) wurden analysiert. Der Basisteil des TEL-Formats umfasst 120 MC-Fragen zu allen Themengebieten der medizinischen Ausbildung. Jede MC-Frage hat eine „Weiß nicht“-Option. Zusätzlich zur Beantwortung kann optional eine vierstufiges CBR (0=„sehr unsicher“ bis 3=„sehr sicher“) angegeben werden (nicht bei „Weiß nicht“). Des Weiteren werden Antwortzeiten während der Online-Durchführung in Log-Dateien aufgezeichnet. An den Tests nahmen insgesamt 2952 Medizinstudierende aus den Studienjahren 1–6 freiwillig teil.

Ergebnisse: 2515 Studierende (86,2%) nutzten das optionale CBR. Das mittlere CBR stieg im Verlauf der Studienjahre 1-6 von 1,31 auf 2,04, bei korrekten Antworten von 1,54 auf 2,24, bei falschen Antworten von 0,99 auf 1,41. Die Differenz zwischen korrekten und falschen Antworten nahm von 0,55 bis 0,82 zu.

Die Mediane der Antwortzeiten stiegen von Studienjahr 1 bis Studienjahr 5 von 31,3 s auf 34,9 s an und sanken im Studienjahr 6 auf 33,2 s. Für korrekte Antworten fielen sie von 35,7 s auf 30,7 s, für falsche Antworten stiegen sie von 40,0 s auf 41,5 s. „Weiß-nicht“-Antworten nahmen von 23,7 s bis 42,3 s zu.

Die Mediane der Antwortzeiten sanken hinsichtlich der CBR-Stufen (0-3) von 41,6 s auf 28,4 s.

Diskussion: Die Ergebnisse zeigen den Mehrwert prozessbezogener Parameter für formative TEL-Formate und differenziertes Feedback. Der kontinuierliche Anstieg des CBR über die Studienjahre zeigt zunehmende subjektive Sicherheit im Umgang mit medizinischem Wissen, wobei der Anstieg des CBR bei falschen Antworten darauf hinweist, dass sich inkorrektes Wissen ebenfalls verfestigt.

Die abnehmenden Antwortzeiten bei korrekten Antworten sprechen für zunehmende Automatisierung und effizienteren Abruf, während falsche Antworten längere Zeit benötigen. Der Anstieg der Antwortzeiten bei „Weiß nicht“-Antworten deutet auf mehr Bemühungen hin, die jeweilige Frage zu lösen und die Option reflektiert einzusetzen.

Sinkende Antwortzeiten bei höherem CBR deuten darauf hin, dass größere subjektive Sicherheit mit schnellerem Abruf konsolidierten Wissens einhergeht.

Take-Home-Message: Antwortzeiten und Confidence-Based Rating enthalten als prozessbezogene Parameter Informationen für Feedback in TEL-Formaten.

References