Text

Fragestellung/Zielsetzung: Der Einsatz von Audience-Response-Systemen (ARS) ermöglicht Vortragenden, Wissen und Verständnis des Auditoriums einzuschätzen und auf dieser Basis den Unterricht zu adaptieren und Feedback zu gestalten. Der übliche Einsatz von Multiple-Choice-(MC)-Fragen limitiert jedoch kognitive Anforderungen und Lernprozesse, wodurch die Aussagekraft der erhaltenen Antworten sinkt. Ein ARS mit Freitexteingabe und zusätzlicher Erfassung der Antwortsicherheit könnte neue Potenziale für Lernprozesse und Feedback eröffnen.

Methoden: Im Rahmen eines fragengeleiteten Unterrichtskonzepts wurden 351 Medizinstudierende des ersten Semesters randomisiert zwei Gruppen zugeteilt. Innerhalb jeder Gruppe wechselte das vorgegebene Antwortformat – MC oder Kurzantwortfrage (KAF) – von Frage zu Frage. Zusätzlich bewerteten die Studierenden ihre Antwortsicherheit auf einer vierstufigen Skala. Die häufigsten Antworten zu jeder Frage (nicht jedoch die Daten zur Antwortsicherheit) wurden anschließend diskutiert.

Die gesammelten Einzelantworten (n=18.225) sowie die Antwortsicherheitsdaten wurden mit dem Datenmodell von GPT (OpenAI) aufbereitet, um individuelles Feedback bereitzustellen.

Ergebnisse: Die Implementierung von KAF führte wie erwartet zu einer größeren Antwortvielfalt und ermöglichte die Identifikation sowie Diskussion realer Fehlkonzepte. Die Studierenden bewerteten KAF im Vergleich mit MC als kognitiv anspruchsvoller. Konsistent damit war der durchschnittliche Prozentsatz korrekter Einzelantworten im MC-Format deutlich höher als im Textformat (70% vs. 52%).

Die durchschnittliche Antwortsicherheit für korrekte Antworten lag bei 2.78, wobei Männer (2.99) signifikant höhere Werte angaben als Frauen (2.63). Auch das Antwortformat hatte einen Einfluss auf die Antwortsicherheit, wenngleich in geringerem Ausmaß (MC: 2.83 vs. KAF: 2.7).

Nach Abschluss der Lehrveranstaltung erhielten interessierte Studierende (opt-in) ein personalisiertes Feedback mit einer Vergleichsanalyse ihrer Leistung und metakognitiven Parameter im Peer-Vergleich.

Diskussion: Der Einsatz des ARS mit Freitext-Option liefert ein realistischeres Bild zu Wissen und Verständnis der Studierenden und erlaubt die Identifikation (und Diskussion) von Fehlkonzepten, welche qualitativ wie auch quantitativ über Distraktoren einer MC Frage nicht abbildbar sind.

Die Erhebung (und kommentierte Rückmeldung) von Testleistung und metakognitiven Parametern scheint auch aufgrund der erhaltenen Ergebnisse speziell in der Frühphase des Studiums einen potentiell wertvollen Beitrag zur Selbsteinschätzung der Studierenden leisten zu können.

Take-Home Messages:

• Durch Einsatz eines Freitext-basierten ARS kann ein realistisches Bild zu studentischem Wissen und Verständnis erhalten werden.
• Individuelles Feedback zu Testleistung und Antwortsicherheit sollte die metakognitive Selbstreflexion fördern.

References