Text

Hintergrund/Fragestellung: Höhere Prozessstufen der revidierten Bloom-Taxonomie werden häufig implizit mit größerer Aufgabenschwierigkeit gleichgesetzt. Ob Unterschiede in der Lösungswahrscheinlichkeit tatsächlich auf die kognitive Prozessstufe oder primär auf das Antwortformat zurückzuführen sind, ist im authentischen Lehrkontext unzureichend untersucht. Ziel der Studie war zu prüfen, ob

1. Analyze-Fragen geringere Lösungswahrscheinlichkeiten aufweisen als Understand-Fragen,
2. das Antwortformat einen stärkeren Einfluss auf die Leistung hat als die kognitive Kategorie und
3. sich Unterschiede in der Antwortsicherheit zeigen.

Methoden: In einer Lehrveranstaltung zur kardiovaskulären Physiologie wurden 315 Studierende randomisiert zwei Gruppen zugeordnet. Identische Fragen wurden gruppenweise entweder als Multiple-Choice-Frage (MC) oder als Kurzantwortfrage (KAF) gestellt; das Antwortformat wurde zwischen den Gruppen von Frage zu Frage gewechselt. Insgesamt wurden 26 Fragen einer reduzierten Bloom-Systematik (Understand, Analyze) zugeordnet. Analysiert wurden 10.980 valide Einzelantworten. Lösungswahrscheinlichkeit wurde mittels logistischer Regression untersucht (Prädiktoren: Kategorie, Format, Interaktion). Zusätzlich wurde die selbstberichtete Antwortsicherheit (4-stufige Skala) analysiert.

Ergebnisse: Analyze-Fragen zeigten eine höhere Lösungsrate als Understand-Fragen (69,1% vs. 52,4%). MC war mit einer höheren Lösungswahrscheinlichkeit assoziiert als KAF (69,1% vs. 52,5%). In der logistischen Regression zeigten sich signifikante Haupteffekte sowohl der Kategorie (Odds Ratio [OR]=1,69; 95%-KI 1,50-1,89; p<.001) als auch des Formats (OR=1,68; 95%-KI 1,50-1,89; p<.001). Zusätzlich zeigte sich eine signifikante Interaktion (OR=1,46; 95%-KI 1,24-1,71; p<.001), wobei der MC-Vorteil bei Analyze-Fragen stärker ausgeprägt war.

Die Antwortsicherheit war bei korrekten Antworten höher als bei inkorrekten (M=2,60 vs. 2,29), wobei die Differenz auf der 4-Punkte-Skala moderat ausfiel. Antwortsicherheit sagte die Lösungswahrscheinlichkeit signifikant voraus (OR≈1,51 pro Skalenpunkt; p<.001). Zwischen Understand- und Analyze-Fragen bestanden hingegen keine relevanten Unterschiede in der mittleren Antwortsicherheit (2,49 vs. 2,47).

Diskussion: Höhere Bloom-Stufen waren weder mit geringerer Lösungswahrscheinlichkeit noch mit geringerer Antwortsicherheit assoziiert. Das Antwortformat hatte einen mindestens ebenso starken Einfluss auf die Leistung und verstärkte sich bei Analyze-Fragen. Die Ergebnisse sprechen gegen eine Gleichsetzung von Bloom-Stufe und Itemschwierigkeit und unterstreichen die Bedeutung der Berücksichtigung von Formateffekten bei der Leistungsbewertung.

Take-Home-Messages:

• Bloom-Level ≠ Aufgabenschwierigkeit.
• Antwortformat ist ein eigenständiger, substantieller Leistungsfaktor.
• MC begünstigt Leistung besonders bei Analyseaufgaben.
• Metakognitive Kalibrierung bleibt über Bloom-Stufen stabil.