26gma177 10.3205/26gma177 urn:nbn:de:0183-26gma1779 Meeting Abstract Tuktarova Tuktarova Aliya A

Fachhochschule Technikum Wien, Wien, Österreich

author Grasl Grasl Matthäus M

Medizinische Universität Wien, Wien, Österreich

author Volf Volf Ivo I

Medizinische Universität Wien, Institut für Physiologie, Wien, Österreich

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 177 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) P-07 Poster: KI-Innovation II & Digitale Lehrformate Dresden 20260917 20260919 P-0708 TextHintergrund/Fragestellung: Höhere Prozessstufen der revidierten Bloom-Taxonomie werden häufig implizit mit größerer Aufgabenschwierigkeit gleichgesetzt. Ob Unterschiede in der Lösungswahrscheinlichkeit tatsächlich auf die kognitive Prozessstufe oder primär auf das Antwortformat zurückzuführen sind, ist im authentischen Lehrkontext unzureichend untersucht. Ziel der Studie war zu prüfen, ob Analyze-Fragen geringere Lösungswahrscheinlichkeiten aufweisen als Understand-Fragen, das Antwortformat einen stärkeren Einfluss auf die Leistung hat als die kognitive Kategorie und sich Unterschiede in der Antwortsicherheit zeigen.Methoden: In einer Lehrveranstaltung zur kardiovaskulären Physiologie wurden 315 Studierende randomisiert zwei Gruppen zugeordnet. Identische Fragen wurden gruppenweise entweder als Multiple-Choice-Frage (MC) oder als Kurzantwortfrage (KAF) gestellt; das Antwortformat wurde zwischen den Gruppen von Frage zu Frage gewechselt. Insgesamt wurden 26 Fragen einer reduzierten Bloom-Systematik (Understand, Analyze) zugeordnet. Analysiert wurden 10.980 valide Einzelantworten. Lösungswahrscheinlichkeit wurde mittels logistischer Regression untersucht (Prädiktoren: Kategorie, Format, Interaktion). Zusätzlich wurde die selbstberichtete Antwortsicherheit (4-stufige Skala) analysiert.Ergebnisse: Analyze-Fragen zeigten eine höhere Lösungsrate als Understand-Fragen (69,1% vs. 52,4%). MC war mit einer höheren Lösungswahrscheinlichkeit assoziiert als KAF (69,1% vs. 52,5%). In der logistischen Regression zeigten sich signifikante Haupteffekte sowohl der Kategorie (Odds Ratio [OR]=1,69; 95%-KI 1,50-1,89; p<.001) als auch des Formats (OR=1,68; 95%-KI 1,50-1,89; p<.001). Zusätzlich zeigte sich eine signifikante Interaktion (OR=1,46; 95%-KI 1,24-1,71; p<.001), wobei der MC-Vorteil bei Analyze-Fragen stärker ausgeprägt war.Die Antwortsicherheit war bei korrekten Antworten höher als bei inkorrekten (M=2,60 vs. 2,29), wobei die Differenz auf der 4-Punkte-Skala moderat ausfiel. Antwortsicherheit sagte die Lösungswahrscheinlichkeit signifikant voraus (OR≈1,51 pro Skalenpunkt; p<.001). Zwischen Understand- und Analyze-Fragen bestanden hingegen keine relevanten Unterschiede in der mittleren Antwortsicherheit (2,49 vs. 2,47).Diskussion: Höhere Bloom-Stufen waren weder mit geringerer Lösungswahrscheinlichkeit noch mit geringerer Antwortsicherheit assoziiert. Das Antwortformat hatte einen mindestens ebenso starken Einfluss auf die Leistung und verstärkte sich bei Analyze-Fragen. Die Ergebnisse sprechen gegen eine Gleichsetzung von Bloom-Stufe und Itemschwierigkeit und unterstreichen die Bedeutung der Berücksichtigung von Formateffekten bei der Leistungsbewertung.Take-Home-Messages: Bloom-Level ≠ Aufgabenschwierigkeit.Antwortformat ist ein eigenständiger, substantieller Leistungsfaktor.MC begünstigt Leistung besonders bei Analyseaufgaben.Metakognitive Kalibrierung bleibt über Bloom-Stufen stabil. 0 0 0 0