26gma015 10.3205/26gma015 urn:nbn:de:0183-26gma0158 Meeting Abstract Rieckmann Rieckmann Lisa Marie LM

Uniklinik RWTH Aachen, Institut für Medizinische Informatik, Aachen, Deutschland

author Baumann Baumann Martin M

Uniklinik RWTH Aachen, Institut für Medizinische Informatik, Aachen, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 015 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-03 Gestaltung & Prüfen – Assessments & Fairness Dresden 20260917 20260919 V-0303 TextHintergrund: Für die kontinuierliche Verbesserung und Qualitätssicherung von Prüfungen ist die Evaluation psychometrischer Gütekriterien zentral. Bei kleinen Stichprobengrößen beschränkt sich die psychometrische Analyse meist auf die Klassische Testtheorie. Zwar ermöglichen die Kenngrößen dieser Theorie die Identifikation großer Defizite von Prüfungen, doch geringfügige Auffälligkeiten, die einen frühzeitigen Handlungsbedarf im Prüfungsdesign signalisieren, können unentdeckt bleiben.Methoden: MINT-Studierende der RWTH Aachen werden im Fach „Einführung in die Medizin“ mittels OSPE geprüft. Das Prüfungsformat wurde im Rahmen der Förderung Freiraum 2023 (StIL) erstmalig in diesem Fach zur Prüfung interdisziplinärer Kompetenz implementiert. 32 Studierende nahmen im Sommersemester 2025 an der Prüfung teil. Zur Evaluation der Reliabilität wählten und schätzten wir den geeigneten Reliabilitätskoeffizienten gemäß Cho . Die Konstruktvalidität wurde mittels explorativer Faktorenanalyse evaluiert. Für jede der fünf OSPE-Stationen wurden die Schwierigkeit und die Trennschärfe (Item-Rest-Korrelation) berechnet. Zusätzlich haben wir lineare und lokale Regressionskurven (LOESS) zur Trennschärfe jeder Station in einem Diagramm überlagert, um deren Steigungen und Schnittpunkte mit der Bestehensgrenze (50%) zu analysieren.Ergebnisse: Die Prüfung zeigte eine akzeptable Reliabilität (ω=0,91) und Konstruktvalidität (52% Gesamtvarianz), wobei Station 1 die niedrigste Faktorenladung aufwies. Die Schwierigkeit lag für die meisten Stationen nahe der Bestehensgrenze; nur Station 1 war geringfügig zu einfach (0,79). Die Trennschärfen der Stationen waren akzeptabel bis gut (0,47-0,78). Die Regressionskurven der Stationen 3 bis 5 wiesen darauf hin, dass die Leistung der Prüflinge an diesen Stationen ihre Gesamtleistung widerspiegelte, während nur leistungsstarke Prüflinge Station 2 bestanden haben. Für Station 1 wiesen die konsistent flachen Regressionskurven oberhalb der Bestehensgrenze auf eine geringe Trennschärfe im gesamten Leistungsspektrum der Prüflinge hin.Diskussion: Die Kenngrößen zeigten für Station 1 nur geringe Auffälligkeiten, die bei einer herkömmlichen Prüfungsevaluation leicht übersehen werden könnten. Erst die detaillierte Analyse der Steigungen und des Verlaufs der Regressionskurven machte die Defizite von Station 1 sichtbar. Die Untersuchung der Unterschiede im Stationsdesign ermöglichte uns die Ableitung eines Conceptual Frameworks und praxisorientierter Handlungsempfehlungen für das Design von OSPE-Stationen zur Prüfung interdisziplinärer Kompetenz .Take-Home-Messages: Die Schätzung und Berechnung von Kenngrößen reichen nicht aus, um subtile Defizite einzelner OSPE-Stationen zu erkennen. Die ergänzende Betrachtung von Steigung und Verlauf der Regressionskurven ermöglicht eine frühzeitige Identifikation solcher Auffälligkeiten und damit die Qualitätssicherung sowie die kontinuierliche Verbesserung von Prüfungen in der medizinischen Ausbildung. Cho E Making Reliability Reliable: A Systematic Approach to Reliability Coefficients 2016 Organ Res Method 651-682 Cho E. Making Reliability Reliable: A Systematic Approach to Reliability Coefficients. Organ Res Method. 2016;19(4):651-682. DOI: 10.1177/1094428116656239 http://dx.doi.org/10.1177/1094428116656239 Rieckmann LM Baumann M Designing Objective Structured Practical Examination in Engineering and Science: A Conceptual Framework to Assess Interdisciplinary Competence 2026 Proceedings of the 2026 IEEE EDUCON Global Engineering Education Conference (EDUCON); 2026 Apr 27-30; Kairo, Egypt. Rieckmann LM, Baumann M. Designing Objective Structured Practical Examination in Engineering and Science: A Conceptual Framework to Assess Interdisciplinary Competence. In: Proceedings of the 2026 IEEE EDUCON Global Engineering Education Conference (EDUCON); 2026 Apr 27-30; Kairo, Egypt. IEEE; 2026. Forthcoming. 0 0 0 0