Text

Problembeschreibung/Zielsetzung: Die Anforderungen an medizinische Prüfungen sind in den vergangenen zwei Jahrzehnten kontinuierlich gestiegen [1]. Neben fachlicher Validität stehen Standardisierung, rechtliche Absicherung, Vergleichbarkeit, Digitalisierung und Ressourceneffizienz im Fokus. Der Projektbericht beschreibt Entwicklung, Erfahrungen und Perspektiven des Umbrella Consortium for Assessment Networks (UCAN) nach 20 Jahren Bestehen und diskutiert Potenziale sowie Grenzen kooperativer Prüfungsstrukturen.

Projektbeschreibung/Evaluationsmethoden: UCAN ist ein internationaler akademischer Verbund mit derzeit 110 Partnerinstitutionen (medizinische Fakultäten, Fachgesellschaften, Ärztekammern und weitere Organisationen). Ziel ist die kooperative Entwicklung, Organisation, Durchführung, statistische Auswertung und Qualitätssicherung schriftlicher und digitaler Prüfungen.

Prüfungsformate und -werkzeuge wurden kontinuierlich weiterentwickelt, Prozesse zunehmend digitalisiert und automatisiert. Zunehmend kommen KI-gestützte Verfahren zum Einsatz, u.a. zur Unterstützung bei der Erstellung von Prüfungsinhalten [2], formalen Qualitätsprüfungen, Übersetzungen, der Auswertung offener Formate sowie bei der Mustererkennung von Teilnehmerantworten. Dabei stehen Fragen der Validität, Transparenz, Nachvollziehbarkeit und Governance im Mittelpunkt.

Ergebnisse: Seit der Gründung wurden im Netzwerk rund 90.000 Prüfungen mit mehreren Millionen Teilnehmenden durchgeführt. Der gemeinsame Item-Pool ist auf ca. 1,5 Millionen Aufgaben angewachsen; jährlich werden über 150.000 neue Fragen erstellt und in Prüfungen operativ eingesetzt [3].

Die langjährige Kooperation zeigt:

• Effizienzgewinne durch geteilte Entwicklungsressourcen
• Professionalisierte Review- und Qualitätssicherungsprozesse
• Verbesserte Vergleichbarkeit zwischen Standorten
• Etablierte technische und organisatorische Infrastruktur für digitale Prüfungen

Im Bereich KI zeigen sich sowohl Effizienzpotenziale als auch neue Anforderungen an Qualitätssicherung und Steuerung.

Diskussion: Nach zwei Jahrzehnten stellt UCAN ein strukturell etabliertes Kooperationsmodell dar, das Prüfungsprozesse systematisiert und institutionelle Ressourcen bündelt. Digitalisierung und KI verändern die Prüfungslandschaft grundlegend. Netzwerke bieten einen Rahmen, Innovationen gemeinschaftlich zu evaluieren, Standards zu entwickeln und Risiken kontrolliert zu adressieren.

Der Beitrag reflektiert Erfolgsfaktoren, strukturelle Herausforderungen und zukünftige Entwicklungsfelder eines internationalen Prüfungsverbundes.

Take-Home-Messages: Langfristige, institutionenübergreifende Kooperation kann Prüfungsqualität und Effizienz nachhaltig stärken. Die Integration digitaler und KI-gestützter Verfahren erfordert immer gemeinsame Standards, transparente Prozesse und kontinuierliche Evaluation.

Literatur

[1] Egarter S, Mutschler A, Tekian A, Norcini J, Brass K. Medical assessment in the age of digitalisation. BMC Med Educ. 2020;20(1):33. DOI: 10.1186/s12909-020-02014-7
[2] Laupichler MC, Rother JF, Grunwald Kadow IC, Ahmadi S, Raupach T. Large Language Models in Medical Education: Comparing ChatGPT‑to Human‑Generated Exam Questions. Acad Med. 2024;99(5):508-512. DOI: 10.1097/ACM.0000000000005626
[3] Umbrella Consortium for Assessment Networks (UCAN). UCAN-Bericht: 15 Jahre Prüfen im Verbund. Heidelberg: Institut für Kommunikations- und Prüfungsforschung gGmbH; 2025.