26gma035 10.3205/26gma035 urn:nbn:de:0183-26gma0351 Meeting Abstract Brass Brass Konstantin K

Institut für Kommunikations- und Prüfungsforschung gGmbH, Heidelberg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260904 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0655 035 Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) V-06 KI – Assessment, Testing & Feedback Dresden 20260917 20260919 V-0605 TextProblembeschreibung/Zielsetzung: Die Anforderungen an medizinische Prüfungen sind in den vergangenen zwei Jahrzehnten kontinuierlich gestiegen . Neben fachlicher Validität stehen Standardisierung, rechtliche Absicherung, Vergleichbarkeit, Digitalisierung und Ressourceneffizienz im Fokus. Der Projektbericht beschreibt Entwicklung, Erfahrungen und Perspektiven des Umbrella Consortium for Assessment Networks (UCAN) nach 20 Jahren Bestehen und diskutiert Potenziale sowie Grenzen kooperativer Prüfungsstrukturen.Projektbeschreibung/Evaluationsmethoden: UCAN ist ein internationaler akademischer Verbund mit derzeit 110 Partnerinstitutionen (medizinische Fakultäten, Fachgesellschaften, Ärztekammern und weitere Organisationen). Ziel ist die kooperative Entwicklung, Organisation, Durchführung, statistische Auswertung und Qualitätssicherung schriftlicher und digitaler Prüfungen.Prüfungsformate und -werkzeuge wurden kontinuierlich weiterentwickelt, Prozesse zunehmend digitalisiert und automatisiert. Zunehmend kommen KI-gestützte Verfahren zum Einsatz, u.a. zur Unterstützung bei der Erstellung von Prüfungsinhalten , formalen Qualitätsprüfungen, Übersetzungen, der Auswertung offener Formate sowie bei der Mustererkennung von Teilnehmerantworten. Dabei stehen Fragen der Validität, Transparenz, Nachvollziehbarkeit und Governance im Mittelpunkt.Ergebnisse: Seit der Gründung wurden im Netzwerk rund 90.000 Prüfungen mit mehreren Millionen Teilnehmenden durchgeführt. Der gemeinsame Item-Pool ist auf ca. 1,5 Millionen Aufgaben angewachsen; jährlich werden über 150.000 neue Fragen erstellt und in Prüfungen operativ eingesetzt .Die langjährige Kooperation zeigt:Effizienzgewinne durch geteilte EntwicklungsressourcenProfessionalisierte Review- und QualitätssicherungsprozesseVerbesserte Vergleichbarkeit zwischen StandortenEtablierte technische und organisatorische Infrastruktur für digitale PrüfungenIm Bereich KI zeigen sich sowohl Effizienzpotenziale als auch neue Anforderungen an Qualitätssicherung und Steuerung.Diskussion: Nach zwei Jahrzehnten stellt UCAN ein strukturell etabliertes Kooperationsmodell dar, das Prüfungsprozesse systematisiert und institutionelle Ressourcen bündelt. Digitalisierung und KI verändern die Prüfungslandschaft grundlegend. Netzwerke bieten einen Rahmen, Innovationen gemeinschaftlich zu evaluieren, Standards zu entwickeln und Risiken kontrolliert zu adressieren.Der Beitrag reflektiert Erfolgsfaktoren, strukturelle Herausforderungen und zukünftige Entwicklungsfelder eines internationalen Prüfungsverbundes.Take-Home-Messages: Langfristige, institutionenübergreifende Kooperation kann Prüfungsqualität und Effizienz nachhaltig stärken. Die Integration digitaler und KI-gestützter Verfahren erfordert immer gemeinsame Standards, transparente Prozesse und kontinuierliche Evaluation. Egarter S Mutschler A Tekian A Norcini J Brass K Medical assessment in the age of digitalisation 2020 BMC Med Educ 33 Egarter S, Mutschler A, Tekian A, Norcini J, Brass K. Medical assessment in the age of digitalisation. BMC Med Educ. 2020;20(1):33. DOI: 10.1186/s12909-020-02014-7 http://dx.doi.org/10.1186/s12909-020-02014-7 Laupichler MC Rother JF Grunwald Kadow IC Ahmadi S Raupach T Large Language Models in Medical Education: Comparing ChatGPT‑to Human‑Generated Exam Questions 2024 Acad Med 508-512 Laupichler MC, Rother JF, Grunwald Kadow IC, Ahmadi S, Raupach T. Large Language Models in Medical Education: Comparing ChatGPT‑to Human‑Generated Exam Questions. Acad Med. 2024;99(5):508-512. DOI: 10.1097/ACM.0000000000005626 http://dx.doi.org/10.1097/ACM.0000000000005626 Umbrella Consortium for Assessment Networks (UCAN) 2025 UCAN-Bericht: 15 Jahre Prüfen im Verbund Umbrella Consortium for Assessment Networks (UCAN). UCAN-Bericht: 15 Jahre Prüfen im Verbund. Heidelberg: Institut für Kommunikations- und Prüfungsforschung gGmbH; 2025. 0 0 0 0