26dgh66 10.3205/26dgh66 urn:nbn:de:0183-26dgh668 Meeting Abstract Cambaz Cambaz Uzay U

Universität Tübingen, Medizinische Fakultät, Tübingen, Deutschland

author Güler Güler Ibrahim I

Universitätsklinik für Plastische, Ästhetische und Handchirurgie, Otto-von-Guericke-Universität Magdeburg, Magdeburg, Deutschland Department für Health Management, Friedrich-Alexander-Universität Erlangen-Nürnberg, Nürnberg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20261008 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0660 66 Deutsche Gesellschaft für Handchirurgie 66. Kongress der Deutschen Gesellschaft für Handchirurgie Digital alles im Griff? Bremen 20261008 20261010 26dgh66 TextFragestellung: Multimodale Large Language Models (MLLMs) werden zunehmend zur radiologischen Bildinterpretation eingesetzt. Während bisherige Studien überwiegend die diagnostische Genauigkeit untersuchen, bleibt die Reproduzierbarkeit der Modelle bei identischen Eingaben weitgehend unklar. Ziel dieser Studie war die Analyse der diagnostischen Genauigkeit und der internen Konsistenz multimodaler KI-Systeme bei der Detektion von Handfrakturen. Methodik: 65 frakturpositive Handröntgenaufnahmen (30 Phalanx-, 30 Mittelhand- und 5 Skaphoidfrakturen) wurden mit vier multimodalen KI-Systemen analysiert (GPT-5 Pro, Gemini 2.5 Pro, Claude Sonnet 4.5, Mistral Medium 3.1). Jeder Datensatz wurde pro Modell fünfmal mit identischem Zero-shot-Prompt und ohne Gesprächskontext evaluiert (1300 Inferenzläufe). Analysiert wurden die diagnostische Genauigkeit, die Inter-Run-Reliabilität mittels Fleiss-κ sowie die frakturspezifischen Leistungsprofile. Ergebnisse: GPT-5 Pro zeigte die höchste diagnostische Genauigkeit (64,3%) bei gleichzeitig substantieller Konsistenz (κ = 0,71). Gemini 2.5 Pro erreichte moderate Werte hinsichtlich der Genauigkeit (56,9%) und Konsistenz (κ = 0,57). Mistral Medium 3.1 zeigte trotz niedriger diagnostischer Genauigkeit (38,5%) eine nahezu perfekte Übereinstimmung zwischen den Durchläufen (κ = 0,88), was auf systematische Fehlentscheidungen hinweist. Claude Sonnet 4.5 zeigte sowohl eine geringe Genauigkeit (33,8%) als auch eine geringe Stabilität (κ = 0,33). Phalanxfrakturen wurden insgesamt zuverlässiger erkannt als Skaphoidfrakturen, die für mehrere Modelle eine deutliche Schwachstelle darstellten. Schlussfolgerung: Diagnostische Genauigkeit und Reproduzierbarkeit sind unterschiedliche Leistungsdimensionen multimodaler KI-Systeme. Eine hohe interne Konsistenz bedeutet nicht zwangsläufig eine korrekte diagnostische Leistung. Aktuelle MLLMs zeigen relevante Limitationen in der handchirurgischen Frakturdiagnostik und sollten derzeit nicht als verlässliche Stand-alone-Systeme eingesetzt werden. Die Bewertung zukünftiger KI-Systeme sollte neben der Genauigkeit auch die Stabilität und Reproduzierbarkeit der Modellantworten berücksichtigen. 0 0 0 0