26rhk027 10.3205/26rhk027 urn:nbn:de:0183-26rhk0276 Meeting Abstract Polyzou Polyzou Maria M

Department of Pathophysiology, School of Medicine, National and Kapodistrian University of Athens, Laiko General Hospital, Athen, Griechenland

author Baraliakos Baraliakos Xenofon X

Rheumazentrum Ruhrgebiet, Ruhruniversität Bochum, Herne, Deutschland

author Vossen Vossen Diana D

Rheumazentrum Ruhrgebiet, Ruhruniversität Bochum, Herne, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20260909 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0656 027 Deutsche Gesellschaft für Rheumatologie Deutsche Gesellschaft für Orthopädische Rheumatologie Gesellschaft für Kinder- und Jugendrheumatologie 54. Kongress der Deutschen Gesellschaft für Rheumatologie und Klinische Immunologie (DGRh), 36. Jahrestagung der Gesellschaft für Kinder- und Jugendrheumatologie (GKJR), 40. Jahrestagung der Deutschen Gesellschaft für Orthopädische Rheumatologie (DGORh) Deutscher Rheumatologiekongress 2026 Digitale Rheumatologie Leipzig 20260909 20260912 DR.17 TextEinleitung: Patient:innen mit entzündlich-rheumatischen Erkrankungen nutzen zunehmend Large Language Models (LLMs) zur Information zu Kinderwunsch, Schwangerschaft und Stillzeit. Diese Themen sind mit Unsicherheiten bezüglich Krankheitsaktivität, Medikation und Risiken verbunden und prägen häufig bereits vor dem Arztkontakt den Informationsstand. Ziel dieser Studie war die systematische Evaluation der Antwortqualität.Methoden: 54 leitlinienbasierte Fragen zu zentralen Aspekten (u.a. Krankheitsaktivität, Fertilität, Medikation, Schwangerschaft, Stillzeit) wurden an vier LLMs (Gemini, Grok, DeepSeek, ChatGPT 5.2)gestellt. Zehn rheumatologische Expert*innen der Schwangerschaftsberatung bewerteten die Antworten auf einer 5-Punkte-Skala hinsichtlich klinischer Genauigkeit, Sicherheit sowie Vollständigkeit und Relevanz. Die Auswertung erfolgte deskriptiv; die Interrater-Übereinstimmung wurde mittels Fleiss’ Kappa, Intraklassen-Korrelationskoeffizient (ICC) und Kendall’s W berechnet.Ergebnisse: DeepSeek erzielte die konsistent höchsten Bewertungen (Minimum ≥ 3,40). Auch ChatGPT schnitt gut ab (3,2–4,7). Grook schnitt durchschnittlich ab (3,5–4,4). Gemini zeigte dagegen eine größere Streuung, z.B. bei „Vollständigkeit“ (2,9–4,6), was auf uneinheitliche Qualität und teilweise geringere Übereinstimmung mit ärztlichen Erwartungen hinweist. Siehe Abbildung 1 . Die Interrater-Übereinstimmung mittels Fleiss kappa war insgesamt gering mit nur vereinzelten schwachen Übereinstimmungen für einzelne Kriterien bei Gemini und Grok. Siehe Graph 2. Der ICC zeigte für Grok die höchste und konsistente Übereinstimmung in allen Kategorien, während Gemini überwiegend moderate Ergebnisse erreichte und insbesondere bei der klinischen Genauigkeit schwächer abschnitt. DeepSeek wies teils sehr geringe Übereinstimmungen auf, während ChatGPT insgesamt moderate Ergebnisse zeigte, mit Schwächen bei der klinischen Sicherheit, aber besseren Werten für Vollständigkeit und Relevanz. Die Interrater-Übereinstimmung mittels Kendall’s W war moderat für DeepSeek und ChatGPT, während sie für Gemini geringer und für Grok insgesamt niedrig bis unzureichend ausfiel, insbesondere hinsichtlich Vollständigkeit und Relevanz.Schlussfolgerung: Die Analyse zeigt, dass die vier untersuchten LLMs durchschnittlich eine zufriedenstellende Zustimmung bei der Generierung von Antworten auf die spezialisierten Fragen bzgl der drei Kategorien erhalten haben. Die geringe Interraterübereinstimmung beeinträchtigt nicht zwangsläufig die Validität der Bewertung, sondern spiegelt vielmehr die inhärente Subjektivität sowie unterschiedliche Interpretationen klinischer Leitlinien durch erfahrene Ärzt:innen bei der Beurteilung komplexer medizinischer Fragestellungen wider. Wir gehen davon aus, dass die geringe Übereinstimmung unter den zehn rheumatologischen Spezialist:innen die Herausforderungen bei der Bewertung der medizinischen Leistungsfähigkeit von KI verdeutlicht. 0

1 1 Abbildung 1

1 0 0