Text

Einleitung: Patient:innen mit entzündlich-rheumatischen Erkrankungen nutzen zunehmend Large Language Models (LLMs) zur Information zu Kinderwunsch, Schwangerschaft und Stillzeit. Diese Themen sind mit Unsicherheiten bezüglich Krankheitsaktivität, Medikation und Risiken verbunden und prägen häufig bereits vor dem Arztkontakt den Informationsstand. Ziel dieser Studie war die systematische Evaluation der Antwortqualität.

Methoden: 54 leitlinienbasierte Fragen zu zentralen Aspekten (u.a. Krankheitsaktivität, Fertilität, Medikation, Schwangerschaft, Stillzeit) wurden an vier LLMs (Gemini, Grok, DeepSeek, ChatGPT 5.2)gestellt. Zehn rheumatologische Expert*innen der Schwangerschaftsberatung bewerteten die Antworten auf einer 5-Punkte-Skala hinsichtlich klinischer Genauigkeit, Sicherheit sowie Vollständigkeit und Relevanz. Die Auswertung erfolgte deskriptiv; die Interrater-Übereinstimmung wurde mittels Fleiss’ Kappa, Intraklassen-Korrelationskoeffizient (ICC) und Kendall’s W berechnet.

Ergebnisse: DeepSeek erzielte die konsistent höchsten Bewertungen (Minimum ≥ 3,40). Auch ChatGPT schnitt gut ab (3,2–4,7). Grook schnitt durchschnittlich ab (3,5–4,4). Gemini zeigte dagegen eine größere Streuung, z.B. bei „Vollständigkeit“ (2,9–4,6), was auf uneinheitliche Qualität und teilweise geringere Übereinstimmung mit ärztlichen Erwartungen hinweist. Siehe Abbildung 1 [Abb. 1]. Die Interrater-Übereinstimmung mittels Fleiss kappa war insgesamt gering mit nur vereinzelten schwachen Übereinstimmungen für einzelne Kriterien bei Gemini und Grok. Siehe Graph 2. Der ICC zeigte für Grok die höchste und konsistente Übereinstimmung in allen Kategorien, während Gemini überwiegend moderate Ergebnisse erreichte und insbesondere bei der klinischen Genauigkeit schwächer abschnitt. DeepSeek wies teils sehr geringe Übereinstimmungen auf, während ChatGPT insgesamt moderate Ergebnisse zeigte, mit Schwächen bei der klinischen Sicherheit, aber besseren Werten für Vollständigkeit und Relevanz. Die Interrater-Übereinstimmung mittels Kendall’s W war moderat für DeepSeek und ChatGPT, während sie für Gemini geringer und für Grok insgesamt niedrig bis unzureichend ausfiel, insbesondere hinsichtlich Vollständigkeit und Relevanz.

Schlussfolgerung: Die Analyse zeigt, dass die vier untersuchten LLMs durchschnittlich eine zufriedenstellende Zustimmung bei der Generierung von Antworten auf die spezialisierten Fragen bzgl der drei Kategorien erhalten haben. Die geringe Interraterübereinstimmung beeinträchtigt nicht zwangsläufig die Validität der Bewertung, sondern spiegelt vielmehr die inhärente Subjektivität sowie unterschiedliche Interpretationen klinischer Leitlinien durch erfahrene Ärzt:innen bei der Beurteilung komplexer medizinischer Fragestellungen wider. Wir gehen davon aus, dass die geringe Übereinstimmung unter den zehn rheumatologischen Spezialist:innen die Herausforderungen bei der Bewertung der medizinischen Leistungsfähigkeit von KI verdeutlicht.