Text

Einleitung: Sprachmodelle werden zunehmend leistungsfähiger und übertreffen in ihrer Leistungsfähigkeit teils bereits etablierte Medizinprodukte. Gleichzeitig werden sie von Ärzt*innen zunehmend auch für diagnostische Fragestellungen genutzt. Bislang fehlt jedoch belastbare Evidenz dazu, welche Auswirkungen diese Nutzung auf diagnostische Qualität, Effizienz und Akzeptanz im klinischen Alltag hat. Prof. Valmed ist laut eigenen Angaben europaweit das erste zugelassene Medizinprodukt, das eine klinische Entscheidungsunterstützung auf Basis eines LLMs ermöglicht. Ziel der ALLIANCE-Studie war die Untersuchung des Einflusses dieser Technologie auf Diagnosegenauigkeit, Bearbeitungszeit und Akzeptanz in der Rheumatologie.

Methoden: ALLIANCE war eine multizentrische, prospektive, randomisiert-kontrollierte Studie. Insgesamt nahmen 82 Ärzte aus sieben Zentren teil, darunter Rheumatologen und andere nicht-rheumatologische Ärzte. Die Teilnehmenden bearbeiteten drei klinische Fälle zu Cogan-Syndrom, Dermatomyositis und familiärem Mittelmeerfieber (FMF). Sie wurden randomisiert entweder einer Kontrollgruppe zugeteilt, die alle Hilfsmittel mit Ausnahme von LLMs nutzen durfte, oder einer Interventionsgruppe, die zusätzlich Zugriff auf Prof. Valmed hatte. Primärer Endpunkt war die Veränderung der Diagnosegenauigkeit im Vergleich zur Baseline (Bearbeitung ohne Hilfsmittel). Zusätzlich wurden die für die diagnostische Unterstützung benötigte Zeit sowie die Akzeptanz der Anwendung untersucht. Die Auswertung erfolgte unadjustiert und adjustiert für Alter, Geschlecht und Fachgebiet.

Ergebnisse: Beide Gruppen profitierten von der diagnostischen Unterstützung. Im Vergleich zur Baseline zeigte sich jedoch kein signifikanter Unterschied im Ausmaß der Verbesserung zwischen der Interventionsgruppe (11,0 %) und der Kontrollgruppe (11,7%; OR = 0,99; 95%-KI 0,45–2,19; p = 0,979), Abbildung 1A [Abb. 1]. Dieses Ergebnis blieb auch nach Adjustierung für Alter, Geschlecht und Fachgebiet unverändert. Hinsichtlich der Effizienz zeigte sich jedoch ein signifikanter Vorteil für die Interventionsgruppe: Die Teilnehmenden der Kontrollgruppe benötigten für die diagnostische Unterstützung im Mittel etwa doppelt so lange wie jene der Interventionsgruppe (206,5 ± 146,7 s vs. 94,3 ± 66,9 s), Abbildung 1B [Abb. 1]. Die gesamte Fallbearbeitungszeit war in der Interventionsgruppe signifikant kürzer und lag im Mittel um 111,6 Sekunden unter der der Kontrollgruppe (95%-KI [−140,6 bis −82,6]; p < 0,001). Zudem gaben 83% der Prof.-Valmed-Nutzer*innen an, das System künftig weiter nutzen zu wollen.

Schlussfolgerung: Die ALLIANCE-Studie ist die erste randomisiert-kontrollierte Studie, die den Einfluss diagnostischer klinischer Entscheidungsunterstützung bei Ärzt*innen in der Rheumatologie untersucht hat. Trotz vergleichbarer Diagnosegenauigkeit zeigte sich ein klarer Vorteil hinsichtlich der benötigten Bearbeitungszeit. Der Einfluss von LLMs auf die klinische Routine sollte in weiteren methodisch robusten Studien idealerweise unter Real-World-Bedingungen untersucht werden.