25rhk016 10.3205/25rhk016 urn:nbn:de:0183-25rhk0160 Meeting Abstract Richter Richter Jutta J

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum, Düsseldorf

author Felde Felde Sabine S

FOM Hochschule für Oekonomie & Management, Institut für IT Management und Digitalisierung, Düsseldorf

author Buchkremer Buchkremer Rüdiger R

FOM Hochschule für Oekonomie & Management, Institut für IT Management und Digitalisierung, Düsseldorf

author Chehab Chehab Gamal G

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum, Düsseldorf

author Thielscher Thielscher Christian C

FOM Hochschule für Oekonomie & Management gemeinnützige GmbH, Essen

author Distler Distler Jörg J

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum, Düsseldorf

author Schneider Schneider Matthias M

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum, Düsseldorf

author German Medical Science GMS Publishing House

Düsseldorf

610 20250917 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0627 016 Deutsche Gesellschaft für Rheumatologie Deutsche Gesellschaft für Orthopädische Rheumatologie 53. Kongress der Deutschen Gesellschaft für Rheumatologie (DGRh), 39. Jahrestagung der Deutschen Gesellschaft für Orthopädische Rheumatologie (DGORh) Deutscher Rheumatologiekongress 2025 Digitale Rheumatologie Wiesbaden 20250917 20250920 DR.11 TextEinleitung: Besonders bei komplexen Krankheitsbildern wie der rheumatoiden Arthritis (RA), die eine differenzierte Analyse klinischer Symptome, Laborwerte und bildgebender Verfahren erfordert, könnten LLMs als intelligente Entscheidungshilfen dienen. Da leistungsstarke LLMs oft nur von proprietären Anbietern bereitgestellt werden, könnte die Nutzung kleinerer, lokal installierbarer Modelle eine datenschutzfreundliche und kosteneffiziente Alternative darstellen. Diese Studie untersucht die Effizienz und klinische Anwendbarkeit großer und kleiner LLMs anhand realer Testfälle zur RA-Diagnostik und Therapieplanung.Methoden: Fünf LLMs – zwei große (GPT-4o, Claude Sonnet 3.5) und drei kleinere Modelle (Nemotron-70B, Qwen-Turbo, Mixtral-8x7B) – wurden unter standardisierten Bedingungen getestet. Bewertet wurden: Diagnostische Genauigkeit, Rechenaufwand und Effizienz, Richtigkeit und klinische Relevanz der Therapieempfehlungen, Einfluss externer Wissensquellen durch Tests mit und ohne Retrieval-Augmented Generation (RAG). Ein besonderer Fokus lag darauf, ob kleinere lokal installierbare Modelle mit 70B und 7B Parametern mit großen Cloud-Modellen konkurrieren können. Getestet wurden hierbei die Vollständigkeit und Genauigkeit der Diagnosen und Therapieempfehlungen im Vergleich zu ärztlichen Empfehlungen (F1 Score). Sämtliche Empfehlungen der KI wurden zudem verglichen mit standardisierten Richtlinien (über ein RAG). Als Untersuchungsgegenstand dienten zehn anonymisierte Patient:innenakten mit der Diagnose „Rheumatoide Arthritis“. Die F1-Scores wurden mit vorhanden/nicht vorhanden bewertet (ohne Schwerpunktsetzung).Ergebnisse: Die höchste diagnostische Präzision erzielte Mixtral-8x7B mit RAG (F1-Score: 71,8%), gefolgt von Nemotron-70B ohne RAG (70,9%). Claude 3.5 Sonnet ohne RAG erreichte eine vergleichbare Leistung (67,9%), während GPT-4o mit RAG mit 71,3% ebenfalls gut abschnitt. Auch bei Laborwert-Interpretationen, Differenzialdiagnostik und Therapieempfehlungen lieferten die 70B-Modelle in 83% der Testfälle vergleichbare Ergebnisse wie die großen Modelle. Selbst die 7B-Modelle erreichten in 76% der Fälle ähnliche Resultate. RAG verbesserte die Qualität der Therapieempfehlungen (vorhandene/nicht vorhandene Empfehlungen). Mixtral-8x7B mit RAG schnitt mit 73% (vs. 61,1% ohne RAG) am besten ab, dicht gefolgt von Qwen-Turbo mit RAG mit 72,3% (vs. 68% ohne RAG).Schlussfolgerung: Kleinere LLMs erzielen in vielen Bereichen vergleichbare oder sogar bessere Leistungen als große Modelle, insbesondere wenn sie mit externer medizinischer Evidenz (RAG) ergänzt werden. Ihre Vorteile – Nachhaltigkeit (Energieverbrauch), Anbieter-Unabhängigkeit, lokale Installation, Datenschutzkonformität und reduzierte Betriebskosten – machen sie für den klinischen Einsatz besonders attraktiv. Allerdings erreichen die Modelle aktuell noch nicht das erforderliche fachärztliche Niveau, um eine routinemäßige Nutzung in der Praxis uneingeschränkt zu empfehlen. 0 0 0 0