25rhk018 10.3205/25rhk018 urn:nbn:de:0183-25rhk0184 Meeting Abstract Richter Richter Jutta J

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum Rheumatologie, Düsseldorf

author Felde Felde Sabine S

FOM Hochschule für Oekonomie & Management, Ifid Institut für IT Management und Digitalisierung, Düsseldorf

author Buchkremer Buchkremer Rüdiger R

FOM Hochschule für Oekonomie & Management, Ifid Institut für IT Management und Digitalisierung, Düsseldorf

author Chehab Chehab Gamal G

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum Rheumatologie, Düsseldorf

author Thielscher Thielscher Christian C

FOM Hochschule für Oekonomie & Management gemeinnützige GmbH, Kompetenzcentrum für Medizinökonomie, Essen

author Distler Distler Jörg J

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum Rheumatologie, Düsseldorf

author Schneider Schneider Matthias M

Universitätsklinikum Düsseldorf, Medizinische Fakultät, Heinrich-Heine-Universität Düsseldorf, Klinik für Rheumatologie und Hiller Forschungszentrum Rheumatologie, Düsseldorf

author German Medical Science GMS Publishing House

Düsseldorf

610 20250917 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0627 018 Deutsche Gesellschaft für Rheumatologie Deutsche Gesellschaft für Orthopädische Rheumatologie 53. Kongress der Deutschen Gesellschaft für Rheumatologie (DGRh), 39. Jahrestagung der Deutschen Gesellschaft für Orthopädische Rheumatologie (DGORh) Deutscher Rheumatologiekongress 2025 Digitale Rheumatologie Wiesbaden 20250917 20250920 DR.15 TextEinleitung: Die Dokumentation medizinischer Befunde und die Erstellung von Arztbriefen sind essenzielle, aber zeitaufwändige Aufgaben in der rheumatologischen Praxis. Der Einsatz von Large Language Models (LLMs) wie GPT-4o und Mixtral-8x7b-32768 könnte diesen Prozess optimieren. Insbesondere durch Techniken wie gezieltes Prompt Engineering und den Einsatz von Retrieval-Augmented Generation (RAG) könnte sich die Qualität und Effizienz der generierten Texte verbessern. Diese Studie untersucht die Qualität verschiedener Prompting-Strategien zur automatisierten Erstellung rheumatologischer Arztbriefe.Methoden: Fünf LLMs (GPT-4o, Mixtral-8x7b-32768, Nemotron, Qwen-Turbo, Claude-3.5 Sonnet) wurden anhand zehn rheumatologischer Fallbeispiele getestet. Die Modelle erhielten standardisierte sowie speziell für die Fragestellung entwickelte Prompts. Zusätzlich wurden etablierte medizinische evidenzbasierte Empfehlungen (z.B. DGRh, EULAR, ACR) per RAG eingebunden. Die einmalige Bewertung erfolgte unabhängig durch zwei rheumatologische Fachärzt:innen durch quantitative Metriken wie den F1-Score (Maß für Präzision und Vollständigkeit der Modellantworten) und RAGAS (Bewertung der Antwortqualität bei Wissenseinbindung).Ergebnisse: Der gezielte Einsatz von Prompting-Techniken in Kombination mit RAG verbesserte die Qualität der generierten Arztbriefe im Vergleich zu Prompting Techniken ohne RAG signifikant. Besonders ein kleines, lokal installierbares Open-Access-Modell Mixtral-8x7b mit RAG erzielte die höchste Genauigkeit. Chain-of-Thought-Prompting, eine sequenzielle Eingabe-Vorgehensweise, führte zu präziseren und strukturierteren Formulierungen der komplexen medizinischen Inhalte. Dem hingegen bewirkte das Few-Shot-Learning (Prompting mit Beispielen) eine bessere Anpassung an die spezifischen Anforderungen rheumatologischer Arztbriefe, da die Modelle durch Beispiele im Prompt eine bessere Konsistenz und Formatierung erzielten.Schlussfolgerung: Die Kombination aus LLMs und der gezielten Anwendung von Prompting-Techniken in Kombination mit Retrieval-Augmented Generation (RAG) kann die Arztbriefgenerierung in der Rheumatologie erheblich verbessern. Im direkten Vergleich zeigten Modelle mit RAG durchweg eine höhere Qualität in der Textgenerierung, insbesondere bei der Darstellung von Therapieempfehlungen und differenzialdiagnostischen Einschätzungen. 0 0 0 0