26kgg504 10.3205/26kgg504 urn:nbn:de:0183-26kgg5040 Meeting Abstract Stamer Stamer Tjorven T

Universität zu Lübeck, Institut für Allgemeinmedizin, Lübeck, Deutschland

author Steinhäuser Steinhäuser Jost J

Universität zu Lübeck, Institut für Allgemeinmedizin, Lübeck, Deutschland

author Cittadino Cittadino Jonas Antonio JA

Universität zu Lübeck, Institut für Allgemeinmedizin, Lübeck, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20251030 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0662 504 Deutsche Gesellschaft für Allgemeinmedizin und Familienmedizin Deutsche Gesellschaft für Sozialmedizin und Prävention Netzwerk Evidenzbasierte Medizin e.V. Deutsche Gesellschaft für Medizinische Soziologie 60. Kongress für Allgemeinmedizin und Familienmedizin Gesundheit gestalten Evidenzbasierte Gesundheitsversorgung/Digitalisierung Göttingen 20260930 20261002 OSFM-03-05 TextHintergrund: Large Language Models (LLMs) werden zunehmend in der Medizin evaluiert. Die Evidenz zur Anwendung von LLMs in der Allgemeinmedizin ist jedoch begrenzt.Zielsetzung/Fragestellung: Ziel ist es, empirisch evaluierte LLM-Anwendungsfälle mit Relevanz für die Allgemeinmedizin zu identifizieren, die Bewertungsansätze dieser Anwendungen zu beschreiben und ein vorläufiges Modell zur Bewertung von LLMs in der Allgemeinmedizin abzuleiten.Material & Methoden: Wir führten ein PRISMA-ScR-geleitetes Scoping Review durch. Fünf Datenbanken (PubMed, Scopus, Cochrane Library, IEEE Xplore, ACM Digital Library) wurden am 24. Oktober 2025 durchsucht. Eingeschlossen wurden empirische Evaluationen von LLMs in der Allgemeinmedizin oder mit expliziter Relevanz für dieses Fachgebiet. Die Studien wurden nach Anwendungsfällen und Evaluationsdomänen kategorisiert. Die Ergebnisse wurden synthetisiert, um die Entwicklung eines Bewertungsmodells zu unterstützen.Ergebnisse: Von 5.777 identifizierten Datensätzen wurden 25 Studien eingeschlossen. 56% davon wurden im Jahr 2025 veröffentlicht. Die meisten Studien wurden in den Vereinigten Staaten oder im Vereinigten Königreich durchgeführt und nutzten proprietäre oder gemischte Modelle (22/25, 88%). Die Anwendungsfälle ließen sich vor allem in klinische Entscheidungsunterstützung (12/25, 48%), Dokumentations- bzw. administrative Unterstützung (7/25, 28%) sowie Ärzt:innen-Patient:innen-Kommunikation (6/25, 24%) einordnen.Hinsichtlich der Evaluationsdomänen dominierten technische Performance (20/25, 80%) und Qualität des Outputs (12/25, 48%), während Prozess- und Effizienzaspekte (6/25, 24%), nutzerzentrierte Outcomes (5/25, 20%) sowie klinische Outcomes (2/25, 8%) seltener untersucht wurden.Wir schlagen ein stufenweises Bewertungsmodell vor, das Relevanz und Design, eine multidimensionale Evaluation sowie die Erprobung unter realen Bedingungen umfasst.Diskussion: Für die Allgemeinmedizin relevante LLM-Evaluationen sind schwer vergleichbar und bilden zentrale Prinzipien der Allgemeinmedizin bislang nicht konsistent ab. Ein Bewertungsmodell sollte sowohl generische Evaluationsdomänen als auch spezifische Kriterien für die Allgemeinmedizin umfassen, die den besonderen Anforderungen dieses Fachgebiets gerecht werden.Take Home Message für die Praxis: LLMs können in der Allgemeinmedizin unterstützend eingesetzt werden, sollten jedoch aufgrund begrenzter und uneinheitlicher Evidenz nur kritisch und stets im Kontext hausärztlicher Prinzipien genutzt werden.Interessenkonflikte: Keine 0 0 0 0