Text

Hintergrund: Large Language Models (LLMs) werden zunehmend in der Medizin evaluiert. Die Evidenz zur Anwendung von LLMs in der Allgemeinmedizin ist jedoch begrenzt.

Zielsetzung/Fragestellung: Ziel ist es, empirisch evaluierte LLM-Anwendungsfälle mit Relevanz für die Allgemeinmedizin zu identifizieren, die Bewertungsansätze dieser Anwendungen zu beschreiben und ein vorläufiges Modell zur Bewertung von LLMs in der Allgemeinmedizin abzuleiten.

Material & Methoden: Wir führten ein PRISMA-ScR-geleitetes Scoping Review durch. Fünf Datenbanken (PubMed, Scopus, Cochrane Library, IEEE Xplore, ACM Digital Library) wurden am 24. Oktober 2025 durchsucht. Eingeschlossen wurden empirische Evaluationen von LLMs in der Allgemeinmedizin oder mit expliziter Relevanz für dieses Fachgebiet. Die Studien wurden nach Anwendungsfällen und Evaluationsdomänen kategorisiert. Die Ergebnisse wurden synthetisiert, um die Entwicklung eines Bewertungsmodells zu unterstützen.

Ergebnisse: Von 5.777 identifizierten Datensätzen wurden 25 Studien eingeschlossen. 56% davon wurden im Jahr 2025 veröffentlicht. Die meisten Studien wurden in den Vereinigten Staaten oder im Vereinigten Königreich durchgeführt und nutzten proprietäre oder gemischte Modelle (22/25, 88%). Die Anwendungsfälle ließen sich vor allem in klinische Entscheidungsunterstützung (12/25, 48%), Dokumentations- bzw. administrative Unterstützung (7/25, 28%) sowie Ärzt:innen-Patient:innen-Kommunikation (6/25, 24%) einordnen.

Hinsichtlich der Evaluationsdomänen dominierten technische Performance (20/25, 80%) und Qualität des Outputs (12/25, 48%), während Prozess- und Effizienzaspekte (6/25, 24%), nutzerzentrierte Outcomes (5/25, 20%) sowie klinische Outcomes (2/25, 8%) seltener untersucht wurden.

Wir schlagen ein stufenweises Bewertungsmodell vor, das Relevanz und Design, eine multidimensionale Evaluation sowie die Erprobung unter realen Bedingungen umfasst.

Diskussion: Für die Allgemeinmedizin relevante LLM-Evaluationen sind schwer vergleichbar und bilden zentrale Prinzipien der Allgemeinmedizin bislang nicht konsistent ab. Ein Bewertungsmodell sollte sowohl generische Evaluationsdomänen als auch spezifische Kriterien für die Allgemeinmedizin umfassen, die den besonderen Anforderungen dieses Fachgebiets gerecht werden.

Take Home Message für die Praxis: LLMs können in der Allgemeinmedizin unterstützend eingesetzt werden, sollten jedoch aufgrund begrenzter und uneinheitlicher Evidenz nur kritisch und stets im Kontext hausärztlicher Prinzipien genutzt werden.

Interessenkonflikte: Keine