26kgg087 10.3205/26kgg087 urn:nbn:de:0183-26kgg0873 Meeting Abstract Stadelmaier Stadelmaier Julia J

Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author Toews Toews Markus M

Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author Eisele-Metzger Eisele-Metzger Angelika A

Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland Cochrane Deutschland, Cochrane Deutschland Stiftung, Deutschland

author Boehringer Boehringer Daniel D

Klinik für Augenheilkunde, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author Heilmeyer Heilmeyer Felix F

Institut für Digitalisierung in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author Kaier Kaier Klaus K

Institut für Medizinische Biometrie und Statistik, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author Tahmasebi Tahmasebi Noosheen R. NR

Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author Meerpohl Meerpohl Jörg Johannes JJ

Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland Cochrane Deutschland, Cochrane Deutschland Stiftung, Deutschland

author Schwingshackl Schwingshackl Lukas L

Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Albert-Ludwigs-Universität Freiburg, Freiburg, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20251030 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0662 087 Deutsche Gesellschaft für Allgemeinmedizin und Familienmedizin Deutsche Gesellschaft für Sozialmedizin und Prävention Netzwerk Evidenzbasierte Medizin e.V. Deutsche Gesellschaft für Medizinische Soziologie 60. Kongress für Allgemeinmedizin und Familienmedizin Gesundheit gestalten Methoden der Gesundheitsforschung Göttingen 20260930 20261002 V-16-02 TextHintergrund: Die Studienselektion ist ein ressourcenintensiver Schritt bei der Erstellung systematischer Reviews. Der Einsatz von Large Language Models (LLMs) stellt einen vielversprechenden Ansatz dar, um die Effizienz dieses Review-Schrittes zu verbessern.Zielsetzung/Fragestellung: Wie gut performen die Modelle DeepSeek V3, GPT-5 Pro, Gemini 2.5 Pro, Claude Opus 4 und LLaMA 4 Maverick beim Titel- und Abstract-Screening in systematischen Reviews der Ernährungswissenschaften?Material & Methoden: Wir replizierten das Titel- und Abstract-Screening in einer Stichprobe systematischer Reviews aus den vergangenen fünf Jahren, für die Metadaten zum Screening verfügbar waren. Hierfür wurden drei Prompt-Templates entwickelt und iterativ anhand eines Trainingsdatensatzes optimiert. Die finalisierten Prompt-Templates wurden auf eine Validierungsstichprobe angewendet und mit den fünf LLMs ausgeführt. Die Ein- bzw. Ausschlussentscheidungen der einzelnen LLMs wurden mit dem Referenzstandard (Screening durch zwei unabhängige Reviewer in den Originalarbeiten) verglichen. Zur Bewertung der Übereinstimmung zwischen LLM und Referenzstandard werden Cohens gewichteter Kappa-Koeffizient, Sensitivität und Spezifität sowie der positive und negative prädiktive Wert berechnet. Diskrepanzen zwischen den LLM-basierten Entscheidungen und dem Referenzstandard werden inhaltlich analysiert, um wiederkehrende Fehlerquellen zu identifizieren.Ergebnisse: Die Validierungsstichprobe umfasst 25 systematische Ernährungsreviews mit insgesamt über 140.000 Referenzen. Darunter sind sieben Cochrane Reviews; 12 Reviews schließen randomisiert kontrollierte Studien ein, acht Beobachtungsstudien und fünf beide Studiendesigns. Die Ergebnisse der Pilotierungsphase zeigen, dass die LLMs eine hohe Sensitivität bei der Identifikation relevanter Studien erreichen können. Dabei variiert die Performance jedoch zwischen den Modellen und den verwendeten Prompt-Templates.Diskussion: Die Studie liefert empirische Evidenz zur Screening-Performance von LLMs in Evidenzsynthesen, mit Fokus auf Ernährungsfragestellungen und unterschiedliche eingeschlossene Studiendesigns.Take Home Message für die Praxis: Die Ergebnisse bieten praxisrelevante Einblicke für Autorinnen und Autoren systematischer Reviews sowie für Evidenznutzende hinsichtlich der Chancen und Grenzen der Integration von LLMs in die Erstellung systematischer Reviews.Interessenkonflikte: Keine 0 0 0 0