Text

Hintergrund: Die Studienselektion ist ein ressourcenintensiver Schritt bei der Erstellung systematischer Reviews. Der Einsatz von Large Language Models (LLMs) stellt einen vielversprechenden Ansatz dar, um die Effizienz dieses Review-Schrittes zu verbessern.

Zielsetzung/Fragestellung: Wie gut performen die Modelle DeepSeek V3, GPT-5 Pro, Gemini 2.5 Pro, Claude Opus 4 und LLaMA 4 Maverick beim Titel- und Abstract-Screening in systematischen Reviews der Ernährungswissenschaften?

Material & Methoden: Wir replizierten das Titel- und Abstract-Screening in einer Stichprobe systematischer Reviews aus den vergangenen fünf Jahren, für die Metadaten zum Screening verfügbar waren. Hierfür wurden drei Prompt-Templates entwickelt und iterativ anhand eines Trainingsdatensatzes optimiert. Die finalisierten Prompt-Templates wurden auf eine Validierungsstichprobe angewendet und mit den fünf LLMs ausgeführt. Die Ein- bzw. Ausschlussentscheidungen der einzelnen LLMs wurden mit dem Referenzstandard (Screening durch zwei unabhängige Reviewer in den Originalarbeiten) verglichen. Zur Bewertung der Übereinstimmung zwischen LLM und Referenzstandard werden Cohens gewichteter Kappa-Koeffizient, Sensitivität und Spezifität sowie der positive und negative prädiktive Wert berechnet. Diskrepanzen zwischen den LLM-basierten Entscheidungen und dem Referenzstandard werden inhaltlich analysiert, um wiederkehrende Fehlerquellen zu identifizieren.

Ergebnisse: Die Validierungsstichprobe umfasst 25 systematische Ernährungsreviews mit insgesamt über 140.000 Referenzen. Darunter sind sieben Cochrane Reviews; 12 Reviews schließen randomisiert kontrollierte Studien ein, acht Beobachtungsstudien und fünf beide Studiendesigns. Die Ergebnisse der Pilotierungsphase zeigen, dass die LLMs eine hohe Sensitivität bei der Identifikation relevanter Studien erreichen können. Dabei variiert die Performance jedoch zwischen den Modellen und den verwendeten Prompt-Templates.

Diskussion: Die Studie liefert empirische Evidenz zur Screening-Performance von LLMs in Evidenzsynthesen, mit Fokus auf Ernährungsfragestellungen und unterschiedliche eingeschlossene Studiendesigns.

Take Home Message für die Praxis: Die Ergebnisse bieten praxisrelevante Einblicke für Autorinnen und Autoren systematischer Reviews sowie für Evidenznutzende hinsichtlich der Chancen und Grenzen der Integration von LLMs in die Erstellung systematischer Reviews.

Interessenkonflikte: Keine