Text

Hintergrund: Die Erstellung Systematischer Reviews (SR) ist zeit- und ressourcenintensiv, weshalb Bestrebungen zur Automatisierung zunehmen. In einem im Februar 2025 veröffentlichten Scoping Review haben wir 37 Studien eingeschlossen, die Large Language Models (LLMs) zur Erstellung gesundheitsbezogener SR getestet haben. Da die Anzahl veröffentlichter Studien weiter ansteigt, haben wir den Scoping Review in einen Living Scoping Review transformiert.

Zielsetzung/Fragestellung: Unser Living Scoping Review bietet einen laufenden Überblick über Studien, die den Einsatz von LLMs zur Durchführung von SR untersuchen. Wir ermitteln, welche Teilaufgaben (z.B. Entwicklung der Suchstrategie, Screening, Datenextraktion, Risk of Bias) durch LLMs unterstützt werden können.

Diskussionspunkt: Unser Living Scoping Review und OSF-Tabelle beschreiben neu erscheinende Studien, die testen, welche Teilaufgaben eines SRs durch LLMs unterstützt werden können. Zusätzlich identifizieren wir offene Forschungsfragen sowie methodische Einschränkungen der Studien.

Inhalt: Methoden: Aufbauend auf einem Scoping Review führen wir vierteljährliche Suchen in 6 Datenbanken durch. Wir schließen Studien ein, die einen LLM-basierten Arbeitsablauf mit einem menschlichen Referenzstandard vergleichen oder eine menschliche Verifizierung der LLM-Ausgaben beinhalten. Screening und Datenextraktion erfolgen in EPPI Reviewer, wobei die erste Screening-Phase durch ein integriertes LLM automatisiert wird. Die Schlussfolgerungen der Studienautoren hinsichtlich der Nützlichkeit von LLMs für verschiedene Aufgaben werden von uns als „vielversprechend“, „neutral“ oder „nicht vielversprechend“ klassifiziert. Das Protokoll ist auf OSF verfügbar (https://osf.io/asjm3).

Ergebnisse: Die Anzahl der Studien zum Einsatz von LLMs in SR steigt derzeit stark an. Wir gehen davon aus, eine große Anzahl weiterer Studien in unser Review einschließen zu können. Zum Zeitpunkt des Kongresses werden wir die Ergebnisse der ersten publizierten Version des Reviews vorstellen, einschließlich unserer vierteljährlichen Veröffentlichung neu eingeschlossener Studien auf OSF.

Take Home Message für die Praxis: Dieses vierteljährlich aktualisierte Living Scoping Review liefert eine aktuelle, transparente Evidenzbasis zur Eignung von LLMs für die Erstellung von SRs. Unser Review informiert die verantwortungsvolle Nutzung von LLMs für Evidenzsynthesen gemäß der RAISE-Leitlinien.

Interessenkonflikte: Keine