Text

Hintergrund: Die wachsende Zahl wissenschaftlicher Publikationen stellt Forschende in der EbM zunehmend vor Herausforderungen. KI-basierte Tools versprechen Unterstützung in Arbeitsschritten wie Screening, Datenextraktion und Workflow-Management. Gleichzeitig bestehen methodische Herausforderungen hinsichtlich Validität, Transparenz und potenzieller Verzerrungen, für die mit RAISE erstmals ein strukturierter Rahmen für den verantwortungsvollen KI-Einsatz in der Evidenzsynthese vorliegt [1]. Zentrale Herausforderungen betreffen u. a. Bias, Intransparenz und Reliabilität KI-gestützter Prozesse [2].

Zielsetzung/Fragestellung: Leitende Fragestellung ist, wie KI sinnvoll, transparent und qualitätsgesichert in der EbM eingesetzt werden kann. Hierzu wird der Workshop:

• einen methodischen Rahmen zur kritischen Bewertung KI-gestützter Anwendungen (bspw. in SRs) vorstellen und
• eine Praxiseinheit ausgewählter KI-Funktionen im Rahmen einer Hands-on-Session bieten.

Diskussionspunkt: Diskutiert wird, an welchen Stellen KI im Reviewprozess einen methodisch vertretbaren Mehrwert bietet und wo Grenzen oder Risiken bestehen, insbesondere im Hinblick auf Transparenz und Reproduzierbarkeit.

Zielgruppe: Der Workshop richtet sich an Forschende, die systematische Reviews (SRs) oder Leitlinien entwickeln und den Einsatz von KI reflektieren sowie praktisch erproben möchten.

Didaktische Methode/n: Der Workshop kombiniert kurze Impulsvorträge mit einer praxisorientierten Kleingruppenphase. In den Vorträgen werden Grundlagen, Einsatzmöglichkeiten und Limitationen von KI entlang eines SR-Prozesses vorgestellt. Dabei werden Fragen der Transparenz und mögliche Risiken in der Anwendung diskutiert.

In der praktischen Arbeitsphase wird zunächst eine ausgewählte Forschungsfrage präsentiert. Die Workshopleitenden demonstrieren exemplarisch einen KI-gestützten Screening-Prozess mit der Software „Elicit“. Darauf aufbauend testen die Teilnehmenden anhand vorbereiteter Beispieldatensätze ausgewählte Funktionen von Elicit für die Datenextraktion. Die erarbeiteten Ergebnisse werden anschließend verglichen. Zudem werden Anwendungserfahrungen, Implikationen und künftige Entwicklungsperspektiven diskutiert.

Take Home Message für die Praxis: KI kann in einzelnen Arbeitsschritten sinnvoll unterstützen, ersetzt jedoch keine methodische Expertise. Voraussetzung für einen verantwortungsvollen Einsatz sind kritische Validierung, transparente Dokumentation und die Orientierung an etablierten Qualitätsstandards.

Kurzvorstellung des/r Workshop-leitenden Person/en: Die Workshopleitenden verfügen über Erfahrung in evidenzbasierter Methodik, der Durchführung systematischer Reviews und der praktischen Anwendung KI-gestützter Tools im Reviewprozess.

Geschätzte Anzahl Teilnehmern/innen: 30

Interessenkonflikte: Keine

Literatur

[1] Flemyng E, Noel-Storr A, Macura B, Gartlehner G, Thomas J, Meerpohl JJ, Jordan Z, Minx J, Eisele-Metzger A, Hamel C, Jemioło P, Porritt K, Grainger M. Position statement on artificial intelligence (AI) use in evidence synthesis across Cochrane, the Campbell Collaboration, JBI and the Collaboration for Environmental Evidence 2025. Cochrane Database of Systematic Reviews. 2025; (10): ED000178. DOI: 10.1002/14651858.ED000178.
[2] Siemens W, von Elm E, Binder H, Böhringer D, Eisele-Metzger A, Gartlehner G, Hanegraaf P, Metzendorf MI, Mosselman JJ, Nowak A, Qureshi R, Thomas J, Waffenschmidt S, Labonté V, Meerpohl JJ. Opportunities, challenges and risks of using artificial intelligence for evidence synthesis. BMJ Evid Based Med. 2025 Dec 1;30(6):381-384. DOI: 10.1136/bmjebm-2024-113320