Text

Hintergrund: Large Language Model-basierte Tools versprechen durch künstliche Intelligenz die Erstellung von Evidenzsynthesen (ES) zu revolutionieren. Doch während in manchen Bereichen (Literaturauswahl, Datenextraktion) KI-Tools vielversprechende Ergebnisse liefern, fallen bisherige Evaluationen von KI-Suchen mit Recall-Raten von 0–97% sehr variabel aus. Auch ist unklar, wie sich verschiedene Tools im direkten Vergleich schlagen.

Zielsetzung/Fragestellung: Das Projekt der AGM EMB der Arbeitsgemeinschaft für Medizinisches Bibliothekswesen untersucht:

Performance von promptbasierten, KI-gestützten Literaturrecherchen im Vergleich zueinander und zu etablierten systematischen Suchen

Bereitstellung von Informationen über das Tool durch Anbieter

Material & Methoden: Promptbasierte Suchen mit acht Recherche-Tools für wissenschaftliche Literatur: Asta, Consensus, Elicit, Embase AI, SciSpace, Scopus AI, Undermind und Web of Science Research Assistant. Die Suchen basieren auf Forschungsfragen von fünf abgeschlossenen, noch unveröffentlichten ES, mit 10–180 eingeschlossenen Studien.

Untersucht werden:

• Suchleistung: Sensitivität, Präzision und „Number Needed to Read“ im Vergleich zu den ursprünglichen ES-Suchen;
• Vollständigkeit der exportierten Metadaten: Titel, Autor, Jahr, Zeitschrift, DOI, Abstract;
• Stabilität der Ergebnisse bei erneuter Eingabe des Prompts im selben KI-Tool;
• Verfügbare Informationen: Datenquellen, verwendetes KI-Modell, Anleitungen zur Suche/Prompt-Gestaltung.

Ergebnisse: Die Datenerhebung fand im März 2026 statt, die Auswertung wird im Herbst abgeschlossen sein.

Vorläufige Analysen (6/8 Tools, 51/80 Suchläufe) zeigten einen Median Recall von 35,5% (1,5–84%) über alle Tools und Fragestellungen hinweg. Die mediane Schwankung bei erneuter Eingabe desselben Prompts im selben KI-Tool lag bei 2,6% (0–22,7%). Metadaten der 51 Exports waren oft unvollständig: Journal-Titel (29%), DOI (27%), Abstracts (27%).

Die finale Auswertung wird Analysen je Tool und je Fragestellung beinhalten, um ein differenzierteres Bild zu liefern.

Diskussion: Werbeversprechen von KI-Tools wecken hohe Erwartungen KI-gestützten Literatursuchen. Vorläufige Analysen deuten darauf hin, dass die tatsächliche Performance hinter den Erwartungen zurückbleibt.

Take Home Message für die Praxis: KI-Literatursuchen können oft einen Teil der relevanten Literatur zu einer Fragestellung finden und so einen ersten Eindruck der Evidenzlage geben. Basierend auf den vorläufigen Ergebnissen schwankt die Qualität der Suchergebnisse aber stark, was derzeit keine pauschale Empfehlung zulässt.

Interessenkonflikte: Keine