26kgg205 10.3205/26kgg205 urn:nbn:de:0183-26kgg2056 Meeting Abstract Klerings Klerings Irma I

Department für Evidenzbasierte Medizin und Evaluation, Universität für Weiterbildung Krems, Österreich

author German Medical Science GMS Publishing House

Düsseldorf

610 20251030 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0662 205 Deutsche Gesellschaft für Allgemeinmedizin und Familienmedizin Deutsche Gesellschaft für Sozialmedizin und Prävention Netzwerk Evidenzbasierte Medizin e.V. Deutsche Gesellschaft für Medizinische Soziologie 60. Kongress für Allgemeinmedizin und Familienmedizin Gesundheit gestalten Digitalisierung Göttingen 20260930 20261002 V-37-02 TextHintergrund: Large Language Model-basierte Tools versprechen durch künstliche Intelligenz die Erstellung von Evidenzsynthesen (ES) zu revolutionieren. Doch während in manchen Bereichen (Literaturauswahl, Datenextraktion) KI-Tools vielversprechende Ergebnisse liefern, fallen bisherige Evaluationen von KI-Suchen mit Recall-Raten von 0–97% sehr variabel aus. Auch ist unklar, wie sich verschiedene Tools im direkten Vergleich schlagen.Zielsetzung/Fragestellung: Das Projekt der AGM EMB der Arbeitsgemeinschaft für Medizinisches Bibliothekswesen untersucht:Performance von promptbasierten, KI-gestützten Literaturrecherchen im Vergleich zueinander und zu etablierten systematischen SuchenBereitstellung von Informationen über das Tool durch AnbieterMaterial & Methoden: Promptbasierte Suchen mit acht Recherche-Tools für wissenschaftliche Literatur: Asta, Consensus, Elicit, Embase AI, SciSpace, Scopus AI, Undermind und Web of Science Research Assistant. Die Suchen basieren auf Forschungsfragen von fünf abgeschlossenen, noch unveröffentlichten ES, mit 10–180 eingeschlossenen Studien.Untersucht werden:Suchleistung: Sensitivität, Präzision und „Number Needed to Read“ im Vergleich zu den ursprünglichen ES-Suchen;Vollständigkeit der exportierten Metadaten: Titel, Autor, Jahr, Zeitschrift, DOI, Abstract;Stabilität der Ergebnisse bei erneuter Eingabe des Prompts im selben KI-Tool;Verfügbare Informationen: Datenquellen, verwendetes KI-Modell, Anleitungen zur Suche/Prompt-Gestaltung.Ergebnisse: Die Datenerhebung fand im März 2026 statt, die Auswertung wird im Herbst abgeschlossen sein.Vorläufige Analysen (6/8 Tools, 51/80 Suchläufe) zeigten einen Median Recall von 35,5% (1,5–84%) über alle Tools und Fragestellungen hinweg. Die mediane Schwankung bei erneuter Eingabe desselben Prompts im selben KI-Tool lag bei 2,6% (0–22,7%). Metadaten der 51 Exports waren oft unvollständig: Journal-Titel (29%), DOI (27%), Abstracts (27%).Die finale Auswertung wird Analysen je Tool und je Fragestellung beinhalten, um ein differenzierteres Bild zu liefern.Diskussion: Werbeversprechen von KI-Tools wecken hohe Erwartungen KI-gestützten Literatursuchen. Vorläufige Analysen deuten darauf hin, dass die tatsächliche Performance hinter den Erwartungen zurückbleibt.Take Home Message für die Praxis: KI-Literatursuchen können oft einen Teil der relevanten Literatur zu einer Fragestellung finden und so einen ersten Eindruck der Evidenzlage geben. Basierend auf den vorläufigen Ergebnissen schwankt die Qualität der Suchergebnisse aber stark, was derzeit keine pauschale Empfehlung zulässt.Interessenkonflikte: Keine 0 0 0 0