70. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V.
Statistische Inferenz und Effektmaße in Abstracts der wichtigsten HIV- und AIDS-Fachzeitschriften, 1987–2022: Eine systematische Übersicht
2Institute for Transfusion Medicine, University Hospital Essen, Essen, Germany
3Fachhochschule Dortmund, Fachbereich Informatik, Dortmund, Germany
4Departments of Epidemiology and Global Health, Boston University School of Public Health, Boston University, Boston, United States
Text
Zielsetzungen: Mit dem Aufkommen von HIV/AIDS-Fachzeitschriften in den 1980er Jahren kann die Entwicklung der Berichterstattung über statistische Inferenz und Effektmaße in veröffentlichten Abstracts von Beginn einer neuen medizinischen Disziplin an untersucht werden. Ziel dieser Studie war es, die zeitliche Entwicklung der Berichterstattung über statistische Inferenz und Effektmaße in Abstracts der wichtigsten HIV/AIDS-Fachzeitschriften zu beschreiben. Die Konzentration auf Abstracts hat drei Gründe: (1) es ist häufig der einzige Abschnitt einer Publikation, der gelesen wird, (2) es spiegelt den Berichtsstil wider, den die Autoren für am relevantesten halten und (3) die korrekte Präsentation und Interpretation ist insbesondere im Abstract von Bedeutung [1].
Methoden: Wir schlossen die 10 mit höchsten Journal Impact Faktor versehenen HIV/AIDS-Zeitschriften ein und analysierten alle verfügbaren PubMed-Einträge für den Zeitraum 1987 bis 2022. Wir wandten regelbasiertes Textmining, wie in Vorarbeiten bereits entwickelt [2], [3], [4], und maschinelles Lernen an, um das Vorhandensein von Konfidenzintervallen, numerischen p-Werten oder Vergleichen von p-Werten mit Schwellenwerten, Formulierungen zur Beschreibung der statistischen Signifikanz und Effektmaßen für dichotome Ergebnisse zu erkennen. Anhand von Zufallsstichproben wurden das regelbasierte Textmining validiert.
Ergebnisse: Von 41.730 PubMed-Einträgen aus den wichtigsten HIV/AIDS-Fachzeitschriften enthielten 31.665 ein Abstract. In den ersten Jahren enthielten die meisten Abstracts, in denen über statistische Inferenz berichtet wurde, nur Signifikanzterminologie ohne Konfidenzintervalle und p-Werte. Von 1988 bis 2005 enthielten jedes Jahr 30% aller Abstracts p-Werte ohne Konfidenzintervalle. Danach nahm diese Art der Berichterstattung weiter ab. Die Angabe von Konfidenzintervallen nahm von 1988 (11%) bis 2022 (56%) stetig zu. Von den 17% der Abstracts im Zeitraum 2017-2022, die ein Effektmaß enthielten, berichtete die Hälfte Odds Ratios (51%), gefolgt von Hazard Ratios (28%) und Risik Ratios (16%). Differenzmaße, Number needed to treat und Number needed to harm waren sehr selten.
Diskussion: In der HIV/AIDS-Literatur werden Konfidenzintervalle inzwischen in großem Umfang verwendet. In den meisten der von uns untersuchten Zeitschriften wurde im Laufe der Zeit immer seltener nur die statistische Signifikanz ohne Konfidenzintervalle angegeben.
Schlussfolgerungen: Wir sehen eine deutliche Verbesserung darin, dass in Abstracts der HIV/AIDS-Literatur nicht mehr nur die statistische Signifikanz angegeben wird. Dies allein bedeutet jedoch noch nicht, dass man sich in dem Maße von Hypothesentests verabschiedet hat.
Die Autoren geben an, dass kein Interessenkonflikt besteht.
Die Autoren geben an, dass kein Ethikvotum erforderlich ist.
Das in englischer Sprache verfasste Abstract wurde bei der Jahrestagung „Society for Epidemiologic Research“ (SER), Juni 2025 in Boston, eingereicht und als Posterbeitrag angenommen.
References
[1] Hemming K, Javid I, Taljaard M. A review of high impact journals found that misinterpretation of non-statistically significant results from randomized trials was common. J Clin Epidemiol. 2022;145:112-20.[2] Stang A, Deckert M, Stolpe S. Statistical inference in abstracts published in cardiovascular journals. J Am College Cardiol. 2021;77:1554-1561.
[3] Stang A, Schmidt B. Reporting of statistical inference in abstracts of major cancer journals 1990-2020. JAMA Network Open. 2022;5(6):e2218337.
[4] Stang A, Rothman KJ. Statistical inference and effect measures in abstracts of randomized controlled trials, 1975-2021. A systematic review. Eur J Epidemiol. 2023;38:1035-1042.
