¹Institut für Medizinische Informatik, Biometrie und Epidemiologie, Universitätsmedizin Essen, Essen, Germany
²Research Unit for General Practice, Department of Public Health, University of Southern Denmark, Esbjerg-Odense, Denmark
³Ruhr-University Bochum, Department of Medical Informatics, Biometry and Epidemiology, Bochum, Germany
⁴Institute of Global Health, University Hospital Heidelberg, Heidelberg, Germany
⁵Leibniz Institute for Prevention Research and Epidemiology - BIPS, Bremen, Germany
⁶Institut für Prävention und Arbeitsmedizin der Deutschen Gesetzlichen Unfallversicherung - Institut der Ruhr-Universität-Bochum (IPA), Bochum, Germany
⁷Departments of Biostatistics and Epidemiology, Epidemiology, Biostatistics and Prevention Institute, University of Zurich, Zürich, Switzerland
⁸Institute of Health Services Research and Health Economics, German Diabetes Center, Leibniz Center for Diabetes Research at Heinrich Heine University Düsseldorf, Düsseldorf, Germany
⁹Institute for Medical Epidemiology, Biometrics, and Informatics, Interdisciplinary Centre for Health Sciences, Medical Faculty of the Martin Luther University Halle-Wittenberg, Halle (Saale), Germany
¹⁰Universität zu Lübeck, Lübeck, Germany
¹¹Center for Reproducible Science, University of Zurich, Zürich, Switzerland
¹²Institute of Epidemiology and Social Medicine, University of Münster, Münster, Germany
¹³Department of Diagnostic and Interventional Radiology, Medical Center, Faculty of Medicine, University of Freiburg, Freiburg, Germany
¹⁴Institute of Epidemiology, Helmholtz Munich, Neuherberg, München, Germany
¹⁵Julius-Maximilians-Universität Würzburg, Institute of Clinical Epidemiology and Biometry, Würzburg, Germany
¹⁶School of Public Health, Department of Epidemiology, Boston University, Boston, United States
¹⁷Institute of Medical Biostatistics, Epidemiology, and Informatics, University Medical Centre Mainz, Mainz, Germany
¹⁸Department of Public Health, Research Unit for Health Promotion, University of Southern Denmark, Esbjerg, Denmark
¹⁹Insitute for Community Medicine / SHIP Clinical-epidemiological research, University Medicine Greifswald, Greifswald, Germany
²⁰Institut für Epidemiologie and Sozialmedizin, Universität Münster, Münster, Germany

Text

Einleitung: In Multi-Analyst Studies verwenden mehrere Analysten dieselben Daten, um unabhängig voneinander identische Forschungsfragen zu untersuchen. Am bekanntesten ist eine Studie, in der 29 Forschungsgruppen auf Basis identischer Daten untersuchten, ob Fußballspieler mit schwarzer Hautfarbe öfter eine rote Karte erhalten [1]. Die geschätzten Odds Ratios reichten von 0,89 bis 2,93. In den meisten, aber nicht allen Multi-Analyst Studies variierten die Schätzer stark. Dies wurde auf unterschiedliche Estimands, aber auch auf legitime Freiheitsgrade der Forschenden und eine Vielzahl von Mikroentscheidungen zurückgeführt [2], [3]. Multi-Analyst Studies wurden vor allem in der Psychologie, den Sozialwissenschaften und den Neurowissenschaften durchgeführt, jedoch nicht in der Epidemiologie [4], [5].

Methoden: Sechzehn Teams (24 Forschende) mit einem Hintergrund vor allem in Statistik, Mathematik und Epidemiologie wurden gebeten, unabhängig voneinander eine Analyse des Einflusses des Familienstandes (nie verheiratet versus zusammenlebend verheiratet) auf kardiovaskuläre Outcomes durchzuführen. Die Forschungsfrage einschließlich der Definition der kardiovaskulären Outcomes wurde den Teams vorgegeben, und sie war der Intention nach kausal formuliert. Die Teams wurden gebeten, Daten aus dem Survey of Health, Ageing and Retirement in Europe (SHARE), einer Panelstudie mit 140 000 Personen im Alter ab 50 Jahren aus 28 europäischen Ländern und Israel, zu verwenden und Effektschätzer mit 95% Konfidenzintervall, einen Kommentar zu ihren Ergebnissen und die vollständige Syntax ihrer Analysen vorzulegen. In zusätzlichen Analysen, die über den Multi-Analyst-Ansatz hinausgingen, wählte eine Gruppe ein exemplarisches Regressionsmodell aus und variierte die Definitionen von Exposition und Outcome sowie das Adjustierungsset für Confounding.

Ergebnisse: Jede Analyse war einzigartig. Die Größe der 16 für die Analysen verwendeten Datensätze reichte von 15 592 bis 336 914 Beobachtungen. Die Effektschätzer (Odds Ratios, Hazard Ratios oder relative Risiken) reichten von 0,72 bis 1,02 (Referenz: zusammenlebend verheiratet) in reinen oder partiellen Querschnittsanalysen und von 0,95 bis 1,31 in reinen Längsschnittanalysen. Die Wahl der Regressionsmodelle, die Adjustierungssets für Confounding und die Variationen in der genauen Definition von Exposition und Outcome hatten alle nur geringe Auswirkungen auf die Effektschätzer. Beispielsweise hatten die 16 Teams insgesamt 14 unterschiedliche Adjustierungssets erstellt (davon zweimal ein leeres Adjustierungsset). In einem exemplarischen Regressionsmodell für eine longitudinale Analyse, in der diese 14 Adjustierungssets verwendet wurden und alle anderen Auswertungsparameter konstant gehalten wurden, variierten die relativen Risiken zwischen 1,10 und 1,16. In einer analogen Analyse variierten die relativen Risiken zwischen 1,10 und 1,23, wenn die Definition von Outcome (5 Varianten) und Exposition (2 Varianten) variiert wurden.

Schlussfolgerung: Die Bandbreite der Ergebnisse war hauptsächlich auf Unterschiede zwischen Querschnitts- und Längsschnittanalysen zurückzuführen, während „klassische“ Aspekte epidemiologischer Analysen (Confounding, Wahl des Regressionsmodells, Definition von Exposition und Outcome) eine geringere Rolle spielten. Dass trotz einer von den Initiatoren der Studie kausal formulierten Fragestellung einige Teams nicht kausale Auswertungen (Querschnittsanalysen, keine Confounderadjustierung) durchführten, mag daran gelegen haben, dass die Fragestellung nicht-intendierte Interpretationsspielräume zuließ, oder dass wegen der recht komplexen Struktur der SHARE-Daten einfacher durchzuführende Analysen präferiert wurden. Um zu sehen, wie stark die Effektschätzer von den Freiheitsgraden der Forschenden abhängen, wäre eine systematische Multiversumsanalyse, die alle möglichen analytischen Entscheidungen berücksichtigt, ideal. Für die zukünftige Forschung schlagen wir vor, Multiversumsanalysen für kleine und überschaubare Datensätze durchzuführen.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.

References

[1] Silberzahn R, Uhlmann EL, Martin DP, et al. Many analysts, one data set: making transparent how variations in analytic choices affect results. Adv Methods Pract Psychol Sci. 2018;1:337-356. DOI: 10.1177/2515245917747646
[2] Auspurg K, Brüderl J. Has the credibility of the social sciences been credibly destroyed? Reanalyzing the “Many Analysts, One Data Set” Project. Socius. 2021;7. DOI: 10.1177/23780231211024421
[3] Breznau N, Rinke EM, Wuttke A, et al. Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty. PNAS. 2022;119(44):e2203150119. DOI: 10.1073/pnas.2203150119
[4] Huntington-Klein N, Arenas A, Beam E, et al. The influence of hidden researcher decisions in microeconomics. Economic Inquiry. 2021;59:944-960. DOI: 10.1111/ecin.12992
[5] Schweinsberg M, Feldman M, Staub N, et al. Same data, different conclusions: Radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis. Organizational Behavior and Human Decision Processes. 2021;165:228-249. DOI: 10.1016/j.obhdp.2021.02.003