25gmds025 10.3205/25gmds025 urn:nbn:de:0183-25gmds0256 Meeting Abstract Kowall Kowall Bernd B

Institut für Medizinische Informatik, Biometrie und Epidemiologie, Universitätsmedizin Essen, Essen, Germany

author Ahrenfeldt Ahrenfeldt Linda Juel LJ

Research Unit for General Practice, Department of Public Health, University of Southern Denmark, Esbjerg-Odense, Denmark

author Basten Basten Jale J

Ruhr-University Bochum, Department of Medical Informatics, Biometry and Epidemiology, Bochum, Germany

author Becher Becher Heiko H

Institute of Global Health, University Hospital Heidelberg, Heidelberg, Germany

author Brand Brand Tilman T

Leibniz Institute for Prevention Research and Epidemiology - BIPS, Bremen, Germany

author Casjens Casjens Swaantje S

Institut für Prävention und Arbeitsmedizin der Deutschen Gesetzlichen Unfallversicherung - Institut der Ruhr-Universität-Bochum (IPA), Bochum, Germany

author Braun Braun Julia J

Departments of Biostatistics and Epidemiology, Epidemiology, Biostatistics and Prevention Institute, University of Zurich, Zürich, Switzerland

author Claessen Claessen Heiner H

Institute of Health Services Research and Health Economics, German Diabetes Center, Leibniz Center for Diabetes Research at Heinrich Heine University Düsseldorf, Düsseldorf, Germany

author Denz Denz Robin R

Ruhr-University Bochum, Department of Medical Informatics, Biometry and Epidemiology, Bochum, Germany

author Diebner Diebner Hans H. HH

Ruhr-University Bochum, Department of Medical Informatics, Biometry and Epidemiology, Bochum, Germany

author Diexer Diexer Sophie S

Institute for Medical Epidemiology, Biometrics, and Informatics, Interdisciplinary Centre for Health Sciences, Medical Faculty of the Martin Luther University Halle-Wittenberg, Halle (Saale), Germany

author Eisemann Eisemann Nora N

Universität zu Lübeck, Lübeck, Germany

author Furrer Furrer Eva E

Center for Reproducible Science, University of Zurich, Zürich, Switzerland

author Galetzka Galetzka Wolfgang W

Institut für Medizinische Informatik, Biometrie und Epidemiologie, Universitätsmedizin Essen, Essen, Germany

author Girschik Girschik Carolin C

Institut für Medizinische Informatik, Biometrie und Epidemiologie, Universitätsmedizin Essen, Essen, Germany

author Karch Karch André A

Institute of Epidemiology and Social Medicine, University of Münster, Münster, Germany

author Mikolajczyk Mikolajczyk Rafael R

Institute for Medical Epidemiology, Biometrics, and Informatics, Interdisciplinary Centre for Health Sciences, Medical Faculty of the Martin Luther University Halle-Wittenberg, Halle (Saale), Germany

author Peters Peters Manuela M

Leibniz Institute for Prevention Research and Epidemiology - BIPS, Bremen, Germany

author Rospleszcz Rospleszcz Susanne S

Department of Diagnostic and Interventional Radiology, Medical Center, Faculty of Medicine, University of Freiburg, Freiburg, Germany Institute of Epidemiology, Helmholtz Munich, Neuherberg, München, Germany

author Rücker Rücker Viktoria V

Julius-Maximilians-Universität Würzburg, Institute of Clinical Epidemiology and Biometry, Würzburg, Germany

author Stang Stang Andreas A

Institut für Medizinische Informatik, Biometrie und Epidemiologie, Universitätsmedizin Essen, Essen, Germany School of Public Health, Department of Epidemiology, Boston University, Boston, United States

author Stolpe Stolpe Susanne S

Institut für Medizinische Informatik, Biometrie und Epidemiologie, Universitätsmedizin Essen, Essen, Germany

author Taylor Taylor Katherine J. KJ

Institute of Medical Biostatistics, Epidemiology, and Informatics, University Medical Centre Mainz, Mainz, Germany

author Timmesfeld Timmesfeld Nina N

Ruhr-University Bochum, Department of Medical Informatics, Biometry and Epidemiology, Bochum, Germany

author Tokic Tokic Marianne Charlotte MC

Ruhr-University Bochum, Department of Medical Informatics, Biometry and Epidemiology, Bochum, Germany

author Zeeb Zeeb Hajo H

Leibniz Institute for Prevention Research and Epidemiology - BIPS, Bremen, Germany

author Berg-Beckhoff Berg-Beckhoff Gabriele G

Department of Public Health, Research Unit for Health Promotion, University of Southern Denmark, Esbjerg, Denmark

author Behrens Behrens Thomas T

Institut für Prävention und Arbeitsmedizin der Deutschen Gesetzlichen Unfallversicherung - Institut der Ruhr-Universität-Bochum (IPA), Bochum, Germany

author Ittermann Ittermann Till T

Insitute for Community Medicine / SHIP Clinical-epidemiological research, University Medicine Greifswald, Greifswald, Germany

author Rübsamen Rübsamen Nicole N

Institut für Epidemiologie and Sozialmedizin, Universität Münster, Münster, Germany

author German Medical Science GMS Publishing House

Düsseldorf

610 multi-analyst study Researcher Degree of Freedom 20251103 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0631 025 Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie 70. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS) V: Epidemiologische Methoden und Auswertungen Jena 20250907 20250911 Abstr. 127 TextEinleitung: In Multi-Analyst Studies verwenden mehrere Analysten dieselben Daten, um unabhängig voneinander identische Forschungsfragen zu untersuchen. Am bekanntesten ist eine Studie, in der 29 Forschungsgruppen auf Basis identischer Daten untersuchten, ob Fußballspieler mit schwarzer Hautfarbe öfter eine rote Karte erhalten . Die geschätzten Odds Ratios reichten von 0,89 bis 2,93. In den meisten, aber nicht allen Multi-Analyst Studies variierten die Schätzer stark. Dies wurde auf unterschiedliche Estimands, aber auch auf legitime Freiheitsgrade der Forschenden und eine Vielzahl von Mikroentscheidungen zurückgeführt , . Multi-Analyst Studies wurden vor allem in der Psychologie, den Sozialwissenschaften und den Neurowissenschaften durchgeführt, jedoch nicht in der Epidemiologie , .Methoden: Sechzehn Teams (24 Forschende) mit einem Hintergrund vor allem in Statistik, Mathematik und Epidemiologie wurden gebeten, unabhängig voneinander eine Analyse des Einflusses des Familienstandes (nie verheiratet versus zusammenlebend verheiratet) auf kardiovaskuläre Outcomes durchzuführen. Die Forschungsfrage einschließlich der Definition der kardiovaskulären Outcomes wurde den Teams vorgegeben, und sie war der Intention nach kausal formuliert. Die Teams wurden gebeten, Daten aus dem Survey of Health, Ageing and Retirement in Europe (SHARE), einer Panelstudie mit 140 000 Personen im Alter ab 50 Jahren aus 28 europäischen Ländern und Israel, zu verwenden und Effektschätzer mit 95% Konfidenzintervall, einen Kommentar zu ihren Ergebnissen und die vollständige Syntax ihrer Analysen vorzulegen. In zusätzlichen Analysen, die über den Multi-Analyst-Ansatz hinausgingen, wählte eine Gruppe ein exemplarisches Regressionsmodell aus und variierte die Definitionen von Exposition und Outcome sowie das Adjustierungsset für Confounding.Ergebnisse: Jede Analyse war einzigartig. Die Größe der 16 für die Analysen verwendeten Datensätze reichte von 15 592 bis 336 914 Beobachtungen. Die Effektschätzer (Odds Ratios, Hazard Ratios oder relative Risiken) reichten von 0,72 bis 1,02 (Referenz: zusammenlebend verheiratet) in reinen oder partiellen Querschnittsanalysen und von 0,95 bis 1,31 in reinen Längsschnittanalysen. Die Wahl der Regressionsmodelle, die Adjustierungssets für Confounding und die Variationen in der genauen Definition von Exposition und Outcome hatten alle nur geringe Auswirkungen auf die Effektschätzer. Beispielsweise hatten die 16 Teams insgesamt 14 unterschiedliche Adjustierungssets erstellt (davon zweimal ein leeres Adjustierungsset). In einem exemplarischen Regressionsmodell für eine longitudinale Analyse, in der diese 14 Adjustierungssets verwendet wurden und alle anderen Auswertungsparameter konstant gehalten wurden, variierten die relativen Risiken zwischen 1,10 und 1,16. In einer analogen Analyse variierten die relativen Risiken zwischen 1,10 und 1,23, wenn die Definition von Outcome (5 Varianten) und Exposition (2 Varianten) variiert wurden.Schlussfolgerung: Die Bandbreite der Ergebnisse war hauptsächlich auf Unterschiede zwischen Querschnitts- und Längsschnittanalysen zurückzuführen, während „klassische“ Aspekte epidemiologischer Analysen (Confounding, Wahl des Regressionsmodells, Definition von Exposition und Outcome) eine geringere Rolle spielten. Dass trotz einer von den Initiatoren der Studie kausal formulierten Fragestellung einige Teams nicht kausale Auswertungen (Querschnittsanalysen, keine Confounderadjustierung) durchführten, mag daran gelegen haben, dass die Fragestellung nicht-intendierte Interpretationsspielräume zuließ, oder dass wegen der recht komplexen Struktur der SHARE-Daten einfacher durchzuführende Analysen präferiert wurden. Um zu sehen, wie stark die Effektschätzer von den Freiheitsgraden der Forschenden abhängen, wäre eine systematische Multiversumsanalyse, die alle möglichen analytischen Entscheidungen berücksichtigt, ideal. Für die zukünftige Forschung schlagen wir vor, Multiversumsanalysen für kleine und überschaubare Datensätze durchzuführen.Die Autoren geben an, dass kein Interessenkonflikt besteht.Die Autoren geben an, dass kein Ethikvotum erforderlich ist. Silberzahn R Uhlmann EL Martin DP Many analysts, one data set: making transparent how variations in analytic choices affect results 2018 Adv Methods Pract Psychol Sci 337-356 Silberzahn R, Uhlmann EL, Martin DP, et al. Many analysts, one data set: making transparent how variations in analytic choices affect results. Adv Methods Pract Psychol Sci. 2018;1:337-356. DOI: 10.1177/2515245917747646 https://doi.org/10.1177/2515245917747646 Auspurg K Brüderl J Has the credibility of the social sciences been credibly destroyed? Reanalyzing the “Many Analysts, One Data Set” Project 2021 Socius Auspurg K, Brüderl J. Has the credibility of the social sciences been credibly destroyed? Reanalyzing the “Many Analysts, One Data Set” Project. Socius. 2021;7. DOI: 10.1177/23780231211024421 http://dx.doi.org/10.1177/23780231211024421 Breznau N Rinke EM Wuttke A Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty 2022 PNAS e2203150119 Breznau N, Rinke EM, Wuttke A, et al. Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty. PNAS. 2022;119(44):e2203150119. DOI: 10.1073/pnas.2203150119 http://dx.doi.org/10.1073/pnas.2203150119 Huntington-Klein N Arenas A Beam E The influence of hidden researcher decisions in microeconomics 2021 Economic Inquiry 944-960 Huntington-Klein N, Arenas A, Beam E, et al. The influence of hidden researcher decisions in microeconomics. Economic Inquiry. 2021;59:944-960. DOI: 10.1111/ecin.12992 https://doi.org/10.1111/ecin.12992 Schweinsberg M Feldman M Staub N Same data, different conclusions: Radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis 2021 Organizational Behavior and Human Decision Processes 228-249 Schweinsberg M, Feldman M, Staub N, et al. Same data, different conclusions: Radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis. Organizational Behavior and Human Decision Processes. 2021;165:228-249. DOI: 10.1016/j.obhdp.2021.02.003 http://dx.doi.org/10.1016/j.obhdp.2021.02.003 0 0 0 0