Reproduzierbare Metaanalyse in der Psychologie

Ich bin ein großer Befürworter einer reproduzierbaren Datenanalyse . Besonders gefällt es mir, wenn Forscher Dokumente in Formaten wie Sweave und knitr teilen, die statistische Ausgaben (z. B. Text, Tabellen und Grafiken) in einen statistischen Bericht einweben.

Ich habe zuvor nach Beispielen für reproduzierbare Forschung jeglicher Art auf Stats.SE und nach befürwortenden Artikeln in der Psychologie gefragt . Derzeit interessiere ich mich jedoch besonders für vollständige Beispiele reproduzierbarer Metaanalysen.

Metaanalysen umfassen eine Reihe von Schritten. Zusammenfassende Statistiken und Studieninformationen werden aus Quellstudien extrahiert. Auf die Daten werden verschiedene Transformationen und Schritte angewendet (z. B. Korrekturen für die Zuverlässigkeit, Umwandlung von einer Statistik in eine andere usw.). Verschiedene Modelle werden getestet; Tabellen und Grafiken werden erstellt. Einige Zeitschriften verlangen, dass Forscher Tabellen mit verwendeten Daten liefern (z. B. verwendete Referenzen, zusammenfassende Statistiken). Allerdings sehe ich die Meta-Analyse als einen Bereich, der von einem umfassenderen, reproduzierbaren Ansatz profitieren könnte: (1) er würde eine umfassendere Untersuchung spezifischer verwendeter Methoden ermöglichen; (2) Forscher könnten leichter auf den verwendeten Analysen aufbauen.

Daher meine Fragen:

  • Gibt es vollständige Beispiele für reproduzierbare Metaanalysen, vorzugsweise in der Psychologie oder einer verwandten Disziplin?
  • Gibt es eine veröffentlichte Befürwortung einer reproduzierbaren Metaanalyse?

Antworten (2)

Ich habe begonnen, eine ziemliche Diskussion über reproduzierbare Metaanalysen zu sehen.

Tim Churches scheint ein Github-Repository mit einigen Beispielen für Metaanalysen in R zu haben .

Siehe insbesondere das Beispiel der öffentlichen Gesundheit:

In Bezug auf Ihre erste Frage, nicht viele veröffentlichte Standards, schlage ich einige Standardrichtlinien auf meiner Website vor, aber das ist nur das, Vorschläge. Vielleicht möchten Sie sich die Cochrane Collaboration ansehen , obwohl sie eine Reihe von Standards für die Verwendung in gesundheitsbezogenen Metaanalysen erstellt hat.

Vielleicht möchten Sie auch eine frühe Studie von Shadish et al (1997) als Beispiel überprüfen:

Shadish, William, R., Matt, George, E., Navarro, Ana, M., Single, Gregory, Crits-Christoph, Paul, Hazelrigg, Anthony, J., Lyons, Larry C., et al., (1997 ). Nachweis, dass die Therapie unter klinisch repräsentativen Bedingungen funktioniert. Zeitschrift für Beratung und Klinische Psychologie, 65, 355-65.

Danke. Ihre Antwort spricht für die tatsächliche Methode der Metaanalyse, im Gegensatz zur gemeinsamen Nutzung zugrunde liegender Daten oder Skripts, die verschiedene Schritte ausführen (z. B. Transformationen ursprünglicher Effektgrößen; Kombination von Effektgrößen innerhalb von Studien, Korrekturformeln usw.). . Irgendwelche Gedanken zum Aspekt der Reproduzierbarkeit?
Bei gleichem Datensatz und Verwendung der gleichen Konvertierungsroutinen usw. sollten Sie die gleichen Ergebnisse erhalten. Ein mögliches Problem ist die Verlässlichkeit der Bewerter – Abweichungen, da diejenigen, die die Studien bewerten, leicht unterschiedliche Interpretationen der Studienfaktoren haben. Sie sollten immer die Interrater-Reliabilität angeben. Alternativ sollte der Projektleiter, wenn eine Diskrepanz entdeckt wird, die Diskrepanzen mit beiden Bewertern durchgehen und sie von Fall zu Fall lösen und dies im Studienbericht vermerken.
Das Teilen der Studiendaten ist selbstverständlich. Es gibt eine Reihe von Websites im Internet, die Sie verwenden können, z. B. mein persönlicher Favorit Github. Sie sollten auch die Liste der Studien, die in der Metaanalyse verwendet wurden, und Ihren Fragebogen zur Studienbewertung als Anhang veröffentlichen. Transformationen sind ziemlich Standard. Jedes gute Statistik-Lehrbuch wird Ihnen diese zeigen. Für die von mir geschriebene webbasierte Anwendung sind die Konvertierungs-JavaScripts frei verfügbar.
Diese Skripte basieren auf den Formeln, die in den folgenden Abramowitz, M. und Stegun, I. (1964) zu finden sind. Handbuch mathematischer Funktionen mit Formeln, Grafiken und mathematischen Tabellen. Washington, DC: Druckerei der Regierung der Vereinigten Staaten. Cohen, J. (1988). Statistische Poweranalyse für die Verhaltenswissenschaften. (2. Aufl.). Hillsdale, NJ: Lawrence Erlbaum Associates. Hunter, J. und Schmidt, F. (2015). Methoden der Metaanalyse: Korrektur von Fehlern und Verzerrungen in Forschungsergebnissen. 3fd Aufl. Beverly Hills CA: Salbei.
Die Cochrane Collaboration beschreibt auch ihre Methoden und Verfahren, und auch hier sind ihre Umwandlungs- und Akkumulierungsmethoden öffentlich zugänglich. Hier sind ein paar andere Links zu einigen meiner Arbeiten, zuerst ein webbasiertes Papier, das die verwendete Methodik und die verwendeten Konvertierungstechniken erklärt, lyonsmorris.com/MetaA/index.htm und die auf dem Papier basierende Anwendung. lyonsmorris.com/ma1/index.cfm und das Javascript, das verwendet wird, um die Konvertierungen von Studienstatistiken zu einer gemeinsamen Metrik durchzuführen lyonsmorris.com/ma1/js/ESConversions.js hth larry
Reproduzierbare Metaanalyse in der Psychologie
AntwortenHierDatenschutz-Bestimmungen1y, 0v