Ich möchte wichtige Probleme ansprechen, die Jeromy Anglim im Abschnitt „Persönliche Gedanken“ seiner Antwort angesprochen hat, nämlich, dass Korrelationsparameter (dh wahre, Populations- oder unendliche Stichprobenkorrelationen) zwischen Studien häufig variieren und kovariieren, und dies zwischen -Studien\Studienübergreifende Heterogenität impliziert Heterogenität der Studienparameter für ein Strukturgleichungsmodell (SEM). Ich werde eine Methode beschreiben, die ich vorgeschlagen habe, um diese Heterogenität beim Schätzen und Treffen statistischer Schlussfolgerungen über ein SEM zu berücksichtigen, wie z. B. ein univariates oder multivariates Regressionsmodell, Faktormodell, Pfadmodell oder Modell für strukturelle Beziehungen zwischen latenten Variablen oder bestimmte Mengen basierend auf einem solchen Modell (z. B.$R^2$, indirekter Vermittlungseffekt, Fit-Index). Die Kernidee dieses Ansatzes ist einfach:

1. Verwenden Sie Random-Effects (RE)-Metaanalysen, um Attribute der Verteilung von Korrelationsmatrixparametern zwischen Studien zu schätzen (z. B. Mittelwert und Kovarianzmatrix).

2. Wandeln Sie diese Ergebnisse um, um Attribute der Verteilung von SEM-Parametern zwischen Studien zu schätzen.

Viele häufig verwendete MASEM-Methoden basieren auf Fixed-Effects (FE)-Modellen, und obwohl die Metaanalyse heterogener Korrelationsmatrizen mit bestimmten FE-Methoden in einigen Situationen recht gut funktioniert, ist sie wahrscheinlich nicht ratsam, um bedingungslose Rückschlüsse auf ein größeres Universum von Studien zu ziehen ( Hafdahl, 2008a).

Hier gebe ich nur einen Überblick über das Problem und eine dreistufige Version meiner vorgeschlagenen metaanalytischen SEM-Methode (MASEM) – eigentlich eine Sammlung von Methoden, die auf unterschiedlichen Entscheidungen für kritische Aufgaben in jedem Schritt basieren. Um die Ausstellung relativ zugänglich zu halten, werde ich einige wichtige technische Details beschönigen. Obwohl dies ein aktives Gebiet meiner methodologischen Forschung ist, basieren die Methoden, die ich hier skizziere, größtenteils auf unveröffentlichten Arbeiten (ich werde Referenzen zitieren). Da einige Aspekte dieses Ansatzes für viele angewandte Forscher unerschwinglich schwierig umzusetzen wären, ist ein Ziel meiner Arbeit in diesem Bereich die Entwicklung benutzerfreundlicher Software. Bis dies verfügbar ist, können Sie sich gerne an mich wenden, um Hilfe bei diesen Techniken zu erhalten. Solche Anfragen können mich dazu motivieren, dieser Arbeit mehr Zeit und andere Ressourcen zu widmen.

Überblick über das Problem

In diesem Abschnitt beschreibe ich meine Sicht der Probleme, für die MASEM typischerweise verwendet wird. Angenommen, wir haben von jedem von$k$unabhängige Studien eine Probe Pearson- r oder Fisher- z Korrelationsmatrix unter$p$Variablen von Interesse (z. B.$X_1, X_2, \ldots, X_p$) und nehmen wir an, wir sind an einem bestimmten SEM für diese Variablen oder einer verwandten Größe interessiert, die als Funktion der Korrelationsmatrix ausgedrückt werden kann (z. B. 1 oder mehr [standardisierte] Pfadkoeffizienten, indirekter oder Gesamteffekt, quadrierte Mehrfachkorrelation). , Fit-Index). Es ist nützlich, zwischen dem Korrelationsmatrixparameter jeder Studie und der Korrelationsmatrixschätzung dieser Studie aus einer bestimmten Stichprobe von Probanden zu unterscheiden. Meta-Analysten sind in der Regel daran interessiert, die Schätzungen mehrerer Studien zu verwenden, um ihre entsprechenden Parameter oder deren Verteilungen zu verstehen.

In dieser Übersicht ignoriere ich größtenteils einige interessante, aber ärgerliche Komplikationen, die in der Praxis auftreten. Zum Beispiel könnten Studien unterschiedliche Versionen einer oder mehrerer Variablen verwenden (z. B. unterschiedliche Maße ähnlich wie$X_1$), tragen einige Studien möglicherweise nicht alle bei$d = p( p - 1) / 2$unterschiedlichen Korrelationsmatrixelementen (z. B. aufgrund fehlender Variablen oder nicht gemeldeter Elemente), einige der Korrelationen einer Studie können auf unterschiedlichen Teilmengen ihrer Stichprobe basieren (z. B. wenn einigen Probanden einige Variablen fehlen), eine Studie kann zwei oder mehr beitragen unabhängige oder abhängige Korrelationsmatrizen (z. B. von verschiedenen Gruppen oder derselben Gruppe unter verschiedenen Bedingungen oder zu verschiedenen Zeiten), Studienkorrelationen können durch sogenannte Artefakte beeinflusst werden (z. B. [Un-]Zuverlässigkeit, Bereichseinschränkung, Dichotomisierung) und Kovariaten/Moderatoren auf Studienebene könnten die Heterogenität zwischen den Studien teilweise erklären.

Wenn wir nun die RE-Ansicht vertreten, dass Korrelationsmatrixparameter zwischen Studien variieren – das heißt, unsere Studien stammen aus einem Universum von Studien, deren Korrelationsmatrixparameter einer multivariaten Verteilung folgen – dann werden die meisten Funktionen dieses Korrelationsmatrixparameters variieren auch zwischen den Studien . Insbesondere die Pfadkoeffizientenparameter eines SEM und andere Größen (z. B. indirekte Wirkungen) werden über Studien verteilt sein. Um es klar zu sagen, die (Ko-)Variation dieser Verteilungen zwischen den Studien ist es nichtaufgrund von Stichproben-(Ko-)Variationen innerhalb der Studie, die durch endliche Stichproben von Probanden verursacht werden; Stattdessen kann es als Folge der unterschiedlichen Konstellationen von Merkmalen der Studien angesehen werden, die unterschiedliche Werte für ihre Korrelationsmatrixparameter und folglich die meisten Funktionen dieser Parameter erzeugen. (Betrachten Sie als einfacheres Beispiel einen Pearson- r - Korrelationsparameter aus jeder von mehreren Studien: Wenn er zwischen den Studien variiert, dann werden auch verschiedene Funktionen davon variieren – sein Quadrat, der Entfremdungskoeffizient, die Fisher - z -Transformation, die Effektgröße der Umgangssprache , etc.)

In Analogie zu typischen Aufgaben in konventionellen RE-Metaanalysen könnte uns Folgendes für unser SEM interessieren: Schätzungen des Mittelwerts und der Varianz zwischen den Studien jedes SEM-Pfadkoeffizienten oder anderer verwandter Größen (z. B. indirekter Effekt) und Schlussfolgerungen darüber jede solche Größe (z. B. Konfidenzintervall [CI], Vorhersageintervall [PrI], Hypothesentest). Wenn wir an zwei oder mehr Größen aus dem SEM interessiert sind, möchten wir möglicherweise bi- oder multivariate Verallgemeinerungen dieser Schätzungen oder Schlussfolgerungen erhalten (z. B. Vertrauens- oder Vorhersagebereich/-menge); Dazu können Mengen gehören, die auf zwei oder mehr unterschiedlichen SEMs basieren, die wir vergleichen möchten, z. B. Anpassungsindizes von zwei oder mehr SEMs. Wir könnten auch an der gesamten Verteilung zwischen den Studien einer oder mehrerer SEM-Größen interessiert sein (dh nicht nur an ihrem Mittelwert und ihrer [Ko]varianz [Matrix]),

Die am häufigsten verwendeten MASEM-Ansätze vernachlässigen die Heterogenität zwischen den Studien in den SEM-Parametern, was besonders schwierig zu rechtfertigen scheint, wenn heterogene Korrelations(-matrix)-Parameter vorhanden sind. Bestimmte Aspekte der (Ko-)Varianz der SEM-Parameter zwischen den Studien könnten von wesentlicher Bedeutung sein, z Studien. Wenn wir beispielsweise den RMSEA als Anpassungsindex verwenden, möchten wir möglicherweise wissen, wie stark der RMSEA zwischen Studien variiert, einen plausiblen Bereich von RMSEA-Werten (z. B. Vorhersageintervall) oder welcher Anteil von Studien RMSEA-Werte innerhalb einiger "akzeptabler" Werte hat Intervall (z. B. unter 0,05).

Darüber hinaus gibt es Grund, Heterogenität vorsichtig zu behandeln, selbst wenn wir nur am Mittelwert von SEM-Parametern interessiert sind: Da SEM-Parameter typischerweise nichtlineare Funktionen der Korrelationsmatrix sind, ist es unklar, was geschätzt wird, wenn das SEM direkt auf eine mittlere Korrelationsmatrix angewendet wird, wie in den meisten MASEM-Ansätzen; das könnte den mittleren SEM-Parameter schlecht schätzen. Nehmen wir als einfacheres Beispiel an, dass dies für einen heterogenen Effektgrößenparameter gilt$Y$wir kennen seinen Mittelwert und seine Varianz über Studien hinweg,$\mathrm{E}(Y)$und$\mathrm{Var}(Y)$, möchte aber den Mittelwert für wissen$Y$'s Square: Weil für die meisten Distributionen von$Y$es ist eine Tatsache, dass$\mathrm{E}(Y^2) = [\mathrm{E}(Y)]^2 + \mathrm{Var}(Y)$, einfach quadrieren$\mathrm{E}(Y)$ergibt einen niedrigeren Wert als den gewünschten$\mathrm{E}(Y^2)$, besonders wenn$\mathrm{Var}(Y)$ist groß. Dieses grundlegende Problem bei der Anwendung einer nichtlinearen Transformation auf einen Mittelwert heterogener Effektgrößen wurde für den Fall einer univariaten Korrelation – mit Schwerpunkt auf der z -zu- r -Transformation – von Hafdahl (2009) und Hafdahl und Williams (2009) behandelt; Die analoge Situation wurde von Hafdahl (2008b, 2009b) für Korrelationsmatrizen, von Hafdahl (2011) für generische univariate Effektgrößen und von Hafdahl (2009c) für generische multivariate Effektgrößen angesprochen.

Überblick über die vorgeschlagene Methode

Im ersten Absatz oben habe ich das Wesentliche meiner vorgeschlagenen zweistufigen MASEM-Methode erwähnt. Um die Erklärung zu erleichtern, ist es sinnvoll, die zweite Stufe – Transformation der Ergebnisse – in separate Schritte für Schätzung und Schlussfolgerung zu unterteilen. Wenn wir zum Beispiel mit beginnen$k$Studienschätzungen einer Fisher- z -Korrelationsmatrix, könnte der erste Schritt das Schätzen des Mittelwerts und der Kovarianzmatrix der Korrelationsmatrixparameter zwischen den Studien umfassen, und der zweite und dritte Schritt könnten das Transformieren dieser Ergebnisse beinhalten, um Schätzungen und Schlussfolgerungen darüber zu erhalten Mittelwert zwischen Studien und Kovarianzmatrix der Pfadkoeffizienten des SEM. Im Folgenden erläutere ich diese drei Schritte ein wenig.

Verwenden wir der Einfachheit halber die folgende Notation für Korrelationsmatrizen aus Study$i, i = 1, 2, \ldots, k$:

• $\theta_i$: Vektor der$d$verschiedene Parameter in einer Korrelationsmatrix für$p$Variablen, entweder in der Pearson- r- oder Fisher- z - Metrik

• $y_i$: Vektor der$d$unterschiedliche Schätzungen in der Stichprobenkorrelationsmatrix (d. h.$y_i$ist eine Schätzung von$\theta_i$)

Wenn wir beispielsweise an der Korrelationsmatrix für interessiert sind$p = 5$Variablen, dann beides$\theta_i$und$y_i$enthalten$d = 5(5 - 1) / 2 = 10$Korrelationen. In der RE-Metaanalyse gehen wir normalerweise davon aus$y_i$hat eine studieninterne (Stichproben\bedingte) Verteilung, deren Mittelwert ungefähr ist$\theta_i$, und das$\theta_i$(oder nur$\theta$) hat für alle Studien die gleiche Verteilung zwischen den Studien, mit dem Mittelwert$\mu_\theta = \mathrm{E}(\theta)$und Kovarianzmatrix$\Sigma_\theta = \mathrm{Cov}(\theta)$. (Der Einfachheit halber werde ich die Notation für zufällige Korrelationsparameter und Schätzungen leicht missbrauchen - anstatt zu verwenden$\Theta_i$und$Y_i$-- und ich werde andere Größen ignorieren, die in bestimmten metaanalytischen Verfahren verwendet werden, wie z. B. die Stichprobengröße und die bedingte Kovarianzmatrix jeder Studie, deren Umkehrung [dh Präzisionsmatrix] im Wesentlichen als Gewichtsmatrix verwendet wird.)

Lassen Sie uns in Bezug auf die SEM-Notation die SEM-Parameter von Interesse in Study ähnlich bezeichnen$i$von$\gamma_i = g(\theta_i)$, wo die Funktion$g$wandelt einen Korrelationsmatrixparameter in SEM-Parameter um. Diese$g$kann eine ziemlich komplizierte Funktion sein, wie beispielsweise für die Parameter eines SEM in Bezug auf ein bestimmtes Ziel-/Verlustkriterium (z. B. ML, WLS, ADF) oder einen Anpassungsindex für dieses SEM. Ebenfalls,$\gamma_i$kann nur eine Zahl (z. B. 1 Pfadkoeffizient, indirekter Effekt, Anpassungsindex) oder ein Vektor (z. B. 2 oder mehr Pfadkoeffizienten) sein. Auf jeden Fall könnte unser MASEM-Ziel eine Schätzung sein$\gamma$Mittelwert oder (Ko-)Varianz zwischen den Studien (Matrix),$\mu_\gamma = \mathrm{E}(\gamma)$und$\Sigma_\gamma = \mathrm{Cov}(\gamma)$, und Rückschlüsse auf jedes Verteilungsattribut ziehen; wir möchten vielleicht auch schätzen$\gamma$'s gesamte Distribution.

Unten sind die drei Schritte meiner vorgeschlagenen Methode; Die Schritte 2 und 3 gehen davon aus, dass wir ein bestimmtes SEM oder eine verwandte Größe im Sinn haben, die ausgedrückt werden kann als$\gamma_i = g(\theta_i)$. Dies ähnelt den univariaten Methoden von Hafdahl (2009a, 2011) und den multivariaten Methoden von Hafdahl (2008b, 2009b, 2009c), ist jedoch spezifisch für MASEM.

1. Meta-Analyse für$\theta$: Multivariate RE-Metaanalyse anwenden auf$y_i$Schätzungen von mindestens zu erhalten$\mu_\theta$und$\Sigma_\theta$, die ich bezeichnen werde$\hat\mu_\theta$und$\hat\Sigma_\theta$, und vielleicht$\theta$'s vollständige Verteilung zwischen den Studien; vielleicht auch nur eine Kovarianzmatrix erhalten$\hat\mu_\theta$oder beides$\hat\mu_\theta$und$\hat\Sigma_\theta$, abhängig davon, wie die Inferenz in Schritt 3 gehandhabt wird. Unter mehreren vorgeschlagenen Methoden zum Schätzen$\mu_\theta$und$\Sigma_\theta$, gehen nur wenige mit unvollständigen Korrelationsmatrizen – fast unvermeidbar in MASEM-Datensätzen – prinzipientreu um (z. B. Hafdahl & Wu, 2011; Kalaian, & Raudenbush, 1996; White, 2011). Insbesondere die Erweiterung des EM-Algorithmus von Becker und Schram (1994) durch Hafdahl und Wu erlaubt einen oder mehrere der folgenden$y_i$'s-Korrelationen fehlen, erfordert keine Imputierung von Werten für fehlende Korrelationen und ergibt eine A-posteriori-Verteilung für die Gesamtheit jeder Studie$\theta_i$(da es möglicherweise unvollständig ist$y_i$); es ergibt auch eine Schätzung von$\theta$die vollständige Verteilung zwischen den Studien als eine Mischung der späteren Verteilungen der Studien. Je nach Schätzverfahren wird eine Kovarianzmatrix für$\hat\mu_\theta$kann durch verallgemeinerte kleinste Quadrate (GLS) oder andere Verfahren (z. B. basierend auf einer Hesse-Matrix für Maximum-Likelihood-Schätzer) erhalten werden, von denen einige auch eine Kovarianzmatrix für bereitstellen$\hat\Sigma_\theta$. Hafdahl (2004) zeigte erhebliche Leistungsunterschiede zwischen verschiedenen Techniken für multivariate RE-Metaanalysen, die auf Korrelationsmatrizen angewendet wurden.

2. Schätzung für$\gamma$: Verwenden Sie eine geeignete Transformationsmethode – basierend auf der Funktion$g$-- um Schätzungen von mindestens zu erhalten$\mu_\gamma$und$\Sigma_\gamma$, die ich bezeichnen werde$\hat\mu_\gamma$und$\hat\Sigma_\gamma$, und vielleicht$\gamma$'s vollständige Verteilung zwischen den Studien. Eine Strategie besteht darin, eine Annäherung an eine Taylor -Reihe erster oder zweiter Ordnung zu verwenden , was im Wesentlichen eine Annäherung beinhaltet$\gamma = g(\theta)$durch eine einfachere lineare oder quadratische Funktion von$\theta$; Schätzungen des Mittelwerts und der Kovarianz dieser Approximationsfunktion können dann aus den Werten von Schritt 1 berechnet werden$\hat\mu_\theta$und$\hat\Sigma_\theta$. Eine andere Strategie bringt Simulation mit sich : Beispielwerte von$\theta$Transformieren Sie diese aus der in Schritt 1 geschätzten Verteilung in Werte von$\gamma$, und schätzen$\mu_\gamma$und$\Sigma_\gamma$aus dieser simulierten Verteilung; wir könnten behandeln$\theta$'s-Verteilung als multivariate Normalverteilung -- wie z$\theta \sim \mathcal{N}_d(\hat\mu_\theta, \hat\Sigma_\theta)$– oder erlauben, dass es eine andere aus den Daten geschätzte Form annimmt (z. B. eine Mischung von Seitenzähnen aus dem EM-Algorithmus). Beide Strategien können auch verwendet werden, um andere Attribute von zu schätzen$\gamma$'s-Verteilung, wie z. B. End- oder Zentralbereiche (z. B. Wahrscheinlichkeit, dass 1 oder mehr Pfadkoeffizienten oder andere Größen nahe 0 sind, positiv, groß usw.) oder$\gamma$Werte, die interessierende Bereiche begrenzen (z. B. Quartile, mittlere 95 %). (Wir könnten im Prinzip transformieren$\hat\mu_\theta$und$\hat\Sigma_\theta$zu$\hat\mu_\gamma$und$\hat\Sigma_\gamma$über Integration, unter Verwendung der Definitionen von$\mu_\gamma$und$\Sigma_\gamma$, aber das ist oft analytisch schwer zu handhaben und rechnerisch nicht durchführbar.)

3. Schlussfolgerung für$\gamma$: Schlüsse ziehen über$\mu_\gamma$und$\Sigma_\gamma$B. CIs, PrIs oder Hypothesentests für einwertige Parameter oder ihre multivariaten Verallgemeinerungen für vektorwertige Parameter (z. B. Konfidenz- oder Vorhersageregionen). Eine Strategie besteht darin, die (multivariate) Delta-Methode zu verwenden , die im Wesentlichen die Verwendung von Ableitungen beinhaltet, um die Kovarianzmatrix für zu transformieren$\hat\mu_\theta$allein oder beides$\hat\mu_\theta$und$\hat\Sigma_\theta$zu einer Kovarianzmatrix für$\hat\mu_\gamma$oder$\hat\Sigma_\gamma$; Die letztere Kovarianzmatrix kann verwendet werden, um CIs oder PrIs zu konstruieren oder Hypothesen zu testen. Eine andere Strategie, zumindest für KIs oder Konfidenzregionen, besteht darin, eine Bootstrap-Technik zu verwenden, um im Wesentlichen eine empirische Stichprobenverteilung von zu konstruieren$\hat\mu_\gamma$oder$\hat\Sigma_\gamma$; Es sind zahlreiche Bootstrap-Optionen verfügbar, die weitgehend davon abhängen, wie die Bootstrap-Stichprobe repliziert wird --$\hat\mu_\gamma$oder$\hat\Sigma_\gamma$für jede Neuabtastung aus den Daten – konstruiert wird (z. B. parametrisch vs. nichtparametrisch) und wie sie verwendet wird, um Konfidenzintervalle oder -regionen zu konstruieren (z. B. Standardabweichung\Fehler vs. Perzentil, Bias-Korrektur oder nicht).

Da dies bereits ein ziemlich langer Überblick ist, schließe ich mit ein paar Bemerkungen. Erstens hat meine vorgeschlagene Methode trotz ihrer Vorteile gegenüber einigen anderen MASEM-Methoden auch Nachteile und Einschränkungen; Ich werde hier nicht näher auf diese Vor- und Nachteile eingehen, außer um zu warnen, dass meine vorgeschlagene Methode unter bestimmten Umständen inakzeptabel funktionieren könnte. Zweitens würde meine vorgeschlagene Methode von erheblich mehr Arbeit profitieren, wie z. B. der Verfeinerung von Aspekten jedes Schritts und der Untersuchung seiner Leistung in realistischen Situationen, die durch Merkmale von MASEM-Studien definiert sind (z. B. Anzahl der Primärstudien, Verteilung der Stichprobengrößen, Verteilung der Korrelationsmatrix). Parameter, Muster und Mechanismus fehlender Daten, Wahl der Funktion g). Bis heute gibt es wenig Auswertung der multivariaten RE-Metaanalyse analytisch oder durch Simulation, entweder für Korrelationsmatrizen (vgl. Hafdahl, 2008b) oder andere multivariate Effektgrößen (vgl. Riley, 2009; Riley, Abrams, Sutton, Lambert, & Thompson, 2007) und Hafdahls (2009c) Monte-Carlo-Studien über Meta- Die Analyse für Funktionen multivariater Effektgrößen enthielt keine Korrelationsmatrizen. Drittens könnten bayessche Ansätze zur Metaanalyse, wie die von Prevost, Mason, Griffin, Kinmonth, Sutton und Spiegelhalter (2007) vorgeschlagene Methode für Korrelationsmatrizen, besonders gut für MASEM geeignet sein, aufgrund ihrer natürlichen – wenn auch rechnerisch anspruchsvollen – - Strategien zur Konstruktion von Posterior-Verteilungen für Funktionen der Parameter einer Studie. s (2009c) Monte-Carlo-Studien zur Metaanalyse für Funktionen multivariater Effektgrößen enthielten keine Korrelationsmatrizen. Drittens könnten bayessche Ansätze zur Metaanalyse, wie die von Prevost, Mason, Griffin, Kinmonth, Sutton und Spiegelhalter (2007) vorgeschlagene Methode für Korrelationsmatrizen, besonders gut für MASEM geeignet sein, aufgrund ihrer natürlichen – wenn auch rechnerisch anspruchsvollen – - Strategien zur Konstruktion von Posterior-Verteilungen für Funktionen der Parameter einer Studie. s (2009c) Monte-Carlo-Studien zur Metaanalyse für Funktionen multivariater Effektgrößen enthielten keine Korrelationsmatrizen. Drittens könnten bayessche Ansätze zur Metaanalyse, wie die von Prevost, Mason, Griffin, Kinmonth, Sutton und Spiegelhalter (2007) vorgeschlagene Methode für Korrelationsmatrizen, besonders gut für MASEM geeignet sein, aufgrund ihrer natürlichen – wenn auch rechnerisch anspruchsvollen – - Strategien zur Konstruktion von Posterior-Verteilungen für Funktionen der Parameter einer Studie.

Verweise

Becker, BJ, & Schram, C. M. (1994). Untersuchung von Erklärungsmodellen durch Forschungssynthese. In H. Cooper & LV Hedges (Hrsg.), The Handbook of Research Synthesis (S. 357-381). New York: Russell-Sage-Stiftung.

Hafdahl, AR (2004, Juni). Verfeinerungen für Random-Effects-Metaanalysen von Korrelationsmatrizen. Vortrag auf dem Treffen der Psychometric Society, Monterey, CA.

Hafdahl, AR (2008a). Kombination heterogener Korrelationsmatrizen: Simulationsanalyse von Fixed-Effects-Methoden. Zeitschrift für Bildungs- und Verhaltensstatistik, 33, 507-533. doi:10.3102/1076998607309472

Hafdahl, AR (2008b, Juli). Meta-Analyse für Funktionen heterogener Korrelationsmatrizen. Vortrag auf dem Treffen der Psychometric Society, Durham, NH.

Hafdahl, AR (2009a). Verbesserte Fisher - z -Schätzer für univariate Random-Effects-Metaanalysen von Korrelationen. Britisches Journal für mathematische und statistische Psychologie, 62, 233-261. doi:10.1348/000711008X281633

Hafdahl, AR (2009b, Mai). Metaanalyse für Funktionen abhängiger Korrelationen. In AR Hafdahl (Vorsitz), Advances in meta-analysis for multivariable linear models. Eingeladenes Symposium, präsentiert auf dem Treffen der Association for Psychological Science, San Francisco, CA.

Hafdahl, AR (2009c). Meta-Analyse für Funktionen heterogener multivariater Effektgrößen. Unveröffentlichte Masterarbeit, Washington University in St. Louis, St. Louis, Missouri. http://openscholarship.wustl.edu/etd/439/

Hafdahl, AR (2011). Übersetzen von Metaanalyseergebnissen: Techniken zum Ausdrücken von Zufallseffektschätzungen in anderen Metriken. Manuskript in Vorbereitung, Washington University in St. Louis.

Hafdahl, AR, & Williams, MA (2009). Meta-Analyse von Korrelationen erneut aufgegriffen: Versuchte Replikation und Erweiterung der Simulationsstudien von Field (2001). Psychologische Methoden, 14, 24-42. doi:10.1037/a0014697

Hafdahl, AR, & Wu, W. (2012, Februar). Ein EM-Algorithmus für multivariate Random-Effects-Metaanalysen mit unvollständigen Effektschätzungen. Manuskript in Vorbereitung, ARCH Statistical Consulting, LLC.

Kalaian, HA, & Raudenbush, SW (1996). Ein multivariates gemischtes lineares Modell für die Metaanalyse. Psychologische Methoden, 1, 227-235. doi:10.1037/1082-989X.1.3.227

Prevost, AT, Mason, D., Griffin, S., Kinmonth, A.-L., Sutton, S., & Spiegelhalter, D. (2007). Berücksichtigung von Korrelationen zwischen Korrelationen in Random-Effects-Metaanalysen von Korrelationsmatrizen. Psychologische Methoden, 12, 434-450. doi:10.1037/1082-989X.12.4.434

Riley, RD (2009). Multivariate Metaanalyse: Der Effekt des Ignorierens der Korrelation innerhalb der Studie. Zeitschrift der Royal Statistical Society – Serie A, 172, 789–811. doi:10.1111/j.1467-985X.2008.00593.x

Riley, RD, Abrams, KR, Sutton, AJ, Lambert, PC, & Thompson, JR (2007). Bivariate Random-Effects-Metaanalyse und Schätzung der Korrelation zwischen Studien. BMC Medical Research Methodology, 7, 3. doi:10.1186/1471-2288-7-3

Weiß, IR (2011). Multivariate Meta-Regression mit zufälligen Effekten: Aktualisierungen von mvmeta. Stata Journal, 11, 255-270.

Im Folgenden werden einige der Artikel beschrieben, die ich gefunden habe, in denen die SEM-Metaanalyse diskutiert und implementiert wird, um die Mediation zu untersuchen.

Cheung und Chan (2005)

Die Autoren unterscheiden drei Ansätze der metaanalytischen Strukturgleichungsmodellierung (MASEM).

• Univariate zweistufige MASEM: Dies beinhaltet eine Sammlung von zweistufigen Ansätzen (beachten Sie, dass Cheung und Chan es einfach univariat nennen , aber andere Autoren beschreiben es als zweistufigen Ansatz). Stufe 1 umfasst zunächst die Generierung einer gepoolten Korrelationsmatrix und Stichprobengröße. Stufe 2 beinhaltet die Analyse dieser Korrelationsmatrix und Stichprobengröße in Standard-SEM-Software.
• GLS (Verallgemeinerte kleinste Quadrate für MASEM)
• Cheung und Chans zweistufiges MASEM: Diese Ansätze verwenden SEM, um sowohl Korrelationsmatrizen zu synthetisieren als auch vorgeschlagene Modelle anzupassen.

Die Autoren stellen fest, dass, wenn Studien heterogene Korrelationsmatrizen haben, "sie nicht legitim aggregiert werden können" (S.46).

Schatten (1996)

Shadish (1996) bietet einen frühen Überblick über die Kombination von Metaanalyse- und SEM-Ansätzen. Er diskutiert einige Probleme und ermutigt zu weiterer statistischer Arbeit zu diesem Thema. Er fasst auch vier frühe Studien zusammen, die Metaanalysen angewendet hatten, um kausale Zusammenhänge aufzuklären.

1. Harris und Rosenthal (1985): Diese frühe Studie berichtete über die Verwendung von Metaanalysen, um acht gemittelte Korrelationen über eine Reihe von Studien hinweg zu erhalten. Vier der Korrelationen bestanden zwischen einer unabhängigen Variablen und theoretisierten Mediatoren und vier zwischen den Mediatoren und der abhängigen Variablen. Das Vorhandensein von Korrelationen zwischen allen Variablen wurde als Unterstützung für die Mediation verwendet.
2. Premack und Hunter (1988): In dieser Studie wurden Korrelationen für eine Reihe von Studien gemittelt und eine Pfadanalyse der resultierenden Korrelationsmatrix durchgeführt.
3. Shadish & Sweeney (1991): Diese Studie untersuchte Korrelationen zwischen Studien.
4. Becker's (1992): Diese Studie verwendete verallgemeinerte kleinste Quadrate, um Variationen in Korrelationen zwischen und innerhalb von Studien zu modellieren.

Andere Studien

Stajkovic et al. (2009) berichten über eine SEM-Metaanalyse, die den univariaten Ansatz zu verwenden schien. Gepoolte Korrelationen wurden berechnet und dann zur Analyse in die SEM-Software eingegeben. Die Autoren untersuchten auch die Invarianz von Parametern im SEM-Vermittlungsmodell über bestimmte Werte bestimmter Moderatoren hinweg.

Colquitt et al. (2007) führten eine SEM-Metaanalyse durch, bei der drei Prädiktoren und vier Folgen des Vertrauens (dh der „Mediator“) untersucht wurden. Die Autoren scheinen den univariaten Ansatz verwendet zu haben. Die Autoren berichten über die Untersuchung, ob Korrelationen durch die Moderatoren variierten:

Da die beiden von uns untersuchten Moderatoren, Art der Maßnahme und Vertrauensreferent, die Vertrauenskorrelationen nicht signifikant beeinflussten, verwendeten wir die Gesamtkorrelation.

Sie zeigen jedoch auch, dass die Korrelationen zwischen den Studien variieren, was darauf hindeutet, dass selbst wenn die Moderatoren die Variation der Korrelationen nicht erklären, die Variation der Korrelationen vermutlich aus anderen Gründen bestand.

Fried et al. (2008) verwendeten den univariaten Ansatz, um Mediationseffekte zwischen Arbeitsstress, psychologischen Mediatoren und Arbeitsleistung zu untersuchen. Die Autoren verwendeten ein Zufallseffektmodell, um gepoolte Korrelationskoeffizienten zu berechnen, und berichteten unter Verwendung des harmonischen Mittels der Zellstichprobengrößen für die Stichprobengröße im SEM.

Dunst und Trivette (2009) verwendeten den univariaten Ansatz für Studien zur familienzentrierten Pflege. Die Autoren berichten über gepoolte Korrelationen auf der Grundlage eines gewichteten Durchschnitts, „wodurch Studien mit größeren Stichprobenumfängen mehr Gewicht verliehen und andere statistische Artefakte berücksichtigt werden“. Es ist unklar, welche Stichprobengröße im anschließenden SEM verwendet wurde.

Sie adressierten das Problem der Homogenität von Korrelationsmatrizen, indem sie schrieben:

3.1. Homogenität der Korrelationsmatrizen. Dies ist ein Test, ob davon ausgegangen werden kann, dass die Korrelationsmatrizen in den 15 verschiedenen Studien aus derselben Grundgesamtheit stammen. CFI war 0,91 und RMSEA war 0,09. Die Ergebnisse zeigen, dass die verschiedenen Korrelationsmatrizen ziemlich ähnlich waren, um eine gepoolte Korrelationsmatrix zu erzeugen.

Ein RMSEA von 0,09 klingt jedoch ziemlich hoch. Ich habe Empfehlungen für einen RMSEA von weniger als 0,05 für eine sehr gute Passform gesehen. Ich bezweifle nicht, dass die Korrelationsmatrizen nicht ähnlich waren. Aber im Allgemeinen würden wir eine gewisse Abweichung der Punktzahl erwarten, und meiner Meinung nach scheinen solche Ergebnisse mit einer gewissen Abweichung vereinbar zu sein. Der Mangel an einfachen Analyseoptionen für den Umgang mit Heterogenität hält davon ab, zu untersuchen, inwiefern die Ergebnisse anders ausfallen würden, wenn angenommen würde, dass die Daten heterogen sind.

Bamberg & Moser (2007) verwendeten den univariaten Ansatz, um ein Modell der Theorie des geplanten Verhaltens auf das Umweltverhalten anzuwenden. Da die Korrelationen gemäß dem Q-Test zwischen den Studien signifikant variierten, verwendeten die Autoren die Random-Effects-Schätzung der gepoolten wahren Korrelation (sie geben jedoch auch gepoolte Schätzungen auf der Grundlage des Fixed-Effects-Modells an) und geben den Mittelwert und das 95-%-Konfidenzintervall an für die wahren Zusammenhänge. Der harmonische Mittelwert der Zellstichprobengrößen wurde angeblich zur Berechnung der Zellstichprobengrößen verwendet.

Bauer et al. (2007) verwendeten den univariaten Ansatz, um ein Modell der Neuankömmlingsanpassung zu testen. Mir war nicht klar, ob die gepoolten Korrelationen auf festen oder zufälligen Annahmen beruhten. Die Begründung für die Stichprobengröße wird nicht explizit angegeben, scheint aber im Großen und Ganzen mit so etwas wie einem harmonischen Mittelwert der Zellenstichprobengrößen übereinzustimmen.

Joseph et al. (2007) verwendeten den univariaten Ansatz, um ein Modell der Jobfluktuation zu testen. Gepoolte Korrelationen wurden gebildet, indem Stichprobenkorrelationen nach Stichprobengröße gewichtet und um Messfehler korrigiert wurden. Der harmonische Mittelwert der Zellprobengrößen wurde verwendet.

Chang et al. (2009) verwendeten den univariaten Ansatz zur Betrachtung der Organisationspolitik.

Haeussler-Keyton (2012) ist eine Doktorarbeit, die den univariaten Ansatz verwendet, der eine metaanalytische Pfadanalyse zu Studien zum Stillerfolg durchführte. Die verwendete Größe wurde wie folgt berechnet: Die durchschnittliche Stichprobengröße N in Studien wurde für jede Zelle berechnet, und die kleinste davon wurde für Analysen verwendet. Beachten Sie, dass dies zu einer viel kleineren Stichprobengröße führt, als wenn Sie einfach die durchschnittliche Gesamtzellen-Stichprobengröße nehmen. Der Autor passt Modelle an, indem er gepoolte Korrelationen verwendet, die sowohl auf Berechnungen mit festen als auch mit zufälligen Effekten basieren.

Zhang (2011) schrieb eine Dissertation, in der sie den GLS-Ansatz und den multivariaten zweistufigen Ansatz von Cheung und Chan (2005) überprüfte.

Viswesvaran und die Einen (1995)

Viswesvaran und Ones (1995) bieten einen Leitfaden im Tutorial-Stil für univariates MASEM. Sie zitieren mehrere Studien, die diesen Ansatz verwendet haben, darunter Hunter (1983), Hom, Caranikas-Walker, Prussia und Griffeth (1992), Peters, Hartke und Pohlmann (1985), Brown und Peterson (1993), Ones (1993) und Viswesvaran (1993). Der allgemeine Ansatz besteht darin, True-Score-Korrelationen unter Verwendung verschiedener metaanalytischer Standardtechniken zu berechnen und diese Korrelationsmatrix als Eingabe für SEM zu verwenden.

Viswesvaran und Ones (1995) diskutieren das Problem des Umgangs mit fehlenden Zellen in der Korrelationsmatrix . Sie nennen mehrere Möglichkeiten, damit umzugehen:

(a) eine Primärstudie entwerfen, um Daten mit ausreichend großem Stichprobenumfang zu sammeln, so dass die Auswirkungen von Stichprobenfehlern reduziert werden, um stabile Schätzungen der Korrelationen zu erhalten, die nicht in der Literatur angegeben sind; (b) die durchschnittliche Korrelation (über alle Korrelationen hinweg) in den leeren Zellen verwenden; (c) Suche nach Mustern von Korrelationen und imputierten Werten in den fehlenden Zellen der Matrix; und (d) den Test der Theorie so modifizieren, dass er nur die Konstrukte einbezieht, für die eine vollständige Matrix von geschätzten wahren Score-Korrelationen in der Literatur verfügbar ist. Eine letzte Option, wie von einem anonymen Gutachter vorgeschlagen, besteht darin, Fachexperten zu verwenden, um die fehlende Korrelation zu schätzen (z. B. Schmidt et al., 1983).

Viswesvaran und Ones (1995) diskutieren auch das Problem der variierenden Stichprobengröße pro Zelle in der Korrelationsmatrix. Sie erwähnen mehrere Optionen: (a) Verwendung des harmonischen Mittels der Stichprobenumfänge über Zellen hinweg; (b) nur Studien einbeziehen, die alle Variablen umfassen; (c) Nehmen Sie an, dass die Stichprobe eine Grundgesamtheit ist, und ignorieren Sie Standardfehler und Konfidenzintervalle.

Viswesvaran und Ones (1995) erkennen auch das Problem an, dass echte Korrelationen zwischen Studien systematisch variieren können . Sie schlagen mehrere Ansätze vor: (a) Einbeziehung von Moderatoren, bis die wahre Bewertungsvarianz auf null reduziert ist, und Einbeziehung dieser Moderatoren in die Pfadanalyse; (b) Berechnen der drei SEMs, eines unter Verwendung der unteren 90 %-Konfidenzintervalle von meta-analysierten Korrelationen, eines weiteren unter Verwendung der oberen 90 %-Konfidenzintervalle von meta-analysierten Korrelationen und ein drittes unter Verwendung des Mittelwerts.

Das obige Problem der Variation in wahren Korrelationen ist eines der größten Probleme, mit denen ich mich befasse. Die meisten Metaanalysen, die ich gelesen habe, zeigen Variationen in wahren Korrelationen (daher verschiedene Empfehlungen, Metaanalysen mit zufälligen Effekten zu bevorzugen). Darüber hinaus ist es unwahrscheinlich, dass verfügbare Moderatoren alle wahren Variationen berücksichtigen würden. In vielen Kontexten bezweifle ich, dass verfügbare Moderatoren überhaupt den größten Teil der wahren Variation ausmachen würden. Obwohl ich also sehen kann, dass das Einschließen sinnvoller Moderatoren nützlich wäre, sage ich voraus, dass dies in den meisten Anwendungen das Problem der Variation echter Korrelationen nicht lösen würde.

Auch die zweite Möglichkeit, untere, mittlere und obere Korrelationen zu berechnen, scheint mir keine Lösung des Problems zu bieten. Zunächst einmal, selbst wenn die Korrelationen zwischen den Studien variieren, ist es unwahrscheinlich, dass eine solche Variation zu einem einheitlichen Anstieg und Abfall in allen Korrelationen führen würde. Beispielsweise kann in einigen Studien die wahre Korrelation für ein Variablenpaar höher als der Mittelwert und für ein anderes niedriger sein. Allerdings klingt die Idee, die Bandbreite der Distributionen zu testen, vielversprechend.

Cheung und Chan (2009)

Cheung und Chan (2009) bieten einen technischen Überblick mit geeigneten Formeln, einer Simulation und einem Beispiel zur Durchführung des zweistufigen Ansatzes für die SEM-Metaanalyse. Sie erkennen an, dass heterogene Korrelationsmatrizen problematisch sind. Sie schlagen die folgenden Optionen vor: (a) Clustering von Korrelationsmatrizen; (b) einige gruppenübergreifende Beschränkungen (z. B. basierend auf Moderatoren) im SEM freigeben.

Becker (2009)

Becker (2009) legt dar, wie man Modelltests basierend auf dem GLS-Ansatz durchführt.

Persönliche Gedanken

Pooling und Zufallseffekte

Im Allgemeinen scheint das Random-Effects-Modell vernünftiger zu sein. Sofern die Meta-Analyse nicht aus exakten Replikationen besteht, unterscheiden sich die Studien typischerweise in vielerlei Hinsicht. Und dies manifestiert sich in unterschiedlichen Korrelationen. Die Verwendung eines Random-Effects-Modells beinhaltet die unterschiedliche Gewichtung von Stichprobenkorrelationen, indem Varianzen zwischen Studien berücksichtigt werden. Die Folge ist, dass Studien mit kleineren Stichprobenumfängen stärker gewichtet werden, als dies bei einem Fixed-Effects-Modell der Fall wäre.

Abweichungen in den Korrelationen müssen nicht unbedingt normal sein. In Studien kann es Ausreißerkorrelationen geben. Beobachtete Moderatoren können einige der Korrelationsvarianzen zwischen den Studien erklären. In ähnlicher Weise können Artefakte wie Zuverlässigkeit, Reichweitenbeschränkungen usw. zusätzliche Varianzen in Effektstärken erklären.

Wenn es keine True-Score-Varianz gibt, erscheint der zweistufige Ansatz sinnvoll. Auch wenn nach dem Einbeziehen von Moderatoren die True-Score-Varianz berücksichtigt wird, erscheint der zweistufige Ansatz vernünftig. Ebenso könnte die Idee, Korrelationsmatrizen zu gruppieren, um True-Score-Varianzen zu entfernen, vielversprechend sein.

Die Verwendung eines Random-Effects-Modells zur Gewichtung von Korrelationen ist eine vernünftige Methode, um eine Schätzung der mittleren wahren Korrelation zu erhalten. Die Verwendung solcher gepoolter Schätzungen in SEM wirft jedoch mehrere Probleme auf. Erstens erfasst ein solches Verfahren nicht die wahre Variation der Effektstärken. Parameterschätzungen und SEM-Anpassung variieren systematisch zwischen den Studien; Nur die Analyse der mittleren wahren Korrelationen ignoriert diese systematische Streuung zwischen den Studien. Zweitens scheint die Verwendung von Schätzungen der Stichprobengröße auf der Grundlage des Durchschnitts, des Minimums oder des harmonischen Mittels der Stichprobengrößen der Zellen alle ein Modell mit festen Effekten der Genauigkeit bei der Schätzung der wahren Korrelationskoeffizienten anzunehmen.

Andere Ansätze

Eine andere Strategie wäre, SEM an jeder Probe durchzuführen und die Parameter und Anpassungsstatistiken als Werte zu behandeln, die zwischen Proben variieren. Die Verteilung (z. B. Mittelwert und SD) dieser SEM-Parameter und Anpassungsstatistiken könnten zusammengefasst werden. Dies wäre vergleichbar damit, wie Korrelationen und andere Effektgrößen typischerweise als Zufallseffekte modelliert werden. So könnte beispielsweise die Variation des indirekten Effekts über die Stichproben hinweg untersucht werden. Die Herausforderung bestünde darin, zu unterscheiden, was eine echte Score-Variation ist und was auf Zufallsstichproben zurückzuführen ist.

Dies scheint eine gute Idee zu sein, obwohl oft eine bedeutende Varianz der Effekte auch nach der Kontrolle des Moderators bestehen bleibt und die Anzahl der Studien für einen bestimmten Moderatorwert oft minimal sein kann.

Verweise

• Bamberg, S. & Moser, G. (2007). Zwanzig Jahre nach Hines, Hungerford und Tomera: Eine neue Metaanalyse psychosozialer Determinanten umweltfreundlichen Verhaltens. Zeitschrift für Umweltpsychologie, 27, 14-25.
• Bauer, TN, Bodner, T., Erdogan, B., Truxillo, DM & Tucker, JS (2007). Newcomer-Anpassung während der organisatorischen Sozialisation: Eine metaanalytische Überprüfung der Vorgeschichte, Ergebnisse und Methoden. Journal of Applied Psychology, 92, 707. PDF
• Becker, BJ (1992). Leistungsmodelle in Naturwissenschaften: Kräfte, die männliche und weibliche Leistungen in den Naturwissenschaften in der Schule beeinflussen. In TD Cook, HM Cooper, DS Cordray, H. Hartmann, LV Hedges, RJ Light, TA Louis, & F. Mosteller (Hrsg.), Metaanalyse zur Erklärung: Ein Fallbuch (S. 209-281). New York: Russell-Sage-Stiftung.

• Becker, BJ (2009) Model-based meta-analysis, Kapitel 20, in Das Handbuch der Forschungssynthese und Metaanalyse, Herausgeber: Cooper, HM und Hedges, LV und Valentine, JC, Russell Sage Foundation Publications.

• Brown SP, Peterson RA. (1993). Vorläufer und Folgen der Arbeitszufriedenheit von Verkäufern: Metaanalyse und Bewertung kausaler Auswirkungen. Zeitschrift für Marktforschung, 30,63-77.

• Cheung, MWL & Chan, W. (2005). Metaanalytische Strukturgleichungsmodellierung: ein zweistufiger Ansatz. Psychologische Methoden, 10, 40. PDF
• Cheung, MWL & Chan, W. (2009). Ein zweistufiger Ansatz zur Synthese von Kovarianzmatrizen in der metaanalytischen Modellierung von Strukturgleichungen. Strukturgleichungsmodellierung, 16, 28-53.
• Colquitt, JA, Scott, BA & LePine, JA (2007). Vertrauen, Vertrauenswürdigkeit und Vertrauensneigung: Ein metaanalytischer Test ihrer einzigartigen Beziehungen zu Risikobereitschaft und Arbeitsleistung. Journal of Applied Psychology, 92, 909.
• Dunst, CJ & Trivette, CM (2009). Metaanalytische Strukturgleichungsmodellierung der Einflüsse familienzentrierter Pflege auf die psychische Gesundheit von Eltern und Kindern. Internationale Zeitschrift für Pädiatrie, 2009. PDF
• Fried, Y., Shirom, A., Gilboa, S. & Cooper, CL (2008). Die vermittelnden Wirkungen von Arbeitszufriedenheit und Kündigungsneigung auf Rollenstress-Arbeitsleistungsbeziehungen: Kombination von Metaanalyse und Strukturgleichungsmodellierung. International Journal of Stress Management, 15, 305.
• Joseph, D., Ng, KY, Koh, C. & Ang, S. (2007). Umsatz von IT-Experten: eine narrative Überprüfung, metaanalytische Strukturgleichungsmodellierung und Modellentwicklung. MIS Quarterly, 31, 547-577.
• Harris, MJ, & Rosenthal, R. (1985). Vermittlung von zwischenmenschlichen Erwartungseffekten: 31 Meta-Analyse. Psychological Bulletin, 97, 363-386. Haeussler-Keyton, K. (2012). Psychologische und soziale Faktoren im Zusammenhang mit Stillerfolg: Eine metaanalytische Pfadanalyse. Doktorarbeit an der Texas Tech University. Pdf
• Jäger JE. (1983). Eine kausale Analyse von kognitiven Fähigkeiten, Berufswissen, Arbeitsleistung und Vorgesetztenbewertungen. In Landy FJ, Zedeck S, Cleveland J (Hrsg.), Performance Measurement and Theory (S. 257-266). New Jersey: Eribaum.
• Ones DS. (1993). Die Konstruktvalidität von Integritätstests. Unveröffentlichte Dissertation. Universität von Iowa, Iowa City.
• Peters LH, Hartke DD, Pohlmann JT. (1985). Fiedlers Kontingenztheorie der Führung: Eine Anwendung der Mieta-Analyseverfahren von Schmidt und Hunter. Psychological Bulletin, 97,274-285.
• Premack, SL, & Hunter, JE (1988). Individuelle Gewerkschaftsentscheidungen. Psychological Bulletin, 103, 223-234.
• Shadish, WR (1996). Metaanalyse und die Erforschung kausaler Vermittlungsprozesse: Eine Einführung in Beispiele, Methoden und Probleme. Psychologische Methoden, 1, 47.
• Shadish, WR, & Sweeney, R. (1991). Mediatoren und Moderatoren in der Meta-Analyse: Es gibt einen Grund, warum wir uns nicht von Dodo-Vögeln sagen lassen, welche Psychotherapien Preise haben sollten. Journal of Consulting and Clinical Psychology, 59, 883-893.
• Stajkovic, AD, Lee, D. & Nyberg, AJ (2009). Kollektive Wirksamkeit, Gruppenpotenz und Gruppenleistung: Metaanalysen ihrer Beziehungen und Test eines Vermittlungsmodells. Journal of Applied Psychology, 94, 814.
• Viswesvaran, C. & Ones, DS (1995). THEORIEPRÜFUNG: KOMBINATION VON PSYCHOMETRISCHER META-ANALYSE UND STRUKTURGLEICHUNGSMODELLIERUNG. Personalpsychologie, 48, 865-885.
• Viswesvaran C. (1993). Arbeitsleistung modellieren: Gibt es einen allgemeinen Faktor? Unveröffentlichte Dissertation, LIniversity of Iowa, Iowa City.
• Zhang, Y. (2011). Metaanalytische Strukturgleichungsmodellierung (MASEM): Vergleich der multivariaten Methoden. Doktorarbeit an der Florida State University. Pdf