다층 구조방정식모형을 활용한 매개효과 분석

Abstract

교육 자료는 일반적으로 다층 구조를 띠므로 매개효과도 일반적으로 다층 구조에서 발생한다. 이러한 구조에서 발생하는 매개효과를 다층 매개효과라 일컫는다. 이때, 매개효과를 올바르게 검증하기 위해서, 다층 구조를 반영하여 분석해야 한다. 이는 다층 구조를 반영하지 않고 1수준에서 매개효과를 분석한다면, 매개효과와 관련된 계수의 표준오차가 과소 추정되어 1종 오류가 증가하는 문제가 발생하기 때문이다. 또한, 2수준으로 변수를 통합하여 매개효과를 분석할 경우, 매개효과가 과대 추정되는 문제를 보인다. 따라서 이 연구는 다층 구조를 반영하여 독립변수, 매개변수, 종속변수가 각각 2수준, 1수준, 1수준에 위치하는 구조에서 발생하는 다층 매개효과를 검증하였다. 이 연구의 목적은 다층 구조방정식모형을 활용하여 다층 매개효과를 검증할 때, 자료의 조건에 따라 직접효과와 간접효과 추정치의 양호도가 어떠한지 살펴보는 데 있다.

다층 매개효과 분석은 위계적 선형 모형에 적용된 것을 시작으로, 많은 연구자들에 의해 다양한 모형이 제안되고, 발전되어 왔다. 특히, 매개변수의 맥락효과가 존재할 때, 즉, 매개변수의 효과가 수준별로 다르게 나타날 때, 맥락효과를 고려하여 매개효과를 정확하게 추정하기 위하여 다층 구조방정식모형이 제안되었다. 특히, 급내 상관계수와 집단 크기가 작을 때, 다층 구조방정식모형은 위계적 선형 모형보다 간접효과를 정확하게 추정하는 이점을 보였다.

한편, 매개효과와 관련된 모의실험 선행연구는 다음과 같은 제한점을 가진다. 먼저, 일반적으로 매개효과가 부분적으로 발생함에도 불구하고, 간접효과와 직접효과의 양호도를 종합적으로 살펴보지 않았다. 둘째, 교육 상황에서 맥락효과가 다양한 유형으로 나타날 수 있지만, 제한된 조건에 한하여 맥락효과를 고려하였다. 마지막으로, 모든 모의실험 연구는 독립변수, 매개변수, 종속변수가 하나씩 존재하는 구조를 가정함으로써 같이 변수 간의 관계를 간단하게 가정하였다.

이러한 점을 반영하여 이 연구에서는 다층 구조방정식모형을 활용하여 매개효과 분석 시, 맥락효과와 다층 자료의 구조에 따라 직접효과와 간접효과의 추정치의 양호도를 종합적으로 살펴보았다. 이를 위해 연구1에서는 독립변수, 매개변수, 종속변수가 하나씩 있는 구조를 가정하여 모의실험을 진행하였다. 연구 자료로는 맥락효과의 유형, 급내 상관계수, 집단의 수, 집단 크기의 조건을 다르게 하여 모의실험 자료를 생성하였고, 조건에 따라 직·간접효과 추정치의 정확성, 효율성, 검정력이 어떠한지 확인하였다. 연구2에서는 독립변수가 두 개 있는 구조를 가정하여 모의실험을 수행하였다. 연구1과 동일한 조건으로 모의실험 자료를 생성하여, 맥락효과와 다층 자료의 조건에 따라 두 개의 직접효과와 두 개의 간접효과 추정치의 양호도가 어떠한지 확인하였다. 연구3에서 역시 모의실험 자료를 활용하여 두 개의 매개변수가 존재할 때, 두 매개변수의 맥락효과의 유형에 따라 직·간접효과 추정치의 양호도를 살펴보았다.

연구1의 결과를 요약하여 제시하면 다음과 같다.

첫째, 직접효과와 간접효과의 정확성은 맥락효과의 조건에 따라 다른 모습을 보였다. 일반적으로 맥락효과가 존재하지 않을 때, 직·간접효과는 정확하게 추정되었다. 반면, 맥락효과가 존재할 때, 직·간접효과는 급내 상관계수, 집단의 수, 집단 크기가 증가할수록 정확하게 추정되었다. 또한, 맥락효과의 유형에 따라 간접효과가 편의 되는 방향이 영향을 받았고, 직접효과는 간접효과가 편의된 방향으로 반대 방향으로 편의 되었다. 이러한 결과는 다양한 맥락효과의 조건에서 간접효과와 직접효과의 편의의 크기와 방향을 종합적으로 탐색하였다는 점에서 이점을 보인다.

둘째, 직·간접효과의 효율성과 검정력은 맥락효과의 유형과 관련 없이 급내 상관계수, 집단의 수, 집단 크기가 클수록 향상되었다. 이러한 결과는 직·간접효과를 일관적으로 검정하기 위해 집단의 수와 집단 크기가 충분히 클 필요성을 보여준다.

연구2의 주요 결과를 요약하면 다음과 같다.

첫째, 간접효과의 효과크기는 직·간접효과의 정확성에 영향을 주지 않았다. 따라서 효과크기가 다른 두 간접효과가 편의 되는 크기는 유사하게 나타났다. 또한, 편의의 방향과 맥락효과의 조건의 관계, 편의의 크기와 급내 상관계수, 집단의 수, 집단 크기의 관계는 연구1과 동일하게 나타났다.

둘째, 간접효과의 효과크기는 직·간접효과의 효율성에 영향을 주었다. 따라서 간접효과의 크기가 작을수록 간접효과는 더 일관적으로 추정되었다. 또한, 직접효과의 효율성은 간접효과의 효율성에 영향을 받아, 보다 효율적으로 추정된 간접효과에 대응되는 직접효과의 효율성이 더 높게 나타났다. 이러한 결과는 다층 구조방정식모형을 활용할 때, 동시에 추정되는 직·간접효과의 효율성이 서로 관련되어 있음을 보여준다.

셋째, 직접효과의 검정력은 직접효과의 효율성에 영향을 받았다. 즉, 효과크기가 동일한 직접효과의 검정력을 비교하면, 효율성이 더 높았던직접효과가 모수 부근에서 보다 안정적으로 추정되어 검정력이 모든 자료 조건에서 더 높게 나타났다. 따라서 실제 영이 아닌 직·간접효과를 안정적으로 추정 및 검정하기 위해 집단의 수와 집단 크기가 충분히 클 필요성을 확인하였다.

연구3의 주요 결과를 요약하면 다음과 같다.

첫째, 한 매개변수의 맥락효과 유형은 그 변수를 매개하는 간접효과의 정확성에 주요한 영향을 미칠 뿐, 다른 매개변수를 매개하는 간접효과의 정확성에 큰 영향을 미치지 않았다. 이때, 직접효과는 두 간접효과가 편의 되는 방향과 크기에 종합적으로 영향을 받아 편의 되는 모습을 보였다. 이로부터 연구1·2의 결과를 일반화하여 직·간접효과의 정확성의 관계를 파악함으로써, 종속변수에 대한 한 독립변수의 총 효과는 정확하게 추정될 수 있음을 확인하였다.

둘째, 직접효과의 효율성은 간접효과의 효율성보다 낮게 나타났으며, 이는 결과적으로 검정력에 영향을 미쳤다. 구체적으로, 직접효과의 평균제곱오차는 두 간접효과의 평균제곱오차의 합과 유사할 정도로 큰 값을 보였다. 따라서 간접효과는 적절한 자료 조건에서 양호한 검정력을 보였다. 반면, 직접효과의 경험적 1종 오류 비율이 통제된 상황에서도, 간접효과와 효과크기가 유사한 직접효과는 모든 자료 조건에서 검정력이 낮게 나타났다. 이러한 결과를 통해 직·간접효과의 검정력에 효율성이 영향을 미치고 있음을 재확인하였고, 이로부터 실제 부분적으로 발생하는 매개효과를 완전 매개효과로 해석하지 않도록 주의할 필요성을 확인하였다.

이 연구는 다층 매개효과 분석을 위해 다층 구조방정식모형의 활용을 제안하였다. 특히, 복수의 매개변수가 존재할 때, 다층 구조방정식모형은 공분산행렬에 근거하여 매개효과와 관련된 계수를 동시에 추정할 수 있는 이점을 갖는다. 또한, 각 모형 별로 직·간접효과를 올바르게 분석할 수 있는 자료 조건을 제안하였다. 이로부터 복수의 독립변수 및 매개변수를 포함하는 다층 매개효과 분석을 위해 자료를 수집하고자 하는 연구자에게 실용적인 가이드라인을 제공할 수 있으리라 기대한다.

The mediation effect, which is named as the multilevel mediation effect, usually occurs in the multilevel structure because of the nested structure of educational data. Therefore, it is necessary to consider the multilevel structure in order to examine the mediation effect more precisely. Analyzing the mediating effect in the first-level model without consideration of multilevel structure would underestimate the standard errors of coefficients relating to the mediation effect, which might increase the type-one error. Furthermore, examining the mediating effect by aggregating variables into the level-two unit could cause the overestimation of effect. In this regard, this study aims to test the multilevel mediation effect in the structure where there are the level-2 independent variable, level-1 mediating variable and level-1 dependent variable. The purpose of this study is to explore the quality of the direct and indirect estimates when testing the multilevel mediation effect by using multilevel structural equation modeling(MSEM).

The multilevel mediation analysis has been developed by many researchers since it was analyzed by using hierarchical linear model. In particular, when the contextual effect exists, which means the effect of a mediator differs by the levels of modeling, the MSEM has been proposed to improve the estimation of the multilevel mediation effect with consideration of the contextual effect. Specifically, when the Intra-class correlation coefficients(ICC) or the group size was small, the MSEM was shown to estimate the indirect effect more precisely than the HLM results.

Meanwhile, the previous simulation studies related to the multilevel mediation effect have several limitations as follows. First, they did not analyze the quality of the indirect and direct effects comprehensively even though the mediation effect usually occurred partially. Second, the condition of the contextual effect was restricted even though it could occur in various types in the educational context. Finally, in all of the simulation studies, the relationship among variables was too simple by assuming a structure composed of one independent variable, one mediating variable and one dependent variable.

Based on the limitations referred to above, this research explored the qualities of the indirect and direct effect estimates based on the contextual effect and multilevel data structure by using the MSEM. To do this, the simulation study was conducted by using the data with one independent variable, one mediator, and one dependent variable in study1. The data was generated by different conditions of the contextual effect, ICC, the number of groups and the group size. In addition, the research examined how the accuracy, efficiency and power of estimates differed by conditions.

In study2, the simulation study was conducted by using data assuming two independent variables. The qualities of estimates in the two indirect and direct effects were also explored by conditions of the contextual effect and multilevel structure as in study1. In study3, assuming there were two mediators, the study explored whether the quality of indirect and direct estimates was influenced by the type of contextual effect.

The results of study1 are summarized as follows.

First, the accuracy of direct and indirect effect estimation was different according to the contextual effect. When there was no contextual effect, the direct and indirect effects were accurately estimated. On the other hand, when the contextual effect exists, the accuracy improved as the ICC, the number of groups, and the group size increased. Moreover, the indirect effect was biased with depending on the condition of the mediators contextual effect. The direct effect was also affected by the biased direction of the indirect effect and accordingly the total effect could be estimated accurately. The findings comprehensively showed how the indirect and direct effects were biased under different conditions of the contextual effects.

Second, the efficiency and power of indirect and direct effects were shown to be improved as the ICC, the number of groups, and group size increased. On the other hand, the efficiency and power of the indirect and direct effects were not influenced by the type of contextual effects. These results suggest that researcher need to consider a sufficient number of groups and group size in order to obtain more consistent test results of the indirect and direct effects.

The results of study2 are summarized as follows.

First, the accuracy of direct and indirect effects was not affected by the effect size of the indirect effects. Therefore, two indirect effects with different effect size were biased at a similar size. Furthermore, the biased direction influenced by the contextual effect, and the relationship among the accuracy of estimates, ICC, the number of groups and group size were same as study1.

Second, the efficiency was affected by the effect size of indirect effects. Thus, the smaller its effect size, the accurately the indirect effects were estimated. Additionally, the efficiency of direct effect was affected by the indirect counterpart, which showed a relatively higher level of efficiency of direct effect corresponding to the indirect effect. The results indicate that the efficiency of the direct and indirect effects is related to each other when the MSEM was used.

Third, the power of direct effects was affected by the efficiency of direct effects. That is, when it comes to the power of direct effects with same effect size, the power of better efficiency was higher at all conditions because the direct effect with better efficiency was consistently estimated approximately to the parameter. It means that research need to have enough number of groups and cases for more consistent estimation of the direct and indirect effects which are not actually zero.

The results of study3 are summarized as follows.

First, the type of contextual effect of a mediator had an influence on the accuracy of indirect effect which mediated itself. However, it did not affect the accuracy of indirect effect which mediated another mediator. The bias of direct effect was comprehensively affected by the biased direction and size of two indirect effects. Based on the generalization of findings of study1 and study2, the study confirmed the total effect of an independent variable toward a dependent variable could be accurately estimated.

Second, the efficiency of direct effect was lower than that of indirect effect, which led to the power of direct effect. Specifically, the MSE of direct effect was large enough to be similar to the sum of the MSEs of two indirect effects. Therefore, the power of indirect effects was good under appropriate conditions. On the other hand, even after controlling for the empirical type-1 error rate of direct effect, the direct effect whose effect size was similar to the indirect effects showed a lower power under the all conditions. The findings reconfirmed that the efficiency had an effect on the power of direct and indirect effects. Consequently, we need to be cautious not to interpret a partial mediation effect as a fully mediation one.

This study was meaningful in that it suggested the use of MSEM in terms of the analysis of the multilevel mediation effect. Particularly, when there were several mediators, the MSEM had a key advantage of simultaneously estimating the coefficients related to the mediation effect based on covariance matrix. In addition, the study suggested appropriate conditions to estimates the direct and indirect effects in each model. This research can provide a practical guideline to researchers who conduct a data collection for the analysis of the multilevel mediation effect including several independent variables or mediators.