교육 종단연구에서 잠재 결과변인에 대한 처치효과 분석

Abstract

이 연구의 목적은 교육 종단연구에서 잠재 결과변인을 반영하면서 동시에 처치 할당 함수의 비선형성을 고려하여 종단 선택편의를 조정하는 2단계 처치효과 분석 모형을 제안하는 것이다. 정량적 방법론을 활용하는 교육 연구 중에는 가시적으로 관찰되지 않는 잠재적 속성을 대상으로 하는 경우가 있다. 그리고 이러한 잠재적 속성에 대한 처치효과를 분석할 때, 연구에 따라서는 측정오차를 고려하지 않고 측정변인의 평균을 사용하는 경우도 있다. 그러나 만약 측정오차가 존재할 경우, 이는 처치효과 추정량에도 영향을 미칠 수 있기 때문에 측정모형을 적용할 필요가 있다. 그런데 잠재 결과변인에 대한 처치효과 분석에서는 측정오차와 더불어 동시에 처치의 무선화에 대한 고려 역시 필요하다. 그 이유는 교육 연구에서 실험설계가 어려운 경우가 많기 때문이다. 이러한 비무선화 상황에서는 일반적으로 사전적 특질에 의한 선택편의가 존재한다. 그리고 특히 최근 증가하는 종단연구에서 선택편의의 양상은 더욱 복잡하다. 이에 대한 해법 중 하나로 경향점수를 이용한 역확률 처치 가중 방법(inverse probability of treatment weighting, IPTW)이 제안된 바 있는데 이를 구조방정식 모형에 결합한 대부분의 선행연구에서는 경향점수 모형의 처치 할당 함수가 선형으로 가정되었다. 그러나 모형의 함수 형태에 오류가 있다면 처치효과 추정량은 일치성을 상실한다. 이와 관련한 이슈는 실제 자료에서 처치 할당 함수가 엄밀한 선형성을 충족하는 경우가 흔치 않으며 모든 비선형 함수를 고려하여 함수 형태를 명세화하기 어렵다는 점이다. 이러한 점에서 이 연구는 처치 할당을 결정하는 함수 형태에 대한 가정을 완화한 비모수 공변인 균형 경향점수(nonparametric covariate balancing propensity score)를 종단연구 설계로 확장하여 이를 잠재 결과변인에 대한 처치효과 분석에 결합하는 2단계 모형을 제안하였다. 그리고 처치효과 추정량에 대해 잠재 결과변인의 반영 및 종단 선택편의 조정 측면에서 논의하였다. 잠재 결과변인을 반영할 필요성과 관련하여, 잠재 결과변인 대신 측정변인의 평균을 활용하였을 때 처치효과 추정량의 편의는 요인부하량의 평균에 반비례하며, 표본이 커지더라도 감소하지 않음을 확인하였다. 또한, 비무선화 상황에서 경향점수 IPTW를 통해 종단 선택편의를 조정하여 잠재 결과변인에 대한 처치효과를 추정할 수 있음을 확인하였다. 이 때, 기존의 PS(propensity score), GPS(generalized propensity score) 모형에서는 명세화 오류가 발생할 경우 처치효과 추정량이 일치성을 상실하게 된다. 반면, 비모수 모형인 npCBPS(nonparametric covariate balancing propensity score), npCBGPS(nonparametric covariate balancing generalized propensity score)에 근거한 IPTW는 모수 모형에 근거한 IPTW에 비해 명세화 오류에 대해 강건한 특성을 지닌다. 이러한 제안 모형 및 그에 대한 이론적 논의를 바탕으로 모의실험 연구 및 실제 자료 분석을 수행하였다. 첫째, 모의실험 연구에서는 처치 할당 함수의 형태에 대해 교육 연구에서 발생 가능한 여러 함수를 상정하고 IPTW 모형 및 결과모형 설정에 따른 처치효과 추정치를 비교하였다. 여기서 함수 형태는 선형 및 비선형 함수를 포함하는 다섯 가지 경우를, 결과모형으로는 잠재 결과변인을 반영한 모형(구조방정식 모형)과 측정변인의 평균을 이용한 모형(회귀 모형)을 설정하였다. 둘째, 제안 모형을 실제 자료에 적용하여 분석 실례를 보이고 그 결과를 이론적 논의 및 모의실험 결과에 비추어 검토하였다. 이를 위해 경기교육종단연구의 자료를 활용하여 중학교 2학년 및 3학년 시점의 사교육 참여 및 시간이 3학년 시점의 학업스트레스에 미치는 영향을 분석하였다. 모의실험 연구 및 실제 자료 분석에 대한 주요 결과는 다음과 같다. 첫째, 모의실험 연구의 결과를 요약하면 다음과 같다. 잠재 결과변인을 반영한 분석 모형의 경우, 비모수 모형(npCBPS, npCBGPS)에 기반한 IPTW를 적용하였을 때, 처치효과 추정치의 상대편의가 모든 함수 형태에 대하여 중간 이상의 표본 크기에서 양호의 기준(±5%)을 충족하였다. 한편, 모수 모형(PS, GPS)의 경우, 선형 함수일 때는 결과가 양호하였으나 상호작용항이 존재하는 경우, GPS 모형은 일부 추정치의 선택편의를 충분히 조정하지 못하였다. 또한, 모수 모형 모두 이차항이 존재할 때에는 추정치의 편의가 상당히 크게 나타났다. 다음으로 평균제곱오차의 경우, 전반적으로 모수 모형에 비해 비모수 모형에서 약간 큰 경향을 보였다. 즉, 비모수 모형의 추정치가 모수 모형의 추정치에 비해 편의가 작고 분산은 약간 큰 현상이 나타났는데 이는 편의-분산 절충(bias-variance trade-off)과 관련되는 것이다. 마지막으로, 동일한 IPTW를 적용한 두 결과 모형의 처치효과 추정치를 비교하면, 모든 함수 및 표본 크기에서 회귀 모형의 추정치가 구조방정식 모형의 추정치에 비해 과소추정되었다. 이와 같은 일관된 결과를 통하여 이러한 편의가 측정오차로부터 발생한다는 이론적 논의를 확인하였다. 둘째, 실제 자료 분석의 결과는 다음과 같다. 중학교 2학년 및 3학년 시점의 사교육 참여가 3학년 시점의 학업스트레스에 미치는 영향을 분석한 결과, PS 모형과 npCBPS 모형 모두 공변인 균형 결과가 양호한 편이었다. 그러나 사교육 시간 모형의 경우, GPS 모형에 기반한 IPTW를 적용하였을 때, 오히려 공변인의 차이가 더욱 증가하는 경우가 발생하였다. 반면, npCBGPS 모형에 기반한 IPTW는 공변인 균형이 양호하게 확보되는 것으로 나타났다. 그리고 결과 모형에서 GPS 모형 기반의 IPTW는 사교육 시간의 지연 효과를 상대적으로 작게 추정하는 것으로 나타났다. 이 결과는 이분형 처치에 비해 연속형 처치일 경우, 모수 모형의 IPTW가 민감할 수 있다는 이론적 논의 및 모의실험 결과의 맥락으로 해석할 수 있다. 이와 더불어 사교육 참여 및 시간 모형 모두에서 구조방정식 모형의 추정치에 비해 회귀 모형의 추정치가 작게 나타나는 현상을 확인하였다. 이는 측정오차에 대한 이론적 논의 및 모의실험의 결과와 일치하는 실례로 볼 수 있다. 상기한 연구 결과를 바탕으로 한 논의점은 다음과 같다. 첫째, 잠재적 속성을 지니는 결과변인에 대한 처치효과 분석에서 측정변인의 평균을 사용하는 대신 측정모형을 고려할 필요가 있다. 비무선화 상황에서 측정오차를 반영하지 않았을 때, 처치효과 추정량에는 선택편의 외에도 측정오차에 의한 편의가 혼재되어 있기 때문이다. 둘째, 경향점수 추정 모형에 대해 선형성을 확신하기 어려운 경우, 비모수 공변인 경향점수 모형(npCBPS, npCBGPS)을 대안으로 고려할 수 있다. 실제 자료에서는 함수 형태를 확신할 수 있는 경우가 흔치 않으며 공변인 간 상호작용항이나 고차항을 모두 검토하기 어렵다. 이 점에서 명세화 오류에 강건한 비모수 모형은 실증 분석에서 활용 가능성이 높다. 특히, 모의실험 결과를 볼 때 연속형 처치에 대한 분석 시 연구자의 주의가 필요하며, 처치 할당 함수 형태에 대해 곡선형이 예상된다면 두 유형의 처치 모두 비모수 모형이 더 나은 대안일 것이다. 셋째, 실증 분석에서 극단 가중치가 발생할 경우, 비모수 모형에 기반한 공변인 균형 평가를 수행할 수 있다. 이는 가능한 모든 경우를 고려하기 어려운 모형 재설정이나 기준이 모호한 절사에 비하여 실증 분석에서 활용하기에 용이하다. 이러한 연구 결과 및 논의를 바탕으로 할 때, 제안 모형을 통해 종단연구 설계에서 잠재 결과변인을 반영하면서 처치 할당을 결정하는 함수의 비선형성을 고려하여 선택편의를 조정하면 처치효과를 분석하는 데 엄밀성을 더할 수 있다. 또한 이와 같은 모형을 통해 연구 설계의 시점을 확장하고 잠재적 속성을 포괄함으로써 교육 현상과 관련되는 연구 문제를 다각적으로 다루고 현실을 폭넓게 이해하는 데 기여할 수 있기를 기대한다.

The purpose of this study was to propose a two-stage treatment effect analysis model with latent outcomes, adjusting the longitudinal selection bias in consideration of nonlinear treatment assignment functions. In educational research using quantitative methodology, considerable studies focus on unobservable objects, namely latent traits. When analyzing the treatment effect on these traits, averages of measurement variables have been used in some cases. However, if measurement errors arise, it may also affect the estimator of the treatment effects. Therefore, it is necessary to take measurement models into account in the treatment effect analysis. In addition, in the analysis of the treatment effect on the latent outcomes, it is crucial to consider whether treatments are randomly assigned as well as the measurement errors. This is due to the fact that experimental designs are often difficult in educational research. In general, a selection bias stemmed from pre-covariates is known to be inevitable in non-randomization studies. In particular, the aspect of selection bias in recently increasing longitudinal studies becomes fairly complex. As a solution to this matter, the inverse probability of treatment weighting (IPTW) using propensity scores has been proposed, but in previous studies combining this method with the structural equation modeling (SEM), propensity score models have been mainly specified as linear models. However, if there is an misspecification in the functional forms, the treatment effect estimator may be inconsistent. Indeed, strictly linear functions are not common in real data, and it is fairly burdensome to examine those functions. In this respect, the present study proposed a two-step approach that extends the nonparametric covariate balancing propensity score by Fong, Hazlett, & Imai(2018), which relaxed assumptions about the functional form of treatment assignment, to longitudinal study designs and combines it with a outcome model analyzing treatment effect on latent outcomes. Furthermore, the present study discussed the theoretical properties of the treatment effect estimator by the proposed model in the context of reflection of latent outcomes and adjustment of the longitudinal selection bias. In regard to the reflection of latent outcomes, it is found that If the latent outcome is not considered, the bias of the treatment effect estimator is inversely proportional to the average of factor loadings, and does not decrease even if the sample size increases. In terms of adjustment of the longitudinal selection bias, it is possible to estimate a consistent estimator of the treatment effect on latent outcomes by the propensity score IPTW in the non-randomized settings. In this case, when a misspecification occurs in the parametric propensity score models (PS, GPS), the treatment effect estimator may be inconsistent, whereas the IPTW based on the nonparametric model (npCBPS, npCBGPS) is robust. Based on the theoretical aspects of the proposed model, a simulation study and an application study were implemented. First, on the functional form of treatment assignment, a simulation study was conducted, considering several functions that are likely to occur in educational research and the treatment effect estimates were investigated by the IPTW and the outcome model setting. The setting included five functional forms including linear and nonlinear functions for comparison of the IPTW. Furthermore, two outcome models were applied to investigate the difference by introducing latent outcomes. Second, the proposed model was applied to an actual data and the result was compared with the results of theoretical discussion and the simulation study. For this purpose, data from the Gyeonggi Education Longitudinal Study(GEPS) were used to analyze the effect of participation and time of private tutoring in the 8th and 9th grades on academic stress in the 9th grade. The main results for the aforementioned studies were as follows. The result of the the simulation study could be summarized as follows. In the case of the outcome model reflecting the latent outcome, when IPTW based on the nonparametric model (npCBPS, npCBGPS) was applied, the relative bias of the treatment effect estimates appeared to be lower than the criterion(±5%) at the middle-size and large sample size for all functional forms. On the other hand, in the case of parametric models (PS, GPS), the biases seemed acceptable when the functional form was linear. However, when interaction terms were included in the function, the GPS model was not able to sufficiently adjust the selection bias of some estimates. Furthermore, parametric models led to the substantially large biases of the estimates in the functions including quadratic terms. Besides, with regard to the mean square error(MSE), the MSEs in the non-parametric models (npCBPS, npCBGPS) were slightly larger than those in the parametric models (PS, GPS). This result might be related to the bias-variance trade-off. Finally, when comparing the treatment effect estimates of the two outcome models applying the identical IPTW, the estimates of the regression model in all functions and sample sizes were smaller than those of the SEM. This consistent result may support the theoretical discussion that the bias is due to measurement errors. The results of the actual data analysis was as follows. In a model analyzing the effect of participation in private tutoring in the 8th and 9th grades on academic stress in the 9th grade, the covariate balance was acceptable in both models(PS, npCBPS). However, in the case of the time of private tutoring, the imbalance of several covariates was aggravated by GPS-based IPTW. On the other hand, npCBGPS-based IPTW satisfied the balance criterion. And in the result model, it was found that the lagged-effect estimate of private tutoring time using GPS-based IPTW was relatively small. This result might be interpreted in the context of theoretical discussions and simulation results that IPTW based on parametric models may be sensitive in the case of continuous treatment compared to binary one. In addition, it was shown that in both the participation in private tutoring and the time model, the estimates of the regression model were smaller than those of the SEM. This can be seen as an example consistent with the results of theoretical discussions and the simulation study. The discussion based on the above results are as follows. First, it is necessary to consider a measurement model instead of using the average of measurement variables in the treatment effect analysis with latent traits. In other words, this suggests that when the measurement model is not reflected in the non-randomized designs, the treatment effect estimates may include the selection bias as well as the bias stemmed from measurement errors. Second, when it is difficult to be ascertain of the linearity of the propensity score model, the nonparametric approach (npCBPS, npCBGPS) might be considered as an alternative. Since it is uncommmon to precisely determine the functional forms in actual data, it is also difficult to specify all the interaction terms and the higher order terms among covariates. In this respect, the nonparametric approach (npCBPS, npCBGPS) may be able to improve the convenience of empirical analysis based on its robustness. In particular, according to the simulation results, attention is required for continuous treatments, and if a curved relationship is expected, the nonparametric approach may be a better choice for both types of treatments. Third, when extreme weights appear in empirical analysis, it would be a reasonable option to perform the covariate balance evaluation based on the nonparametric approach. This has advantages in theoretical and empirical analysis over other options such as the model respecification which is difficult to consider all possible cases or the truncation whose criterion is not obvious. Based on the results and discussions, the proposed model may facilitate to analyzing the treatment effect on latent outcomes by adjusting the selection bias arising from nonlinear treatment assignment functions in the longitudinal study designs. In addition, it is expected that this model may contribute to a wide understanding of reality and various research issues related to educational phenomena by expanding research to longitudinal designs and encompassing latent traits.