교육연구에서 경향점수를 활용한 순차적 처치 효과 분석

Abstract

이 연구의 목적은 교육연구에서 경향점수를 활용하여 순차적 처치 효과를 추정할 때, 경향점수 추정모형 및 모형 설정 방식에 따라 추정의 양호도가 어떠한지 비교하고자 하는 것이다. 교육 장면에서는 교육 처치가 순차적이고 반복적으로 이루어지는 경우가 많이 존재한다. 교육 처치가 순차적으로 이루어지는 상황에서 단 시점 자료를 활용해 처치효과를 분석하는 것은 실제 효과가 나타나는 양상을 이해하는데 한계가 있으며, 순차적 처치 효과 분석을 통해 시간이 지난 후에 나타나는 처치 지연 효과나 순차적 참여로 인한 배가효과 등을 함께 분석하는 것이 필요하다. 순차적 처치 효과를 분석하기 위해서는 여러 시점에 걸쳐 발생하는 종단적 선택편의를 통제해주어야 하는데, 그동안의 연구들에서는 여러 시점의 경향점수 역확률가중치를 곱하여 사용하는 방법이 적용되어 왔다. 그러나 기존 연구들에서는 곱한 가중치를 활용하는 방법이 가질 수 있는 문제점이나 대안적인 모형에 대한 검토는 이루어지지 못하였고, 기본 가정 위배가 결과에 미치는 영향 등의 방법론적인 검토는 부족했다는 한계가 있다. 이에 이 연구에서는 순차적 처치 효과 추정 시 종단적 선택편의를 통제하기 위해 활용할 수 있는 모형을 비교하여 살펴보았고, 모형 설정 방식이 효과 추정에 미치는 영향도 확인하였다. 이를 위해 연구1(Study)에서는 두 가지의 모의실험을 진행하였다. 첫 번째 모의실험에서는 경향점수 추정모형에 따라 추정의 양호도를 비교하였다. 연구자료로는 사례 수, 처치-통제 집단 비율, 오차항 상관의 조건을 다르게 하여 가상자료를 생성하여 활용하였고, 연구모형은 PW(product of inverse probability weights) 모형과 SUBP 모형(seemingly unrelated bivariate probit) 모형을 적용하여 분석하였다. 두 번째 모의실험에서는 모형 설정 방식이 효과 추정에 미치는 영향을 확인하기 위해 사례 수와 누락변인의 영향력을 고려하여 가상자료를 생성하였고, 누락변인의 유형에 따라 6개 모형을 설정하여 자료를 분석하였다. 모의실험 연구와 함께 연구2(Study2)에서는 실제자료를 활용하여 순차적 처치 효과를 분석하였다. 연구자료는 서울교육종단연구 중학교 패널 3-5차년도 자료를 활용하였고, 고1-2시기 수학 사교육의 순차적 처치 효과를 분석하였다. 연구모형은 경향점수 추정모형에 따른 결과를 비교하기 위해 PW 모형과 SUBP 모형을 각각 적용하여 분석하였고, 모형 설정 방식에 따른 결과를 비교하기 위해 시간불변변인에 해당하는 부모교육연수를 누락시킨 모형과 시간의존변인에 해당하는 학습특성을 누락시킨 모형을 설정하여 분석하였다. 연구의 결과를 요약하여 제시하면 다음과 같다. 첫째, 실제자료를 활용하여 서울시 고등학생의 고1-2시기 수학 사교육의 순차적 처치 효과를 분석하였을 때, 고1-2시기에 순차적으로 사교육에 참여한 경우 고1시기 효과와 고2시기 효과의 단순 합을 넘어서는 배가효과가 존재하는 것으로 나타났다. 이는 교육 처치에 단발성으로 참여하기보다 순차적으로 참여하였을 때 더 큰 효과를 가질 수 있음을 보여준다. 또한 이러한 결과는 교육연구에서 처치 효과를 분석할 때, 순차적 참여에 의한 배가효과를 함께 살펴보는 것이 필요함을 시사한다. 둘째, PW 모형과 SUBP 모형을 적용하여 순차적 처치 효과를 분석한 결과, 오차항 상관이 0.5이상일 때에는 PW 모형에서는 추정치의 편의가 발생하였지만, SUBP 모형에서는 편의가 0에 가깝게 유지되었다. 이러한 경향은 모의실험에서 뿐만 아니라 실제자료를 통한 분석에서도 동일하게 확인되었다. 이를 통해 순차적 처치 효과 분석 시 오차항 상관이 존재하지 않을 때에는 PW 모형과 SUBP 모형 모두 효과를 정확하게 추정할 수 있지만, 오차항 상관이 크게 존재할 때에는 SUBP 모형을 적용하는 것이 효과를 더 정확하게 추정할 수 있음을 알 수 있다. 셋째, 사례 수가 작으면서(200명) 처치-통제 집단 비율이 동일하지 않을 때에는 PW 모형과 SUBP 모형 모두에서 추정치의 편의가 발생하였다. 이는 사례 수가 작고 처치-통제 집단 비율에 차이가 있을 때에는 순차적 처치 효과가 정확하게 추정이 되지 못할 수 있으며, 순차적 처치 효과를 안정적으로 추정하기 위해서는 500명 이상의 사례 수가 필요함을 보여준다. 넷째, 모형 설정 방식에 따른 결과를 확인해보았을 때, 누락변인이 발생하였을 때 누락변인이 처치변인에 미치는 영향력이 클수록 해당 변인의 누락으로 인한 편의가 더 큰 것으로 확인되었다. 누락변인 유형에 따라서는 시간불변변인과 시간의존변인 중에서 시간의존변인이 누락되었을 때 편의가 더 크게 발생하는 것으로 나타났다. 이를 통해 순차적 처치 효과 분석 시 모형 설정이 매우 중요하며, 특히 처치변인과 관련성이 높은 시간의존변인을 누락하지 않는 것이 중요하다는 점을 확인할 수 있다.