유사종단자료를 이용한 학교효과 추정 위계적 모형 : 척도점수와 NCE 점수와의 비교

Abstract

본 연구에서는 중다 코호트 자료를 이용한 학교효과 추정 모형인 3수준 위계모형을 제안하고, 측정척도의 속성에 따라 학교효과 추정치의 통계적 추론이 어떻게 달라지는지를 살펴보았다. 이를 위해 미국의 한 도시 교육구의 3학년의 전집자료를 모의실험자료의 전집으로 이용하였다. 이 자료는 1998년도부터 2002년도까지의 62개 학교의 각 학년도별 3학년 수학성적과 읽기성적을 포함하고 있다. 이 자료를 기초로 무선복원추출 방법을 통해 모의실험 (Monte Carlo Simulation)의 조건에 따라 2,000개씩의 자료를 산출하고, 그 자료를 이용하여 동등화된 척도점수와 NCE 점수간의 학교효과 추정치의 통계적 추론의 차이를 살펴보았다. 연구결과 학교효과 추정 모형을 통해 산출된 학교효과 추정치들이 NCE 점수를 이용할 때와 동등화된 척도 점수를 이용할 때 통계적 추론에 있어 아주 미미한 차이만이 존재한다는 것을 확인하였다. 즉 학교효과 추정치 간의 등위상관계수, 학교평균 성장률간의 상관계수 둘 모두 평균 .95 이상으로 높게 나타났다.

I examine the effect that the choice of the metric has on inferences about school performance when using a multiple-cohort school productivity model as a basis for such inferences. Given the increased focus on school improvement over time, and the options of metric and modeling available to conduct analyses, it is important to consider whether the choice of metric statistically or substantively effects decisions related to the assessment of school performance over time. I propose a multiple-cohort school productivity model using quasi-longitudinal multiple-cohorts design that can be particularly useful in accountability settings. In such models data collection is easier, compared to traditional longitudinal analysis, because students do not need to be followed and their data matched from year to year. In addition, it allows for the use of student samples (as opposed to the entire population of students in a school) in the evaluation of school performance, and may be less dependent on changes in tests over time. I use Monte Carlo methods on a data set containing five years of data from a large ethnically and linguistically diverse school district in order to examine the role of the metric in inferences related to monitoring school performance over time. For the (admittedly limited) purpose of evaluating school improvement based on a multiple cohorts design, the metric chosen does not appear to influence the substantive inferences made when ranking schools based on fitted growth estimates. In addition, and contrary to the case of designs based on student-level longitudinal data (Goldschmidt, Choi, & Martinez, 2003), the metric also has little impact on inferences concerning actual growth.