행렬표집자료의 구조 및 문항특성에 따른차별기능문항 판별

Abstract

이 연구는 행렬표집 문항반응자료에서 차별기능문항을 판별하는데 있어 문항반응이론 기반의 차별기능문항 판별 방법인 Wald Test의 정확성을 모의실험 연구를 통해 검증한다. 모의실험 연구 설계에서는 행렬표집 설계로 인한 자료의 구조적 특성(사례수, 문항반응의 결측 비율)과 차별기능문항의 특성(차별기능문항의 수, 차별기능문항의 효과 크기)을 고려하여 총 42가지 모의실험 연구 설계 조건을 설정하였다. 설정된 42가지 모의실험 설계 조건하에서 Wald Test의 정확성을 검증하기 위해 설계 조건과 1모수 문항반응이론 모형에 기반한 모의 문항반응자료를 생성하고 제1종 오류 수준과 통계적 검정력을 분석하였다. 이 연구의 연구 문제는 다음과 같다.

첫째, 행렬표집 자료의 구조적 특성에 따라서 제1종 오류(type-I error) 수준과 통계적 검정력(power)에 차이가 있는가? - 사례수에 따라서 제1종 오류 수준과 통계적 검정력에 차이가 있는가? - 결측 비율에 따라서 제1종 오류 수준과 통계적 검정력에 차이가 있는가?

둘째, 차별기능문항의 비율과 효과 크기에 따라서 제1종 오류(type-I error) 수준과 통계적 검정력(power)에 차이가 있는가? - 차별기능문항의 비율에 따라서 제1종 오류 수준과 통계적 검정력에 차이가 있는가? - 차별기능문항의 효과 크기에 따라서 제1종 오류 수준과 통계적 검정력에 차이가 있는가?

차별기능문항 판별에서는 제1종 오류 수준을 통제하기 위해 2단계의 분석을 실시하였는데, Wald-2 방법으로 1단계 분석을 실시하고, 그 결과를 바탕으로 집단 간 가교문항을 선정한 후 Wald-1 방법으로 2단계 분석을 실시하여 최종적인 차별기능문항을 판별하였다. 그리고 모의자료 생성 조건에서의 차별기능문항 설정과 차별기능문항 판별 결과를 비교하여 제1종 오류 수준과 통계적 검정력을 산출한다. 주요 연구 결과를 요약하여 제시하면 다음과 같다. 첫째, 집단별 사례수가 5,000명인 경우가 1,000명인 경우보다 제1종 오류 수준과 통계적 검정력이 모두 높은 경향성을 보였다. 사례수가 1,000명인 조건에서는 제1종 오류 수준은 대부분 .05 정도로 적절히 통제되었지만, 사례수가 5,000명인 조건에서는 차별기능문항의 비율과 효과 크기가 큰 경우, 사례수가 1,000명인 조건들에 비해 높은 제1종 오류 수준을 보였다. 그리고 통계적 검정력은 차별기능문항의 효과 크기가 .8인 조건들에서는 모두 .95 이상으로 사례수에 따른 차이가 거의 없었고, 효과 크기가 작은 경우에 사례수가 1,000명인 경우가 5,000명인 경우보다 현저히 낮아진 통계적 검정력을 보였다. 둘째, 행렬표집 설계에 따른 구조적 결측 비율이 증가함에 따라서 제1종 오류 수준과 통계적 검정력이 낮아지는 것으로 나타났다. 결측 비율에 따른 제1종 오류 수준은 차별기능문항 비율이 10%일 때는 큰 차이 없이 대부분의 조건들에서 .05 수준에서 적절히 통제되었으나, 차별기능문항 비율이 20%일 때는 효과 크기가 클수록 결측 비율이 제1종 오류 수준에 미치는 영향이 커졌다. 통계적 검정력은 효과크기가 .5와 .8인 조건들에서는 대부분 .95나 .90 이상으로 결측 비율에 따른 차이가 거의 없었지만, 효과크기가 .2인 경우에는 결측 비율이 높은 조건일수록 낮은 통계적 검정력을 보였다. 셋째, 전체 문항 중에서 차별기능문항의 비율이 높을수록 제1종 오류 수준은 높아지고, 통계적 검정력은 낮아지는 것으로 나타났다. 차별기능문항이 20개일 경우에는 제1종 오류 수준은 대부분의 모의실험 설계 조건에서 적절히 통제되었지만, 차별기능문항이 40개일 경우에는 제1종 오류 수준이 높아져 일부 조건에서는 적절한 수준을 벗어났다. 그리고 통계적 검정력은 차별기능문항이 10문항일 경우가 20문항일 경우보다 높았는데, 차별기능문항의 효과 크기가 작은 경우에 상대적으로 큰 차이를 보였다. 넷째, 차별기능문항의 효과 크기가 클수록 제1종 오류 수준과 통계적 검정력이 높아졌다. 제1종 오류 수준은 차별기능문항의 효과 크기가 작은 .2에서는 모든 모의실험 설계 조건들이 .05에 근사하게 통제되었으나, 효과 크기가 증가함에 따라서 점차 적절한 수준 이상으로 높아졌다. 통계적 검정력은 차별기능문항의 효과 크기가 .5 이상인 조건들에서는 .90 이상으로 높은 결과를 보였지만 효과 크기가 작은 .2인 조건들 점차 낮아졌고, 사례수가 적은 특정 조건에서는 .5 이하로 심각히 낮은 수치를 나타냈다. 종합적으로 모의실험 설계 조건에 따른 Wald test의 정확성을 평가하면, 전체 42개 모의실험 설계 조건 중 25개(59.5%)의 조건에서 일정 기준(제1종 오류 수준이 .1 이하, 통계적 검정력 .9 이상)을 충족하는 것으로 볼 수 있다. 그리고 Wald test의 정확성은 정제(purification) 과정을 포함하는 두 단계의 분석을 통해서 크게 개선되는 것을 확인할 수 있었다. 한편, 사례수가 크고 결측 비율이 낮은 조건들에서 제1종 오류 수준을 엄격히 통제하지 못하는 문제점의 원인은 Wald 통계량이 사례수가 클수록 과대하게 산출되는 것이므로, 사례수로 보정된 통계량을 산출하는 방식으로 수리적 개선이 필요하다. 마지막으로 이 연구의 결과를 통해 연구자들은 행렬표집설계 문항반응자료를 분석함에 있어 사전에 해당 자료의 특성에 따른 차별기능문항 판별의 정확성을 예상할 수 있기 때문에 Wald test를 적용할지 여부를 판단할 수 있고, 분석과 해석상의 주의점에 대한 정보를 얻을 수 있다.