인지진단 검사의 Q행렬 타당성 분석 방법 연구

Abstract

오랜 시간동안 평가는 교육 활동의 과정이 종료된 후에 학생들에게 제대로 학습이 이루어졌는지를 확인하기 위한 수단으로 인식되어왔다. 그러나 최근 들어 교육 측정 분야에서는 평가의 역할을 단순히 학생들의 능력을 측정하여 수량화, 서열화 하는 것이 아니라 학습 과정 중에 학습 목표를 이끄는 활동으로 이해하는 경향이 나타나고 있다. 이에 따라 학생들의 인지적 강점과 약점을 결과로서 제공함으로써 향후 학습을 위한 구체적인 피드백이 가능한 인지진단평가에 대한 관심 또한 커지고 있다. 인지진단평가에서는 지식의 상태가 여러 인지요소의 다차원적 결합으로 이루어짐을 가정하고, 학생들이 습득해야 하는 세부적 인지요소의 숙달 여부 혹은 정도를 평가 문항에 대한 응답을 통해 측정한다. 이때 각각의 문항과 인지요소의 관계를 나타내는 행렬이 Q행렬이다. 인지진단 검사의 결과는 Q행렬과 학생의 문항응답으로 결정이 되기 때문에 정확하지 못한 Q행렬이 사용될 경우 검사 결과의 해석이 타당하지 않을 수 있다. 따라서 어떤 인지진단 검사의 결과 분석이 신뢰성을 확보하기 위해서는 Q행렬의 타당성을 입증하는 절차가 필요하다. 본 연구에서는 Q행렬의 타당성을 분석하는 기존의 여러 가지 방법들 중에서 Chia-Yi Chiu의 Q행렬 정련방법에 주목하여 문제점을 분석하고 이를 개선한 타당성 분석 방법을 제시한다. 타당성 분석 방법은 Q행렬의 타당성을 판정하는 양적인 방법으로 라는 타당성 지수를 사용한다. Q행렬 타당성 분석 방법의 적용 연구를 위해서는 윤지영(2015)에서 이루어진 일차방정식과 일차부등식 평가의 Q행렬과 평가 결과가 활용되었으며, 효율성 및 정확도 분석에는 가상데이터를 이용하였다. Chia-Yi Chiu의 Q행렬 정련방법은 라는 타당성 지수를 활용하여 기존의 Q행렬을 정련해 나가는 방법으로 이를 실제 인지진단 검사에 적용하여 본 결과 이론에 맞지 않는 정련이 일어났음을 확인할 수 있었다. 이와 같은 문제점은 가 최소일 때가 정확한 Q행렬이라는 Q행렬 정련방법의 가정에서 비롯된 것일 수 있으며, 유사한 가정을 가지는 Hamming모형 역시 그 실효성에 문제가 있음을 확인하였다. 이는 실제 인지진단 검사의 Q행렬을 분석함에 있어서 탐색적 접근이 가지는 문제점을 드러내는 결과이다. 따라서 본 연구에서는 확인적 접근의 방법인 타당성 분석 방법을 개발하였으며 Q행렬 전체의 타당성을 대표할만한 지수로 를 정의하였다. 타당성 분석 방법은 검사 데이터를 통하여 검사에 사용된 Q행렬의 를 얻은 후 이를 컷오프 값과 비교하여 Q행렬의 타당성을 판정한다. 이때 컷오프 값으로는 모의실험 데이터를 통하여 얻은 분포의 95 백분위수를 사용하였다. 또한 잘못된 Q행렬들에 대하여 타당성 분석 방법을 적용한 결과 Q행렬의 3%만 잘못되어도 93%이상 타당하지 않다고 판정하였고, 이로써 타당성 분석 방법이 높은 효율성으로 Q행렬의 타당성을 판정함을 확인하였다. 이 연구는 탐색적 접근의 기존의 Q행렬 타당화 방법들이 가지는 문제점을 보완하여 실제 인지진단 검사에 적용 가능한 확인적 접근의 Q행렬 타당성 분석 방법을 개발하였다는 것에 그 의의가 있다. 또한 타당성지수인 를 활용하여 검사를 개선하는 프로세스를 제시함으로써 가 수학 인지진단 검사에 활용될 수 있는 또 다른 방향성을 제시하였다는 점에서도 의의를 찾을 수 있다.