수학 서술형 문항에 대한 인지진단평가 적용 연구

Abstract

Cognitive Diagnostic Assessment (CDA) is an evaluation method that assumes skills or attributes required to solve test items and estimates whether students mastered or not the skills or attributes by using the students' response data. There are various models according to the method of calculating the probability that students get the right answer based on the relationship between items and attributes for CDA, which is called Cognitive Diagnostic Model (CDM). CDMs have been extensively studied for multiple choice or dichotomous response items, but recent advancements have led to the development of CDMs for constructed-response items. One such CDM is the Diagnostic Tree Model (DTM), which can analyze students' response to constructed-response items by considering the multiple strategies and steps they take to solve a problem. This study aimed to design mathematics assessments using constructed-response items that can be analyzed by the DTM and apply to actual students to analyze the result. Additionally, a simulation study was conducted to examine the impact of several factors on the DTM analysis. First, this study proposed a framework for structuring the process of solving mathematics constructed-response items. The framework utilizes three factors – attribute, step, and response – to analyze the solution process and determine the number of required attributes, problem-solving complexity, and changes in the number of response caused by the strategy used. The framework can be utilized to design a DTM-based CDA by identifying the expected solution of candidate items related to attributes and selecting test items based on the identification of attributes and test time. Furthermore, the framework can also be used to diagnose students' understanding and interpret the results of the assessment. Next, the simulation study aimed to investigate the impact of various factors on the performance of DTM-based CDA. The factors considered were the number of examinees, the number of items in the assessment, the number of attributes, the number of steps to solve each item, the type of response, and the size of the item response error probability. The results indicated that an increase in the number of examinees led to a rise in attribute classification accuracy. However, when the number of examinees was small and the error probability was high, the opposite trend was observed. This was particularly evident in assessments with a higher number of items, attributes, steps for each item, and types of response. On the other hand, regardless of the number of examinees, the accuracy of the attribute mastery pattern was lower in assessments with a larger number of items, attributes, steps for each item, and types of response. The item parameter recovery was better when there were more examinees or a lower probability of item error. A CDA was designed to evaluate the "absolute inequality" domain using constructed-response items, administered to students from a science high school for the gifted. The students response data are obtained and analyzed using the DTM incorporating different types of CDM as the response model given a node that represents a subtask in the solution process of an item. The DTM with DINA model, which assumes that examinees should master every attributes required by a subtask in order to solve the task correctly, shows best relative model fit and acceptable absolute model fit. The findings from cognitive diagnosis of examinees indicate that students face more challenges in mastering the Cauchy-Schwarz inequality compared to the arithmetic-geometric mean inequality, with the greatest difficulty being in the application of the substitution method. The analysis revealed that in certain test items, the estimated guess and slip parameters vary depending on the nodes of the path selected by the chosen strategy, indicating the difficulty to solve the problem may depend on the strategy the students choose. Lastly, students' responses were analyzed to various aspects using the tree structure of the DTM, so it provided the students who took the test an estimated attributes pattern as well as additional feedback. The framework enabled an analysis of students' problem-solving process. Students' learning path can be recommended by presenting attributes and response ratio for each step of problem-solving and a comparison of students' responses with the most likely response and response through addintional attributes acquisition.

인지진단평가는 검사 문항 해결에 요구되는 인지요소를 상정하고, 검사 문항에 대한 피험자의 응답 데이터를 활용하여 피험자의 인지요소별 숙달/미숙달 여부를 추정하는 평가 방법이다. 인지진단평가를 위해 문항과 인지요소 간의 관계에 기반하여 문항을 맞힐 확률에서 고려하는 요인에 따라 다양한 모형이 존재하는데, 이를 인지진단모형이라 한다. 과거에는 선다형 문항이나 이분 반응 문항에 관한 인지진단모형이 주로 연구되었으며, 서술형 문항에 관한 인지진단모형 연구는 비교적 최근부터 이루어지고 있다. Diagnostic Tree Model(DTM)은 풀이 과정에서 2개 이상의 단계와 전략을 가진 서술형 문항에 대한 피험자의 반응을 분석할 수 있는 인지진단모형으로, 피험자의 문제해결 과정에서 나타나는 여러 전략과 전략별 풀이 단계를 모두 고려하는 모형이다. 이 연구에서는 DTM 모형으로 분석할 수 있는 수학 서술형 평가를 설계하고, 실제 학생 대상으로 적용하여 그 결과를 분석한다. 또한 DTM 모형 분석에 영향을 미치는 여러 요인들의 영향을 알아보기 위해 모의실험을 수행한다. 먼저 DTM 기반 인지진단평가의 설계를 위해 수학 서술형 문항의 풀이 과정을 구조화할 수 있는 분석틀을 제안하였다. 서술형 문항의 풀이를 인지요소, 단계, 반응의 세 가지 요소를 이용해 분석할 수 있으며, 이러한 과정을 통해 문제해결에 필요한 인지요소의 개수, 문제 풀이 과정의 단계의 복잡도, 채택한 해결전략에 의해 달라지는 반응 개수를 파악할 수 있다. DTM 기반 인지진단평가를 설계하기 위해서는 검사를 위한 인지요소와 관련된 후보 문항들의 예상 풀이를 이와 같은 틀로 분석해 본 후, 인지요소에 대한 식별성과 검사 시간 등을 고려하여 검사 문항을 선정할 수 있다. 또한 평가 이후의 결과해석에도 이 분석틀을 사용하여 학생의 이해를 진단할 수 있다. 다음으로, 모의실험을 통해 피험자 수, 검사의 문항 수, 인지요소 개수, 문항별 풀이 단계 수, 문항별 반응 종류, 문항 반응 오류확률의 크기 등이 DTM 기반 인지진단평가에 미치는 영향을 살펴보았다. 모의실험 결과, 피험자 수가 많을수록 인지요소별 숙달 여부 추정의 정확도가 대체로 높게 측정되었으나, 피험자 수가 적고 오류확률이 클 때는 오히려 피험자 수가 많을 때보다 적을 때 인지요소별 숙달 여부 추정 정확도가 높게 측정되는 경우가 있었다. 이런 경향은 문항 수, 인지요소 개수, 문항별 풀이 단계 수, 문항별 반응 종류가 많은 검사일수록 더 빈번하게 나타났다. 한편, 인지요소 숙달 패턴 추정의 정확도는 피험자 수와 상관없이 문항 수, 인지요소 개수, 문항별 풀이 단계 수, 문항별 반응 종류가 많은 검사일수록 낮았다. 문항 모수 회복력은 피험자 수가 많거나 문항 오류확률이 작을수록 좋았다. DTM 모형을 기반으로 절대부등식의 증명에 관한 서술형 문항 인지진단평가를 설계하고, 과학영재고등학교 학생을 대상으로 평가를 실시하였다. 학생의 평가 수행 데이터에 대해 피험자의 반응이 다르게 관찰될 수 있는 풀이 단계별 응답 모형을 여러 가지로 채택하여 DTM 모형 분석을 진행해 본 결과, 문제를 풀기 위해 관련된 모든 인지요소의 숙달을 요구하는 DINA 모형을 채택한 경우가 절대적합도의 기준을 만족하면서도 상대적합도가 가장 좋았다. 학생들의 인지요소 숙달 패턴 추정 결과, 검사에 참여한 학생들은 산술-기하 평균 부등식보다 코시-슈바르츠 부등식을 상대적으로 어려워하였으며, 치환을 통해 부등식을 변형하는 것을 가장 어려워하였다. 문항 분석 결과, 일부 문항에서 학생들이 채택하는 전략에 따라 문제해결의 난이도가 다르게 나타나는 양상을 풀이 경로별 노드의 문항 모수 추정값을 통해 파악할 수 있었다. 마지막으로, DTM 모형의 수형도 구조(tree structure)를 활용하여 피험자의 반응을 다각도로 분석하였으며, 평가를 마친 피험자들에게 인지요소 숙달 패턴 추정 이외의 추가적인 피드백 제공 방법을 제안했다. 문항의 풀이 과정 분석틀에 기반하여 피험자의 풀이 과정을 분석할 수 있으며, 문항의 단계별 인지요소와 단계별 응답 비율, 문항별 피험자의 반응·피험자가 답할 가능성이 가장 큰 정답 반응·추가 인지요소 습득을 통한 정답 반응의 비교를 제시하여 피험자의 학습경로를 추천할 수 있다.