인지 진단 이론을 활용한 중학교 2학년 학생들의 옴의 법칙 관련 인지 요소 숙달 확률 분석

Abstract

Cognitive diagnostic theory is attracting attention as one of the measures to support customized education. Assessment items applying cognitive diagnostic theory measure cognitive attributes, which mean ability, skills, knowledge, or cognitive process to solve the items, and mastery of each cognitive attribute is determined from students' response data for the items. In this study, cognitive diagnostic theory was applied to the formative assessment response data of the Ohm's law, which many students find difficult, to find out what the cognitive attributes were not mastered, and what relationship there was between the ability estimates and mastery of each cognitive attribute. The research process is as follows. The data analyzed in this study are the response results of Ohm's law formative assessment. The formative assessment was produced with 22 questions by referring to 5 types of textbooks for 2nd grade middle school students and items for NAEA, and the assessment was conducted on 306 2nd grade middle school students in Gyeonggi-do, Korea. In order to analyze the response data of formative assessment by applying cognitive diagnostic theory, it is necessary to create a Q-matrix that shows the relationship between items and cognitive attributes. By analyzing previous studies and textbooks, cognitive attributes related to Ohm's law were derived and expert review was conducted. After that, a draft of the Q-matrix for 22 items of formative assessment was prepared. The cognitive attributes related to Ohm's law used in this study were illustrating scientific principles involved in phenomena, applying scientific principles to real life, discovering research problems and establishing hypotheses, designing and implementing inquiry process (to solve problems), analyzing and interpreting collected data, and proposing a conclusion or solution to an inquiry problem. To secure the validity of the analysis, the reliability and usability of the items were verified after excluding 6 insincere responses in which the same answer was chosen for all items. The program to confirm reliability and usability was IBM SPSS Statistics 26. Reliability was confirmed by Cronbach α value, and usability was confirmed by guessing, difficulty, discrimination parameters and item characteristic curves derived by item response theory. Cronbach α was found to be .907 at an excellent reliability, and when the parameters of item response theory and item characteristic curves were checked, no inappropriate items were found, so it was decided to use all 22 items in the analysis. The final Q-matrix was determined through DINA model, artificial neural network analysis, and experts review, and the mastery probabilities for each cognitive attribute were analyzed with the DINA model provided through the CDM package in R Studio using the final Q-matrix. IBM SPSS Statistics 26 was used to calculate ability estimates for each response pattern, and the relationship between ability estimates and each cognitive attribute was verified through linear regression. As a result of analyzing the mastery probabilities for each cognitive attribute of the students, illustrating scientific principles involved in phenomena, applying scientific principles to real life, proposing a conclusion or solution to an inquiry problem were cognitive atttributes with an above-average mastery probability. However, discovering research problems and establishing hypotheses, designing and implementing inquiry process (to solve problems), and analyzing and interpreting collected data were identified as cognitive atttributes with mastery probabilities below average. Cognitive attributes with high weights for ability estimates were in order of illustrating scientific principles involved in phenomena and analyzing and interpreting collected data, and it was confirmed that even among students with the same ability estimates, the cognitive attributes that they failed to master could be different. Through the results of this study, some methods for utilizing learning support to reach the achievement standard of Ohm's law were proposed.

맞춤형 교육 지원을 위한 방안 중 하나로 인지 진단 이론이 주목받고 있다. 인지 진단 이론이 적용된 평가 문항들은 학습자가 해당 문항을 해결하는 데 필요한 능력, 기술, 지식, 인지 과정 등을 통합하여 의미하는 인지 요소를 측정하며, 특정 인지 요소를 측정하는 문항들로 구성된 검사지에 대한 학습자의 응답으로부터 각 인지 요소의 숙달 여부를 추정한다. 본 연구에서는 많은 학생이 어려움을 느끼는 옴의 법칙 단원의 형성평가 응답 데이터에 인지 진단 이론을 적용하여 학생들이 숙달하지 못한 인지 요소가 구체적으로 무엇인지 알아보고, 옴의 법칙에 대한 능력 추정치와 인지 요소별 숙달 여부는 어떤 관계가 있는지 확인하고자 하였다. 이를 위한 연구의 과정은 다음과 같다. 우선 본 연구에서 분석한 자료는 옴의 법칙 형성평가의 응답 결과이다. 형성평가는 중학교 2학년 교과서 5종과 학업 성취도 평가 문항을 참고하여 22문항으로 제작되었으며, 경기도 소재 중학교 2학년 학생 306명을 대상으로 평가가 이루어졌다. 인지 진단 이론을 적용하여 형성평가의 응답 결과를 분석하기 위해서는 문항과 인지 요소 간의 관계를 보여주는 Q행렬을 작성해야 하므로, 선행연구와 교과서를 분석하여 옴의 법칙과 관련된 인지 요소를 도출하고 전문가 검토를 거쳐 형성평가 22문항에 대한 Q행렬 초안을 작성했다. 본 연구에서 사용된 옴의 법칙 관련 인지 요소는 현상에 포함된 과학 원리 설명하기, 과학적 원리를 실제 생활에 적용하기, 탐구 문제를 발견하고 가설 설정하기, (문제 해결을 위한) 탐구 방법을 설계하고 수행하기, 수집된 자료를 분석하고 해석하기, 탐구 문제에 대한 결론이나 해결방안 제시하기 등 6가지였다. 분석의 타당성을 확보하기 위해 모든 문항에 같은 답을 고른 불성실 응답 6건을 제외한 뒤 문항의 신뢰도와 양호도를 확인했다. 신뢰도와 양호도를 확인하기 위한 프로그램은 IBM SPSS Statistics 26였으며, 신뢰도는 Cronbach α 값으로, 양호도는 문항 반응 이론에 의해 도출된 추측도, 난이도, 변별도 모수와 문항 특성 곡선으로 확인하였다. Cronbach α는 .907로 아주 신뢰할 만한 수준으로 나타났고, 문항 반응 이론의 모수들과 문항 특성 곡선을 확인했을 때 부적합한 문항은 발견되지 않아 22문항 모두 분석에 사용하기로 결정했다. DINA 모형과 인공신경망 분석, 전문가 검토를 거쳐 최종 Q행렬을 결정하였고, 인지 요소별 숙달 확률은 최종 Q행렬을 사용하여 R Studio에서 CDM package를 통해 제공되는 DINA 모형으로 분석했다. 마지막으로 IBM SPSS Statistics 26을 사용하여 응답 패턴별 능력 추정치를 산출하고 선형회귀를 통해 능력 추정치와 각 인지 요소 사이의 관계를 확인했다. 학생의 인지 요소별 숙달 확률을 분석한 결과 현상에 포함된 과학 원리 설명하기, 과학적 원리를 실제 생활에 적용하기, 탐구 문제에 대한 결론이나 해결방안 제시하기 등 3개 인지 요소는 숙달 확률이 평균 이상인 인지 요소였고, 탐구 문제를 발견하고 가설 설정하기, (문제 해결을 위한) 탐구 방법을 설계하고 수행하기, 수집된 자료를 분석하고 해석하기 등 3개 인지 요소는 숙달 확률이 평균 이하인 인지 요소로 나타났다. 능력 추정치에 대한 비표준화 계수가 높은 인지 요소는 현상에 포함된 과학 원리 설명하기와 수집된 자료를 분석하고 해석하기 순서였으며, 능력 추정치가 같은 피험자들이라도 숙달하지 못한 인지 요소는 서로 다를 수 있음을 확인하였다. 연구의 결과를 통해 옴의 법칙 성취기준 도달을 위한 학습 지원 방안을 제안하였다.