컴퓨터 기반 평가에서 프로세스 데이터를 활용한 피험자의 문제해결 행동 분석

Abstract

The primary objective of this study was to quantitatively assess and evaluate problem-solving skills by analyzing the actual problem-solving process and discerning individual discrepancies among test takers engaging in this process. Problem-solving skills encompass an individual's cognitive proficiency necessary for resolving a problem in a context where an immediate solution is not readily attainable. To accomplish the objectives of this study, the following research questions were formulated:

1. What are the outcomes of extracting test takers' problem-solving patterns as representative action sequences in the real-life simulation problem? 2. What are the outcomes from the analysis of data derived from a simulation problem, aiming to validate individual disparities in the problem-solving process among test takers? 3. What are the discernible characteristics associated with the individual differences observed in the test takers' problem-solving processes?

In addressing these research questions, the log data obtained from Ticket Task 3, a problem-solving assessment item from PISA 2012, was selected as the focal point for analysis. This item, constituting a computer-based assessment, presents test takers with real-life problem situations, wherein the capacity to adapt their initial plans to devise the optimal subsequent solution in response to unforeseen challenges is considered a critical facet of problem-solving skills. Specifically, this item was purposefully designed to gauge the aptitude for monitoring and reflection,' one of the four essential sub-factors inherent in the problem-solving process. The assessment of test takers' problem-solving skills concerning their responses and strategies in confronting unforeseen situations necessitated a methodical procedural analysis, culminating in the subsequent derivation of results. Initially, action sequence information was extracted from the gathered log data, and subsequently, the types and frequencies were quantified by enumerating all possible action sequences achievable using Access's query design function. Secondly, in light of the frequency measurements, the application of the Elbow method facilitated the selection of representative action sequences. Thirdly, following the establishment of conditions and procedures to substitute the entire raw action sequences with the chosen representative action sequences, the intricate form of the raw action sequence' that test takers had executed was effectively substituted by the 'representative action sequence'. Fourthly, the verification of the replacement's accuracy of the raw action sequence with the most analogous representative action sequence was conducted by employing cosine similarity information derived from action sequence embedding results using the BERT model. Fifthly, to analyze the test takers' problem-solving process, Sequence of Sequence (SOS) data representing the interconnection between action sequences was generated, utilizing codes that abbreviated the representative action sequences. Furthermore, this data was subjected to process mining analysis to ascertain patterns and individual differences in the problem-solving process, with particular emphasis on correct and incorrect answers. Consequently, a total of five significant problem-solving responses and strategies were identified, focusing on repetitive behavior, other answer submission attempt behavior, and alternative review behavior. Sixthly, by employing K-medoids clustering analysis on the five significant problem-solving response and strategic datasets, it was evident that besides distinguishing between correct and wrong answers, various differences emerged in terms of problem-solving behaviors, types, and characteristics. Seventhly, as a consequence, eight distinct cluster types were identified for the correct answers, while seven cluster types emerged for the wrong answers. The correct answers displayed a tendency to extensively review and compare various alternatives to identify the optimal solution. Conversely, the wrong answers exhibited a wide array of problem-solving behaviors, suggesting a comparatively deficient monitoring and reflection process in comparison to the correct answers. The research results yield several implications and provide recommendations for future investigations. Firstly, this study demonstrates that analyzing actual problem-solving behavior extends beyond the constraints of educational measurement based solely on outcomes, facilitating a comprehensive understanding and diversification of test takers. It affirms the presence of diverse problem-solving behaviors within both the correct and wrong answer cohorts, underscoring the significant influence of the problem-solving strategy involving monitoring and reflection on effective problem-solving skills. Secondly, the study highlights the significance of broadening evaluations to encompass not only the correct answers but also the wrong answers' problem-solving process. It emphasizes that even when arriving at the same incorrect answer, tailored scaffolding and feedback must be provided by discerning the various reasons contributing to a test takers' inability to resolve the problem. This underscores the importance of personalized support to address individual learning needs. Thirdly, this study has introduced the potential for implementing a process-based evaluation by identifying disparities in the problem-solving process between correct and incorrect answers. This can facilitate the development of a scoring rubric that emphasizes the information pertaining to how test takers arrive at the correct answer. Fourthly, this study has facilitated the derivation and interpretation of analysis results by enhancing analytical methods. Specifically, it involved setting a unit of action sequence data that significantly divides the analysis units and conducting an examination of the interconnection between these units. Fifthly, this study facilitated analysis by replacing vast amounts of action sequence data with several representative action sequences, and validated the replacement results by quantitatively confirming the validity of this replacement using the BERT model and sentence embedding method of natural language processing. Sixthly, this study devised and presented action sequence enumeration procedures and action sequence frequency measurement techniques that can be generalized and applied to other process data studies. Seventhly, this study introduced a novel approach by integrating the concept of a language model, designed to predict the subsequent word or the likelihood of word string combinations, into the analysis of action sequences' interconnection. Eighthly, this study addressed the constraints of distance measurement methods employed in prior research, particularly concentrating on LCS and Levenshtein distances, by embedding comparable action sequences into vector spaces using the BERT model, which was acquired through Transformer's encoder. Lastly, in this study, the cosine distance was utilized to authenticate the representative action sequence replacement process. Consequently, a subsequent investigation proposed the necessity of broadening the applicability by employing the cosine distance in sequence mining of action sequence data across a broader range of topics.

이 연구는 실제 문제해결 과정에 기반하여 문제해결력을 측정 및 평가하고, 문제해결 과정에서 발견되는 피험자의 개인차를 확인하는 것을 목적으로 수행되었다. 문제해결력이란, 해결 방법을 즉각적으로 찾을 수 없는 상황에서, 문제를 해결하는 데 요구되는 인지적 과정과 관련된 개인의 능력을 의미한다. 이 연구의 목적을 달성하기 위하여 다음과 같은 연구 문제를 설정하였다. 첫째, 시뮬레이션 문항에서 피험자의 문제해결 양상을 대표적인 액션 시퀀스로 도출한 결과는 어떠한가? 둘째, 시뮬레이션 문항에서 피험자 간 문제해결 과정의 개인차를 확인하기 위한 데이터를 도출한 결과는 어떠한가? 셋째, 피험자의 문제해결 과정의 개인차에서 발견된 특성은 무엇인가? 이러한 연구 문제를 해결하기 위해, 실생활 문제 상황을 활용하여 컴퓨터 기반 평가를 실시한 PISA 2012의 문제해결력 측정 문항인 Ticket Task 3 문항에서 수집된 로그 데이터를 분석 대상으로 설정하였다. 이 문항은 피험자로 하여금 문제해결 과정 중에 예상치 못한 문제 상황에 직면하게 함으로써, 피험자가 세운 초기의 계획을 수정하여 차선책을 마련하는 능력을 문제해결력으로 간주한다. 이 문항은 문제해결 과정의 네 가지 하위요소 중 특히 모니터링과 반성 능력을 측정할 수 있도록 개발되었다. 예상치 못한 상황에 대한 대응 및 전략을 통해 피험자의 문제해결력을 측정하기 위하여 다음과 같은 절차에 따라 분석을 실시하고 결과를 도출하였다. 첫째, 수집된 로그 데이터에서 액션 시퀀스 정보를 추출하여 피험자가 시행할 수 있는, 즉 피험자가 시행 가능한 모든 종류의 수의 액션 시퀀스를 Access의 쿼리 디자인 기능을 활용하여 열거한 후 총합을 계산하는 R 코드를 작성하여 이들의 종류와 빈도를 측정하였다. 둘째, 빈도를 측정한 결과에서는 엘보우 방법을 적용하고, 정답 및 오답 데이터를 중심으로 문제해결 과정의 특성을 분석한 내용을 토대로, 각 피험자가 시행한 복잡하고 수많은 액션 시퀀스 중에서 대표 액션 시퀀스를 선정하였다. 셋째, 대표 액션 시퀀스에 전체 액션 시퀀스를 치환하여 대체하는 조건과 절차를 마련한 후, 피험자들이 실제 시행한 복잡한 형태의 본래의 액션 시퀀스를 대표 액션 시퀀스로 치환하는 데 활용하였다. 넷째, 본래의 액션 시퀀스가 실제로 가장 유사한 대표 액션 시퀀스에 치환되었는지를 확인하기 위하여, 자연어 처리의 BERT 모형 학습을 통해 도출한 액션 시퀀스 임베딩 결과 간의 코사인 유사도 정보를 활용함으로써 벡터 공간에서 본래의 액션 시퀀스와 더 가깝게 위치하는지 확인하는 작업을 통해 치환 결과를 타당화하였다. 다섯째, 피험자의 문제해결 과정을 분석하기 위하여, 대표 액션 시퀀스들을 축약하는 코드를 이용하여 액션 시퀀스 간 연결을 표현한 SOS, 즉 시퀀스 오브 시퀀스 데이터를 도출하였다. 그리고 이를 프로세스 마이닝 분석에 활용하여 정답자와 오답자를 중심으로 문제해결 과정의 양상 및 개인차를 확인하였다. 이를 통해 주요 문제해결 대응 및 전략은 반복 행동과 다른 답안 제출 시도 행동, 그리고 대안 검토 행동을 중심으로 총 다섯 가지가 선정되었다. 여섯째, 다섯 가지의 주요 문제해결 대응 및 전략 데이터를 활용한 K-medoids 클러스터링 분석을 통하여, 정답자와 오답자의 문제해결 행동의 유형 및 특성을 확인함으로써, 정답 혹은 오답 이외에도 다양한 차이가 나타남을 확인하였다. 일곱째, 그 결과 정답자에서 여덟 가지 군집 유형을, 오답자에서 일곱 가지 군집 유형을 도출할 수 있었다. 정답자들은 최적의 답안을 찾기 위해 다양한 대안을 검토 및 비교하는 경향이 있으나, 오답자들은 매우 다양한 문제해결 행동을 보이면서 모니터링과 반성 과정이 정답자에 비해 대체로 부족한 것으로 나타났다. 이러한 연구 결과를 통해 그동안 결과 중심으로 이루어진 교육 평가의 한계를 넘어 평가의 다변화가 갖는 중요성을 확인하였다. 특히 피험자 집단을 다분화하여 각 집단의 실제 문제해결 행동을 분석함으로써, 정답자 간의 문제해결 과정의 차이를 토대로 채점 루브릭을 개발하는 등 과정 중심 평가를 실현하는 가능성을 보여주었다. 이 연구는 방대하고 복잡함을 특성으로 하는 액션 시퀀스 데이터 분석 방법을 개선하는 작업을 통해 분석 결과의 도출 및 이에 대한 해석을 한층 용이하게 하였다. 방대하게 나타나는 액션 시퀀스 데이터를 몇 가지 대표 액션 시퀀스로 치환함으로써 분석을 용이하게 하였고, 이러한 치환의 타당성을 자연어 처리의 BERT 모형과 문장 임베딩 방법을 활용하여 양적으로 확인하는 방안을 마련함으로써 치환 결과를 타당화하였다. 또한 이 연구는 프로세스 데이터 연구에서 일반화하여 적용이 가능한 액션 시퀀스 열거 절차와 액션 시퀀스 빈도 측정 기법을 고안하여 제시하였고, 언어 모델의 아이디어를 액션 시퀀스 분석에 처음으로 적용하였으며, 지금까지 선행연구에서 LCS, 레벤슈타인 거리를 중심으로 제안되어 온 액션 시퀀스 간 거리 측정 방식의 한계점을 개선하였다는 점에서 학술적 가치가 있다. 그러나 이 연구에서 제안한 코사인 거리 개념은 대표 액션 시퀀스로 치환하는 과정을 타당화하는데만 활용되었다는 한계점이 있다. 이에 후속 연구를 통해 액션 시퀀스 간 코사인 거리의 의미의 활용 가능성을 확대하여 보여줄 필요가 있음을 제언하였다.