다중 평가를 활용한 확률 분배에서의 상위인지 측정과 보정 방안에 대한 연구

Abstract

본 연구는 상위 인지적 점검 능력을 정확하게 측정하고 피드백을 통해 그것을 조정할 수 있는 방법을 알아보기 위해 수행되었다. 이를 위하여 다중 평가(Multiple Evaluation) 방식을 사용하였다. 다중 평가란 객관식 선다형 방식을 개선한 문제풀이 형태로서, 주어진 답지들로부터 하나의 정답을 찾는 것이 아니라, 문항 내의 모든 답지에 대해 각각이 정답이 될 가능성을 확률로 나타내되 합이 100%가 되도록 기입하는 방법이다(Dirkzwager, 2001

Homles, 2002). 다중 평가는 비교적 적은 문항을 통해서도 응시자들의 확신 정도(confidence)을 평가할 수 있으며, 이를 기반으로 피드백을 주어 향후 수행을 조정하는 것이 가능하다. 본 연구에서 수행된 실험에서는 대학생들을 대상으로 총 네 차례에 걸친 상식 문제로 이루어진 시험을 치게 하였다. 통제 집단의 참가자들은 네 차례의 시험 사이에 어떠한 피드백도 받지 않고 문제를 풀었고, 실험집단은 매 시험 후에 확신 정도에 대한 피드백을 제공받았다. 그 결과, 첫 번째 시험부터 세 번째 시험까지 두 집단의 확신 정도에 대한 유의미한 차이는 없었다. 그러나 네 번째 시험에서 두 집단 간에 확신 정도에서 유의미한 차이가 나타났으며, 피드백을 받은 집단이 그렇지 않은 집단에 비해 확신 정도가 더 정확하였다. 피드백을 받지 않은 통제 집단의 네 차례의 시험에 대한 응답을 재분석하여 피드백 제공방식 활용의 가능성을 탐색하였다. 다중 평가의 확신 수준을 나타내는 값인 A는 현실적인 확신 수준에서의 이상적인 확률 평가인 p와 응시자의 주관적인 확률 평가 r과의 선형적 관계( p=Ar+B )를 전제로 도출되었다. A 값은 시험을 볼 때마다 도출되기 때문에 과거의 A값을 현재의 응답에 대한 가중치로 수정하는 것이 가능하다. 이 경우 t기에 (t-1)기를 반영하여 수정된 r 값은 At-1+(1-At-1)k가 된다. 분석 결과, 이전 차례의 확신 정도를 반영하여 수정한 점수로부터 도출된 확신 점수가 기존의 확신 점수에 비해 유의미하게 과신 편향이 줄어든 것으로 나타났다. 정리하면, 다중평가 방식을 통한 피드백은 확신 정도를 현실적으로 조정하는데 효과가 있었는데, 이 효과는 즉각적으로 나타나기 보다는 여러 차례 피드백을 받은 후 나타났다. 또 다른 결과는 이전 수행에서 나타난 확신 정도를 다음 확률 평가에 반영하여 수정한다면, 과신 편향이 줄어든다는 점이다. 이상의 연구 결과는 다중 평가 방식이 확신 정도를 현실적으로 조정하기 위한 피드백 도구로서 활용할 수 있으며, 또한 확률적으로 응답한 내용을 수정을 위한 도구로서 활용될 수 있을 가능성을 보여주었다.