온라인 증명 동료평가의 신뢰도 및 타당도 연구

Abstract

증명학습의 중요성에도 불구하고, 중고등학생 뿐만 아니라 대학생들도 증명 학습에 있어 상당한 어려움을 겪고 있다는 것이 보고되어 왔다. 따라서 특별히 증명을 많이 다루는 대학 전공 수업에서, 학생들의 증명 학습을 위한 새로운 도구의 도입을 검토해볼 만하다. 동료평가(peer-assessment)란 학생들이 평가자가 되어 서로의 과제를 평가하는 활동을 지칭한다. 동료평가는 주로 대학 수준에서 글쓰기나 실습과제의 평가에 활용되어 왔으며, 국내 대학에서도 동료평가 프로그램이 개별 교수의 수업 개선을 가능하게 하고 학과나 대학차원에서의 다양한 효과를 가진다는 것이 확인되었다. 한편, 동료평가가 대학 수준의 수학 수업에서 증명 학습에 사용된 경우는 찾아보기 어렵다. 이처럼 동료평가의 유익이 많음에도 불구하고 왜 증명 동료평가는 실제 대학 수학교육에서 잘 활용되지 않고 있는 것일까? 학생들이 배경지식이나 평가 경험이 부족하기 때문에 학생들의 평가가 신뢰할만한지 확신하지 못하는 것이 가장 큰 이유일 것이다. 그런데 학생들이 수행한 증명 동료평가 결과의 신뢰도나 타당도를 검증한 연구는 아직 없다. 따라서 학생들의 평가에 대한 신뢰도와 타당도를 확인하는 것이 필요하다. 이에 따라 본 연구에서는 증명 동료평가의 신뢰도와 타당도를 살펴본다. 서울 소재 한 대학교의 <정수론> 수업에서는 주별 예습과제의 일환으로 동료평가를 실시하였다. 학생들은 매주 수학적 내용을 배우기에 앞서 스스로 증명을 작성하고 제출하도록 요청받았는데, 매주 이 예습과제 문항 중 4개에 대한 동료평가를 실시하였다. 학생들은 정리별로 3명의 동료가 작성한 증명을 채점하였다. 채점을 할 때에 학생들은 교수자가 미리 제공한 채점기준에 따라 증명의 논리성, 명료성, 참신성에 대한 점수를 부여하였다. 작성한 증명을 제출하고, 채점자에게 채점할 증명이 분배되고, 채점자가 채점을 하고, 채점된 결과가 피채점자에게 전달되는 등 증명 동료평가의 모든 과정은 온라인 동료평가 도구인 Classprep을 통해 이루어졌다. 본 연구에서는 먼저 해당 수업의 학생들의 증명 동료평가 결과를 바탕으로 대학생들의 증명 동료평가의 신뢰도를 살펴보았다. 어떠한 평가의 신뢰도는 일치도(equivalence), 일관성(consistency) 그리고 안정성(stability)의 세 가지 측면에서 조사할 수 있다. 본 연구에서는 한 집단에만 동료평가를 실시하였으므로 안정성의 조사는 불가능하였다. 따라서 증명 동료평가의 신뢰도를 조사하기 위하여 안정성을 제외한 일치도와 일관성만을 측정하였다. 다음으로 동료평가의 타당도를 살펴보았다. 본 연구에서는 타당도를 조사하는 방법으로 학생들이 전문가와 유사한 채점을 하는지를 조사하는 방법을 사용하였다. 연구자는 타당도 조사를 위하여 별도로증명 평가과제 두 세트를 설계하여 학생들과 전문가에게 해당 과제들을 수행하도록 요청하였다. 측정 결과, 학생들의 채점 점수 간에 상당히 높은 일치도가 나타났으나 개별 학생이 한 학기에 걸쳐 받은 점수의 일관성은 낮았다. 높은 일치도는 동료평가 시에 어떤 채점자가 배정되는지에 큰 영향 없이 피평가자가 받게 되는 점수가 비슷함을 의미한다. 따라서 동료평가 시에 어떠한 평가자가 배정되는 지에 따라 점수가 달라질 수 있으므로 불공정하다는 지적을 불식시킬 수 있다. 한편 낮은 일관성은 한 학기 동안 받은 개별 학생들의 동료평가 점수가 일정하지 않고 다소 변화한다는 것을 나타낸다. 한 학기 동안 학생들에게 정수론 내용의 학습과 증명에 대한 학습이 이루어진다는 점을 고려한다면 해당 동료평가에서 일관성이 반드시 확보되어야 하는 것은 아니다. 따라서 낮은 일관성이 해당 동료평가의 신뢰도가 낮다는 것을 의미한다고 보기는 어렵다. 학생들과 전문가의 증명 평가과제 수행을 분석한 결과에 따르면, 학기 중반에는 학생들이 전문가와 비슷한 논리성 채점 수행을 하였지만 명료성과 참신성의 채점 수행은 전문가와 매우 다른 수행을 하였고, 학기 말에 이르러서는 학생들이 논리성, 명료성 그리고 참신성 세 가지 측면 모두 전문가와 유사한 채점 수행을 하게 되었다. 따라서 학기 초반과 중반에는 증명 동료평가의 타당도가 다소 낮았으나 학기말에 이르러서는 증명 동료평가의 타당도가 높았다고 해석할 수 있다. 학생들이 시간이 지나면서 보다 전문가와 유사한 채점을 하게 되었으므로, 학생들의 증명에 관한 관점이 전보다 전문가와 유사해졌음을 추측해볼 수 있다.