동료평가를 활용한 수업에서 나타나는 글쓰기 자기평가의 특성

Abstract

Self-assessment is considered to promote learning since it helps students to concentrate on the flaws in their performance by identifying their strengths and weaknesses. Self-assessment also plays a crucial role in the process of learning to write. Since writing is one of the most important skills for professional success, students need to learn to write using self-assessment. By accurately evaluating their writing quality, students can identify problems to improve and apply the appropriate strategy to write well. Past research shows that self-assessment with specific criteria enhances writing performance. But a considerable body of research evidence suggests that self-assessment is a difficult task. One of the reasons is that people tend to overestimate themselves. Therefore, students need to be trained to enhance the accuracy of self-assessment. This study focuses on whether students can improve the accuracy of self-assessment after they rate peer work. While analyzing peer work, students can be exposed to various samples, and find out what makes writing performance good. This in turn guides to a deep understanding of the assessment criteria and flaws in their writing. Therefore, this study expected that students can detect the weaknesses in their writing by assessing peers papers without depending on feedback from a teacher or peers. In this case, how accurately students assess peers will contribute to their accuracy in evaluating themselves. The data was collected from a major course at a university in Seoul. In this course, students evaluated their papers after they had evaluated 4 peers papers every week. The short argument writing assignment and the long report assignment were selected for analysis among those papers. These two assignments were different in length, assessment criteria, and rating scale. This study investigated whether assessment tendency was generalized across writing assignments. The given peer-score (score they gave to peers), peer-score (score given by peers), self-score, and expert-score of two assignments were measured. First, the accuracy of peer-assessment and self-assessment was investigated. The accuracy of assessment was defined as a correlation between student-generated scores and expert-score. The results of this study showed that peer-score was positively correlated with expert-score in two assignments. A positive correlation between peer-score and expert-score was consistently confirmed in past peer-assessment research. But the correlation between self-score and expert-score was not significant in any of them. Second, this study examined whether the degree to which students accurately assess peers contributes to their accuracy in evaluating themselves. To confirm this correlation, the difference scores of self-score and given peer-score were calculated. The difference score of given peer-score was an average difference between the score students gave each peers work and expert-score. The difference score of self-score was an absolute difference between self-score and expert-score. The smaller the difference score was, the more accurately students assessed peers and themselves. A positive correlation between the difference score of given peer-score and that of self-score was significant only in the argument writing assignment. This study is the first study that investigates the accuracy of self-assessment after peer-assessment and the relationship between two assessments. Future research about additional scaffoldings to enhance the accuracy of self-assessment through peer-assessment is discussed.

정확한 자기평가는 약점과 강점을 구분하고 약점을 보완할 수 있게 만든다는 점에서, 학습 성과에 큰 영향을 미친다. 이것은 글쓰기 학습에서도 예외가 아니다. 글쓰기 능력이 중요한 경쟁력이 된 만큼, 사람들은 자기평가를 통해 글을 쓰는 법을 배울 필요가 있다. 자신이 쓴 글과 목표하는 글 사이의 차이를 정확히 평가해야 어느 부분을 개선해야 할지 알 수 있고, 필요한 글쓰기 전략을 사용할 수 있기 때문이다. 실제로 여러 연구에서 구체적인 기준에 비추어 자신의 글을 평가할 때, 글쓰기 수준이 향상되었다는 결과가 보고된다. 그러나 일반적으로 자신에 대한 과대평가로 인해 스스로의 글을 정확하게 평가하는 것은 어렵다. 따라서 수업에서 추가적인 훈련을 통해 자기평가의 정확성을 향상시킬 필요가 있다. 본 연구에서는 동료를 평가한 뒤에 자신을 평가하게 하는 방식에 주목했다. 학생들은 동료를 평가하는 과정에서 좋은 글과 그렇지 않을 글을 볼 수 있게 되고, 이 경험을 바탕으로 채점 기준을 이해하고 자신의 글에 어떤 문제가 있는지를 찾을 수 있다. 이에 본 연구에서는 동료를 평가하는 과정을 통해 학생들이 교사나 다른 학생의 피드백에 의존하지 않고도 자신의 글을 어느 정도 정확하게 평가할 수 있을 것으로 기대하였다. 동시에, 동료를 잘 평가할수록 자신을 잘 평가할 수 있을 것이라고 보았다. 그러나 지금까지 위와 같은 가설을 실제로 검증한 연구는 없었다. 본 연구는 서울의 한 종합대학교 전공과목 수업의 자료를 분석하여 동료평가 뒤의 자기평가가 어떻게 나타나는지 살펴보았다. 이 수업에서 학생들은 매주 동료 4명의 글을 평가한 뒤 자신의 글을 평가한다. 본 연구에서는 이 수업의 학생들이 평가한 과제 중에서 짧은 주장문 과제와 긴 중간보고서 과제를 활용하였다. 이 두 과제는 글의 길이, 평가 기준, 그리고 척도 면에서 약간의 차이가 있었는데, 이런 차이에도 불구하고 평가 경향이 일반화되는지를 알아보고자 하였다. 분석을 위해 두 과제에서 타인평가 점수, 동료평가 점수, 자기평가 점수, 전문가 점수를 구했는데, 여기서 타인평가 점수는 학생들이 동료의 글에 준 점수를, 동료평가 점수는 학생들이 동료에게 받은 점수를 의미한다. 첫 번째로, 두 과제에서 동료평가의 정확성과 자기평가의 정확성을 살펴보았다. 자기평가 및 동료평가의 정확성은 학생이 평가한 점수와 전문가 점수간의 상관으로 정의되었다. 분석 결과, 두 과제 모두에서 동료평가 점수는 전문가 점수와 정적인 상관관계가 있었다. 동료평가 점수와 전문가 평가점수간의 정적인 상관관계는 다른 선행 연구에서도 반복적으로 확인된 바 있다. 반면, 자기평가 점수와 전문가 점수간의 상관관계는 예상과 다르게 모든 과제에서 유의미하지 않았다. 두 번째로, 동료를 정확하게 평가할수록 자신을 정확하게 평가할 수 있는지 확인했다. 이 연관성을 보기 위해 타인평가의 차이점수와 자기평가의 차이점수 사이의 상관계수를 구했다. 타인평가의 차이점수는 학생들이 각 동료를 평가한 점수와 전문가 점수 간의 평균적인 차이를 의미한다. 자기평가의 차이점수는 전문가 점수와 자기평가 점수 사이의 절대적인 차이를 의미한다. 각각의 차이점수가 작을수록 동료 혹은 자신의 글을 전문가와 유사하게 평가했다고 볼 수 있다. 분석 결과, 타인평가의 차이점수와 자기평가의 차이점수 사이의 정적인 상관관계는 주장문 과제에서만 확인되었다. 본 연구는 동료평가 뒤에 이루어진 자기평가의 정확성을 실제로 확인하고, 동료평가와 자기평가 간의 연관성을 최초로 탐색했다는 점에서 의의가 있다. 논의에서는 자기평가의 정확성을 높이기 위해, 동료평가 과정에 구체적으로 어떤 조치가 더 추가되어야 하는지를 탐색하였다.