Browse

Investigating the Reliability and Validity of Scores from a Paraphrasing Test for Korean EFL Learners : 한국인 영어 학습자의 다른 말로 바꾸어 쓰기 점수의 신뢰도와 타당도 검증 연구

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
김민경
Advisor
이용원
Issue Date
2020
Publisher
서울대학교 대학원
Description
학위논문(석사)--서울대학교 대학원 :인문대학 영어영문학과,2020. 2. 이용원.
Abstract
본 연구는 제 2외국어로서 영어를 사용하는 한국인 학습자의 글쓰기 능력을 평가할 수 있는 수단으로서의 다른 말로 바꾸어 쓰기 (paraphrasing) 과제의 신뢰도 및 타당성을 분석하고 연구 결과를 바탕으로 ESL-EFL 교육 환경에서 도움을 주고자 추진되었다. 한국인 영어 학습자의 영어 글쓰기 평가는 연구자들 사이에서 활발히 논의되는 주제이며 한국인 영어 학습자의 글쓰기 평가를 위한 새로운 도구를 개발하는 것은 매우 중요한 문제이다. 이를 다른 말로 바꾸어 쓰기라는 하나의 글쓰기 기술과 접목하여 글쓰기 평가를 위한 시험 개발 및 타당성 (validity)과 신뢰도 (reliability)에 초점을 맞춰 연구가 진행되었다.
다른 말로 바꾸어 쓰기는 학생 및 연구자가 표절 (plagiarism)을 하지 않고 외부 작업의 출처를 인용할 수 있는 방법으로 글쓰기에서 매우 중요한 기술이다. 표절을 학계의 엄중한 범죄로 다루는 서양 문화권과는 달리 유교 문화권 국가는 예로부터 지식 학습 및 습득을 위해 선인의 것을 그대로 암기하는 기계식 공부 방법을 (rote-learning) 선호했다. 선행 연구에서는 한국인 영어학습자들이 영어를 배우고 이를 표현하여 글로 작성할 때 큰 어려움으로 작용하여 비의도적인 표절을 행하게 된다고 밝혔다. 따라서 한국인 영어 학습자가 이러한 문화적 차이를 극복하고 영어 글쓰기에 적응하기 위해서는 다른 말로 바꾸어 쓰기 능력의 학습이 필수적이다. 이러한 인식에서 본 연구는 다른 말로 바꾸어 쓰기 과제를 개발하고 이것이 실용적인 글쓰기 평가가 될 수 있는지를 연구했다.
100명의 한국인 영어 학습자가 다른 말로 바꾸어 쓰기 과제에 참여하였으며 총 5 문항에 답하였다. 참여자들은 본 과제 전후로 설문지에 응답하였으며 과제 전 설문은 기본 인적 사항과 관련되었으며 과제 후 설문은 참여자들의 인식을 조사하기 위해 5문항 리커트 척도 (Likert Scale)가 사용되었다. 또한 본 과제의 채점을 위해 두 명의 채점자가 모집되었으며, 각 채점자의 점수는 신뢰도 및 타당도 분석에 활용되었다. 채점 기준은 Chen et al. (2015)의 평가 기준을 수정하여 사용하였으며 참여자들의 응답은 분석적 채점법 (Analytic Scoring)과 통합적 채점법 (Holistic Scoring)으로 평가되었다.
연구 결과를 통해 모든 문항에서 높은 채점자간의 신뢰도가 발견되었고, 적절한 문항 난이도와 변별도가 측정된 것을 알 수 있었다. 과제의 타당성 분석을 위해 TEPS 및 자기 평가 (self-assessment)의 점수가 본 과제의 점수와 비교되었으며 상관관계를 살펴보았다. 분석적 채점 기준 (Analytic rating rubrics)의 4가지 기준 중 문장 구조 변경 (Syntactic Change)가 가장 낮은 상관 관계를 보였으며, 이는 한국인 영어 학습자들이 다른 말로 바꾸어 쓰기를 할 때 문장 구조의 변경 보다는 어휘 변경을 선호한다는 선행 연구의 결과와 일치한다.
따라서 본 연구는 다른 말로 바꾸어 쓰기 과제를 통해 본 과제가 글쓰기 평가로서 활용될 수 있는지를 살펴 보았으며, 연구 결과는 높은 신뢰도와 타당성을 보여 주었다. 다른 말로 바꾸어 쓰기과제가 현 교육과정의 제한적인 글쓰기 수행평가의 유형을 보완하는 데 기여할 것이다.
Assessing L2 writing has been spotlighted for its importance for a long time, and a significant amount of research has been conducted on various issues in L2 writing assessment. Nevertheless, there still seems to be a limited array of task types, instruments, and scoring methods available for ESL/EFL (English as a second/foreign language) writing assessment at the moment. It is becoming more and more important to develop new tasks types and instruments for evaluating L2 writing and evaluate their relevance, usefulness, and validity in various contexts
In this regard, paraphrasing can provide valuable insights into effective ways to enrich the existing repertoire of assessment tasks and tools for ESL/EFL writing assessment. Paraphrasing is one of the major writing skills that has been discussed in academic writing but have not been tested sufficiently in the context of second language writing. Undergraduate and graduate students must learn appropriate ways of paraphrasing to avoid plagiarism. After learning and practicing how to paraphrase the original text, L2 writers need to be assessed from time to time to make sure how much progress they have made in terms of paraphrasing skills. This means that paraphrasing should probably be re-conceptualized as an essential component of the writing assessment construct. With this in mind, the current study attempts to examine paraphrasing skills as a new construct of writing assessment for EFL learners and investigate the reliability and validity of scores obtained from paraphrasing tasks.
A total of 100 undergraduate and graduate students who learned English as a foreign language in Korea participated in the current study. Five paraphrasing tasks were developed, piloted, and administered to the test-takers, and each task consisted of two original sentences, which the test-takers should paraphrase. The test-takers paraphrased data were evaluated by two raters based on analytic and holistic scoring rubrics. Both of these two different types of scoring rubrics were employed for more thorough analysis and comparison. Additionally, a post-test questionnaire survey was conducted to examine the test-takers and raters perception about various characteristics of the paraphrasing tasks and rating rubrics used in this study.
The results of the study suggest that the paraphrasing tasks can achieve an acceptable level of internal consistency score reliability as well as appropriate levels of item easiness/difficulty and discrimination. A high degree of inter-rater score reliability was also achieved for the paraphrasing tasks. The correlations among the scores from the paraphrasing tasks and other measures of English proficiency, such as scores of TEPS and self-assessment, were examined, all of which produced positive results in support of the claim of validity. One surprising finding was that among the four analytic rating dimensions, the first rating dimension (or criterion) of SC ( the skill of reformulating sentence structure) turned out to have the lowest correlation with the TEPS score, which was not statistically significant. It is interesting as the correlations with the other three dimensions were showing significant results. Moreover, results of the post-test questionnaire have revealed that the test-takers perceived difficulty of tasks may not always agree with the actual task difficulty verified through psychometric analysis.
Overall, the current study demonstrated that the paraphrasing tasks could achieve desired levels of score reliability and validity and thus be used as a viable tool for L2 writing assessment. Although such findings of the current study fill a big gap found in the paraphrasing research to some extent, further studies seem to be definitely necessary for developing more authentic and interesting paraphrasing tasks for the test-takers.
Language
eng
URI
http://dcollection.snu.ac.kr/common/orgView/000000160842
Files in This Item:
Appears in Collections:
College of Humanities (인문대학)English Language and Literature (영어영문학과)Theses (Master's Degree_영어영문학과)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse