이민자 대상 한국어 말하기 평가 타당화 연구

Abstract

This study aims to clarify the validity of the Korean speaking proficiency assessment of immigrants through Multi-Facet Rasch Analysis, Generalizability Theory (G-theory) and in-depth interview for raters. First, the validity of the assessment tool was examined using the facets of examiee, rater, assessment scale, and fit statistics of the assessment tool derived using Multi-Facet Rasch Analysis. In subsequent, the error sources influencing the result of assessment are examined and optimized coditions are suggested. Lastly, in-depth interview with raters based on the results of quantitative validation analysis was conducted, and the validity of the Korean speaking proficiency assessment for immigrants was analyzed through analysis of empirical aspects in the process of assessment. First off, Chapter I examined preceding research related to the assessments of immigrants. As a result, it was found that the study of the assessment of immigrants was mainly conducted from the macro point of view related to policies and institutions, and that there were few studies on the specific composition and operation of the assessment. Through the research history of speaking assessment validation research, it was confirmed that research applying the theory and Multi-Facets Rasch Analysis is being actively conducted in the field of foreign language education assessment research. It is reviewed, in Chapter Ⅱ, that the literature on the concept of speaking assessment, the design and type of tasks and four evaluations currently used as Korean speaking assessment tools. In addition, the concept of validity and the method of validation for the assessment of speaking is examined. In Chapter III, a preliminary assessment was conducted by setting questions with reference to the assessment question and operation of the social integration program, which is the only assessment tool currently being implemented. Before proceeding with the assessment in earnest, a preliminary assessment of 10 learners participating in the social integration program and corrected some tasks. In the assessment, as in the speaking assessment of the social integration program, a face-to-face assessment of raters and examinees was conducted and recorded. The assessment time was limited to 10 minutes, and it took about 5-10 minutes depending on the proficiency level of the examinees and the degree of participation. The recorded files were given to the three raters who participated in the evaluation, and the assessment results were left on the card after hearing the 40 recorded files of the three raters. The results of speaking assessment were analyzed through Multi-Facets Rasch models and G-theory in Chapter IV. Prior to the analysis of results, the rating process and the validity of the assessment results are ensured through internal consistency reliability, rater reliability, and the fit statistics of raters. After that, we analyzed Multi-Facets Rasch models, which was the output of the Facet program, and analyzed the Generalizability theory via the Genova program. Next, based on the analysis of quantitative research results, it is discussed that the validation of the proficiency speaking assessment of immigrants, reflecting the interviews of raters. Finally, based on the results of these analyses, the direction is suggested in which Korean speaking proficiency assessment for immigrants can progress. This study carries significance in that it refers the actual speaking assessment tool for immigrants and conducts the speaking assessment, and analyses quantitatively and empirically assessment results such as Multi-Facet Rasch model, G-theory and in-depth interview with raters.

본 연구는 이민자를 대상으로 한국어 말하기 평가를 실시하고 평가 결과를 다국면라쉬모형과 일반화가능도이론을 통해 분석한 뒤 인터뷰를 진행하고 이민자 대상 한국어 말하기 평가의 타당화 방향을 제언하는 것을 목적으로 한다. 본 연구의 타당화 대상인 이민자 대상 말하기 평가 도구는 평가의 목적과 대상을 고려하면 매우 중요한 한국어 평가 도구 중 하나이다. 따라서 평가 도구가 목적에 적절하게 사용되고 있는지 확인하는 타당화 절차가 반드시 필요하다. 타당도를 측정 도구의 고유한 속성으로 보았던 연구 초기에는 중다특성-중다방법이나 요인분석, 상관분석과 같은 고전적인 연구 방법이 사용되었다. 그러나 평가 도구의 타당도에 대한 증거의 종류가 많아지고 그 모든 증거자료를 수집하여 최종적으로 판단을 내리는 과정이 타당화 과정이라는 인식이 생기며 타당화 방법에도 변화가 있었다. 이에 따라 고전적인 타당도 검증의 비중이 줄고 평가 결과에 영향을 주는 복합적인 요인을 살펴보는 다차원적인 평가 타당화 방법이 사용되기 시작했다. 본 연구에서는 이와 같은 최근의 타당도 개념에 기반하여 평가의 타당성 제고를 위한 분석이 이루어졌다. 수험자와 평가자와 같은 참여자 요인, 과제, 기준, 방법과 같은 도구적 요인과 그 외 수행평가의 특성상 예측할 수 없는 요인들이 말하기 평가의 결과에 영향을 줄 가능성이 있는 것으로 보고 이를 다각적으로 살펴보고자 하였다. 이를 위해 이민자 대상 한국어 말하기 평가에 영향을 주는 다면적 요인들의 영향력을 살피고 그 결과 분석을 토대로 평가의 최적화된 조건을 탐색해 보았다. 그간 이민자 대상 한국어 말하기 평가 연구는 정책 및 제도와 관련한 거시적 관점에서 주로 이루어졌으며 평가 도구의 신뢰도 및 타당도에 대해서는 아직 본격적으로 논의되지 못했다. 이에 본 연구는 이민자 대상 한국어 평가 도구 중 말하기 평가로 실시되고 있는 사회통합프로그램 구술시험의 기문항 유형 분석을 토대로 평가 과제를 구안하고 실제 말하기 평가를 실시한 뒤 평가 구성의 복합적 국면에 대한 타당화 분석을 실시하였다. 본 평가를 진행하기에 앞서 사회통합프로그램에 참여하고 있는 10명의 학습자를 대상으로 예비 평가를 시행하고 부적절한 과제 구성 요소를 수정하였다. 이어 본 평가 과제를 구성하고 40명의 학습 참여자를 대상으로 평가를 실시하였다. 이들 참여자의 말하기 수행 결과는 사회통합프로그램 구술시험 면접 경력을 가지고 있는 교사 3인이 직접 참여하여 평가하는 과정을 거치도록 하였다. 본격적인 결과 분석에 앞서 평가자 신뢰도, 평가자 적합도 분석을 통해 채점 과정에서 필수 조건인 평가자의 신뢰도를 확인하였다. 먼저 크론바흐알파 분석을 통해 평가자 내 신뢰도를 확인하고 상관분석을 통해 평가자 간 신뢰도를 확인하였다. 평가자 적합도 분석은 다국면라쉬모형의 평가자 단면 출력정보를 통해 확인해보았다. 이러한 과정을 통해 다른 평가자와의 일치도가 상대적으로 낮은 평가자의 평가 결과를 제외하여 일치도 편차를 줄였다. 다음으로 정량적인 타당화 방법과 경험적인 방법으로 본격적으로 평가 결과를 분석해보았다. 먼저 다국면라쉬모형을 통해 평가의 여러 국면에 오차를 일으키는 요인을 밝히고 그 영향력을 확인하였다. 이어서 수험자, 평가자, 평가 과제, 평가 기준, 평가 척도의 단면에서 각 요인들의 적합도를 분석해보았다. 이를 통해 평가자의 일치도 확보가 본 평가의 타당성 제고에 가장 중요한 사안인 것을 확인했다. 또한 평가 과제와 평가 기준 면에서 적합도 양상 분석 결과를 통해 이민자 대상 한국어 말하기 평가 도구의 수정 및 개선에 참고할 수 있는 사항을 확인하였다. 일반화가능도이론을 통해서는 평가 결과에 영향을 주는 오차 요인과 그 영향력을 확인하고 최적화된 평가의 조건을 살펴보았다. 이를 통해 수험자의 능력 차이가 평가 결과에 가장 큰 영향을 주는 것으로 나타나기는했으나, 평가자 요인도 간과할 수 없을 정도의 영향을 주고 있음을 확인할 수 있었다. 이와 함께 수험자와 과제 간 상호작용과 평가자와 과제 간 상호작용 또한 결과에 주요한 영향을 미치는 것으로 확인되었다. 이어서 양적 연구 결과 분석을 토대로 질문을 구성하여 평가자 대상 인터뷰를 실시하였다. 앞선 양적 연구 결과를 토대로 평가 과제, 기준, 평가자 훈련의 측면에서의 타당화 제고 방향과 평가 도구의 보완이 필요한 부분에 대한 주제로 인터뷰를 실시한 결과, 평가 과제의 조정, 구체적인 평가 기준의 마련, 평가자 훈련 및 재훈련 방법 개선 방안을 논의할 필요가 있음을 알 수 있었다. 또한 평가 운영상의 보완이 필요한 부분에 대한 실제 평가 참여자의 견해도 알 수 있었다. 다음으로 정량적 통계 절차와 인터뷰 분석 결과를 토대로 이민자 대상 한국어 말하기 평가의 타당화를 위한 방향을 평가 과제, 평가 기준, 평가자 훈련, 평가 도구의 보완의 측면에서 제안해보았다. 과제의 측면에서는 과적합 경향과 부적합 경향을 보이는 과제의 제시 방법과 형태의 수정이 필요하였다. 또한 평가 기준 국면에 대한 양적 연구 결과와 평가자 인터뷰 결과를 통해 각 영역별로 보다 명확하고 세부적인 기준 마련이 요구되며 평가자의 지침을 구체화할 필요가 있다는 것을 확인할 수 있었다. 평가자 훈련의 측면에서는 훈련의 구성과 내용을 재조정할 필요가 있었고, 평가 경험이 있는 평가자를 위한 재훈련이 필요하다는 것을 알 수 있었다. 마지막으로 평가 시간의 분배, 평가 결과의 보고 및 관리의 측면에서 평가 도구의 타당성을 제고할 수 있는 방안을 제시하였다. 본 연구는 이민자를 대상으로 이루어지고 있는 말하기 평가 도구를 참고하여 실제 평가를 실시하고 평가 결과를 정량적 분석 방법과 함께 서면 인터뷰, 전화 인터뷰와 같은 경험적인 분석 방법을 실시하여 타당화 방향을 제언했다는 점에서 의의를 갖는다.