상황판단기법을 활용한 중국 초등교사용 학생평가역량검사 개발 및 타당화 연구

Abstract

Student evaluation competency is one of the most significant competencies required by teachers. The course setting of teachers' cultivating institutions in many countries, such as Korea and China, identically containing the subject of 'education evaluation'. In 2018, China set up a The Excellent Teacher 2.0 (卓越教师2.0) plan to foster teachers with characteristics of outstanding quality, superior moral, high competency, lifelong learning ability and future education expert capability. (Ministry of Education of China, 2018). In addition, in the Chinese National Education Curriculum revised in 2022, the student evaluation focus also shifted from paper-based evaluation to evaluation of students' learning process and students' accomplishment, hence, the teachers' student evaluation ability becomes particularly critical. Although a certain degree of attention has been paid to teachers' student evaluation ability and the systematic measurement of this ability, however, there is insufficient research on other measurement tools except for Likert-type self-report measurement. Therefore, this study was conducted to make up for the limitations of Likert-type self-report examination by using situational judgment technology, and to develop and make it a student evaluation ability measurement tool for primary school teachers in China. To this end, firstly, through prior research analysis at home and abroad, the student evaluation ability of primary school teachers in China was defined as The professional ability required for teachers in the actual teaching process of primary school education in China to successfully formulate evaluation plans, carry out evaluation, calculate evaluation results, and make use of evaluation results In addition, the structural elements of the students evaluation of primary school teachers in China are composed of ①making evaluation plans, ②implementing evaluation, ③calculating evaluation results, and ④utilizing evaluation results. Afterwards, in order to develop a student evaluation ability measurement tool based on the situation judgment method, this study was conducted to execute in-depth interviews with 13 primary school teachers working in Beijing, China, and according to this, the corresponding problem situation scripts (24 cases in total) and corresponding action strategy option questions to each scenario were created by applying the core event method. The action strategy multiple-choice questions formulated could be generally divided into three types namely: ①self-adjustment, ②restructuring, and ③indifference (or unresponsiveness). This study recruited a total of 12 experts majoring in measurement and evaluation including 2 domestic doctors and 10 doctoral students, and held 2 expert conferences to evaluate the developed three tests namely ①Student evaluation competency test based on the Situation Judgment Techniques ②Likert type self-report student evaluation ability Test and ③Likert-type expert judgment on student evaluation ability test, and the content of the test questions was revised and perfected according to the recommendations from the expert council. Apart from this, total 12 people were recruited, including 6 Chinese international students in the domestic education doctoral program in Korea and 6 teachers with more than 20 years of teaching experience in Chinese primary schools, and the content validity of the developed test was assessed by written evaluation. Based on this result, the draft was amended and supplemented, and the final pre-test content was completed, and the scoring standard table of the Student evaluation competency test based on the Situation Judgment Techniques was made for 50 objects of Chinese primary school education experts. Finally, 250 primary school teachers in Beijing and Henan provinces were pre-tested, and on the basis of the results of confirmatory factor analysis, the test questions were revised and supplemented again, and the formal test questions were finally completed. The formal test questions consist of 24 questions in the student evaluation ability test using the situational judgment method, 36 questions in the Likert-type self-report student evaluation ability test, and 36 questions in the Likert-type expert judgment student evaluation ability test, 810 primary school teachers from China Henan province and BeiJing city were involved in this test, the main research results were summarized as follows. Firstly, the content validity of the students' evaluation ability test using the situational judgment method was satisfied. In order to check the validity of the content, a written evaluation was carried by a total of 12 experts namely 6 Chinese doctoral students majoring in education in Korea and 6 current primary school teachers with more than 20 years of teaching experience in China. The results suggested that the content validity of each question situation script and action strategy multiple-choice question was above 4.50 (full score of 5 points), and the CVI (Content Validity Index) was also above 0.90 (full score of 1 point), which indicated that the content validity was good. Secondly, the Student evaluation competency test based on the Situation Judgment Techniques had good construct validity. In order to verify whether the sub-factors of students' evaluation were composed of the four types of setting elements theoretically, Pearson correlation analysis was performed on the total test score and the lower area scores, and the structural equation model was used to perform confirmatory factor analysis to evaluate the students' evaluation ability model. The results showed that the correlation coefficients between the overall and the sub-factors of the student evaluation competency test using the situational judgment method were statistically significant (p<). 001), and the model fit index (=14.245, CFI=.981, TLI=.942, RMSEA=.076, SRMR=.030) of confirmatory factor analysis using structural equation modeling (SEM) also all performed well. That was to say, the student evaluation competency of Chinese primary school teachers established by the researcher's theory was composed of the four sub-factors set by the researchers. Thirdly, the discriminant validity of the students' evaluation ability examination using the situational judgment technique was good. Correlation analysis was performed between the student evaluation ability test based on the situation judgment method and the other two tests, and the results showed that the student evaluation ability test using the situation judgment method and the Likert-type self-report student evaluation ability test had low correlation (r=.060), and the correlation between it and the Likert-type expert judgment student evaluation ability test was also very low (r=.150). This implied that the discriminant validity of the student evaluation ability test using the situational judgment method was good, namely to reflect the situational judgment examination for the problems that may occur in the actual teaching situation, which was different from the Likert-type self-reported check that lacked the ability of reflecting the actual problems in the work situation. In addition, it was also found that there were significant differences between the teachers' student evaluation ability under different test methods, which could be judged to have discriminant validity. Fourth, the reliability of the student evaluation ability examination using the situational judgment method was good. The overall internal consistency coefficient (Cronbach'alpha) of the student evaluation ability examination using the status judgment technique was 0.922, and the internal consistency coefficient of each downstream field ranging from 0.675~0.834, which also revealed good result. Fifth, MANOVA analysis was carried out to confirm whether there were differences in the sub-fields of student evaluation ability of Chinese primary school teachers under different background. The results showed that according to the teachers' teaching experience and final education, there were statistically significant differences in the sub-factors of student evaluation ability. For example, teachers with less than 5 years of teaching experience had higher scores in the domain making evaluation plans than other teachers, and teachers with less than 5 years and more than 15 years had significantly higher scores in the domain Calculate evaluation results than teachers with more than 5 years but less than 10 years of teaching experience. Besides, the scores of making evaluation plan and calculating evaluation results of university graduate teachers were higher than those of college graduate teachers, and the scores of executing evaluation and using evaluation results of university graduate teachers were statistically significantly higher teachers who graduated from graduate school. This study was dedicated to develop a test for diagnosing Chinese primary school teachers' student evaluation ability by applying situational judgment technology and make it a feasibility study. It was of great significance to use this test to systematically evaluate the student evaluation ability of Chinese primary school teachers. In particular, the examination of student evaluation ability using the situational judgment method developed in this study was one of the strategies to reduce the response bias that occurred on the Likert-type self-report scale, it could effectively alleviate problems such as answer bias when assessing the student evaluation ability for elementary school teachers in China. However, this study was conducted on primary school teachers in Beijing and Henan provinces of China, so it would be difficult to generalize the research results to Korean teachers or teachers from other parts of China. Therefore, in the future, it is necessary to re-develop the student evaluation ability measurement tools for primary school teachers in South Korea or other parts of China, or re-develop the measurement tools for middle school teachers.

학생평가역량은 교사에게 요구되는 가장 중요한 역량 중 하나라고 할 수 있다. 한국과 중국을 포함한 많은 국가의 교원 양성 기관에서는 교직 이수 과정 중에 교육평가 과목을 별도로 가르친다. 중국은 2018년에 미래교육 전문가로서 소질이 탁월하고, 도덕적으로 우수하며, 역량이 높고, 지속적으로 공부하는 교사를 양성하기 위해 탁월교사2.0(卓越教师2.0) 계획을 세웠다(중국교육부, 2018). 또한 2022년에 개정된 중국 국가 교육과정에서는 지필평가 중심에서 수행평가 등을 활용한 과정중심평가와 역량중심평가를 강조하고 있으며, 교사의 학생평가역량을 매우 강조하고 있다. 중국에서 최근 강조되고 있는 교사의 학생평가역량을 진단하기 위해서는 체계적인 검사가 필요함에도 불구하고, Likert형 자기보고식 검사를 제외하면 관련 연구가 부족한 실정이다. 따라서 이 연구에서는 Likert형 자기보고식 검사의 한계를 보완하기 위한 상황판단기법을 활용하여 중국 초등교사의 학생평가역량 측정 도구를 개발하고 타당화하고자 하였다. 이를 위하여, 우선 국내·외 선행연구 분석을 통해 중국 초등교사의 학생평가역량을 중국 초등학교 교육현장의 실제 교수·학습 상황에서 교사가 학생평가를 실시할 때 평가 계획을 세우고, 평가를 실행하며, 평가 결과를 산출하고, 평가 결과를 활용하는 업무를 성공적으로 수행하기 위해 갖추어야 하는 전문적인 역량이라고 규정하였다. 그리고 중국 초등교사 학생평가역량의 하위영역을 ① 평가 계획 세우기, ② 평가 실행하기, ③ 평가 결과 산출하기, ④ 평가 결과 활용하기의 네 가지로 구성하였다. 이후, 상황판단기법을 활용한 학생평가역량 측정도구를 개발하기 위해, 중국 베이징시에 재직 중인 초등교사 13명을 대상으로 심층 인터뷰를 진행하여 핵심사건기법을 활용한 문제상황 시나리오(총 24개)와 각 시나리오 별 행동전략 선택지를 제작하였다. 이때, 작성한 행동전략 선택지는 크게 ① 자기조절, ② 상황조정, ③ 무관심(혹은 무대응)의 세 가지로 분류되었다. 이렇게 개발된 ① 상황판단기법을 활용한 학생평가역량검사와 연구자가 개발한 ② Likert형 자기보고식 학생평가역량검사 및 ③ Likert형 전문가 판단 학생평가역량검사, 총 3가지 검사에 대해 국내 측정평가전공 박사 2명과 박사과정생 10명, 총 12명을 대상으로 2차에 걸친 전문가 협의회를 진행하여 내용을 수정·보완하였다. 그리고 한국 내 교육학 박사과정 중국인 6명과 중국 초등학교 교직 경력 20년 이상인 교사 6명, 총 12명을 대상으로 내용타당도 점검을 위한 서면평가를 실시하였다. 그 결과를 바탕으로 초안을 수정·보완하여 최종 예비검사를 완성하였으며, 중국 초등교육 전문가 50명을 대상으로 상황판단기법을 활용한 학생평가역량검사의 선택지에 대한 채점 기준표를 제작하였다. 이렇게 수정·보완한 3가지 검사들을 활용하여 중국 베이징시와 허난성(河南省) 소재 초등학교 교사 250명을 대상으로 예비검사를 실시하였고, 확인적 요인분석 결과 등을 바탕으로 문항을 다시 수정·보완하여 본검사 문항을 완성하였다. 본검사(상황판단기법을 활용한 학생평가역량검사 총 24개 문항, Likert형 자기보고식 학생평가역량검사 36개 문항, Likert형 전문가 판단 학생평가역량검사 36개 문항)는 중국 베이징시와 허난성(河南省) 소재 초등교사 810명을 대상으로 실시하였다. 주요 연구 결과를 요약하면 다음과 같다. 첫째, 상황판단기법을 활용한 학생평가역량검사의 내용타당도는 양호하였다. 내용타당도 점검을 위해 한국에 유학 중인 중국인 교육학전공 박사 과정생 6명과 중국에 있는 교직 경력 20년 이상의 현직 초등교사 6명, 총 12명을 대상으로 전문가 서면 평가를 진행하였다. 그 결과, 각 문제상황 시나리오와 행동전략 선택지의 내용타당도는 모두 5점 만점에 4.50 이상으로 나타났으며, CVI(내용타당도 지수)도 모두 1점 만점에 .90 이상으로 나타나, 내용타당도가 양호하였다. 둘째, 상황판단기법을 활용한 학생평가역량검사의 구인타당도는 양호하였다. 학생평가역량의 하위영역이 연구자가 이론적으로 설정한 4가지로 구성되는지를 검증하고자 상황판단기법을 활용한 학생평가역량검사 총점과 각 하위영역들 간의 상관분석을 실시하였고, 구조방정식 모형을 활용하여 학생평가역량 모형에 대한 확인적 요인분석을 실시하였다. 그 결과, 상황판단기법을 활용한 학생평가역량검사 전체와 하위영역 간의 상관계수는 모두 통계적으로 유의하였으며(p<.001), 구조방정식 모형(SEM)을 활용한 확인적 요인분석의 모형 적합도 지수(=14.245, CFI=.981, TLI=.942, RMSEA=.076, SRMR=.030)도 모두 양호하게 나타났다. 즉, 연구자가 이론적으로 설정한 중국 초등교사의 학생평가역량의 4가지 하위영역은 학생평가역량을 종합적으로 구성하고 있는 것으로 확인되었으며, 설정된 학생평가역량의 이론적 모형이 경험적 자료에 적합하다는 것이 확인되었다. 셋째, 상황판단기법을 활용한 학생평가역량검사의 변별타당도는 양호하였다. 상황판단기법을 활용한 학생평가역량검사와 다른 두 검사 간의 상관분석을 실시한 결과, 상황판단기법을 활용한 학생평가역량검사와 Likert형 자기보고식 학생평가역량검사 간에는 상관이 낮았으며(r=.060), 상황판단기법을 활용한 학생평가역량검사와 Likert형 전문가 판단 학생평가역량검사 간의 상관도 낮았다(r=.150). 이는 상황판단기법을 활용한 학생평가역량검사의 변별타당도가 양호하다는 것을 의미하며, 학교 현장의 실제 업무 상황에서 발생할 수 있는 문제를 반영하여 학생평가역량을 측정하고자 하는 상황판단검사와 업무 상황이 제대로 반영되어 있지 않는 Likert형 자기보고식 검사는 서로 구별되는 특성을 지니고 있음을 시사한다. 또한 검사 방식에 따라 교사의 학생평가역량 점수 간에 유의한 차이가 있는 것으로 나타났으며 변별타당도가 있는 것으로 판단할 수 있다. 넷째, 상황판단기법을 활용한 학생평가역량검사의 신뢰도는 양호하였다. 상황판단기법을 활용한 학생평가역량검사 전체의 내적일치도 계수(Cronbach alpha)는 0.922이며, 하위영역별 내적일치도 계수는 0.675∼0.834로 모두 양호하였다. 다섯째, 중국 초등교사의 배경변인 별로 학생평가역량의 하위영역에 차이가 있는지 확인하기 위해 MANOVA 분석을 실시한 결과, 교사의 교직 경력과 최종학력에 따라 학생평가역량 하위영역의 차이가 통계적으로 유의하였다. 예컨대, 교직 경력이 5년 미만인 교사의 평가 계획 세우기 영역 점수가 다른 교사들보다 높았으며, 5년 미만 및 15년 이상인 교사의 평가 결과 산출하기 영역 점수가 5년 이상 10년 미만의 경력을 가진 교사들보다 통계적으로 유의하게 높았다. 또한, 대학교를 졸업한 교사의 평가 계획 세우기와 평가 결과 산출하기 영역 점수가 전문대를 졸업한 교사들보다 높았으며, 대학교를 졸업한 교사의 평가 실행하기와 평가 결과 활용하기 영역 점수가 대학원을 졸업한 교사들보다 통계적으로 유의하게 높았다. 이 연구는 상황판단기법을 활용하여 중국 초등교사의 학생평가역량을 진단하는 검사를 개발하고 타당화 한 연구이며, 이 검사를 이용하여 중국 초등교사의 학생평가역량을 체계적으로 측정할 수 있다는 점에서 의의가 있다. 특히 이 연구에서 개발된상황판단기법을 활용한 학생평가역량검사는 Likert형 자기보고식 척도에서 나타나는 응답 편향을 줄이는 전략 중 하나인 상황판단기법을 활용한 검사이므로 중국 초등교사의 학생평가역량을 측정할 때, 응답 편향과 같은 문제를 효과적으로 완화 시킬 수 있을 것이다. 그러나 이 연구는 중국 베이징시와 허난성에 있는 초등교사들을 대상으로 한 연구로, 이 연구의 결과를 한국의 교사나 중국의 다른 지역 교사에게 일반화하기에는 한계가 있다. 그러므로 향후 한국이나 중국 다른 지역 초등교사들을 대상으로 하는 학생평가역량 측정 도구를 새롭게 개발하거나, 초등교사가 아닌 중등교사를 대상으로 하는 측정 도구를 새롭게 개발할 필요가 있다.