비네트 고정법의 응답 편파 보정효과 연구

Abstract

In this global era, Education-related international organisations and Education researchers are trying to measure, analyse, and compare students competencies or psychological characteristics for derivation of suitable policy implications for each country. Many measurement instruments rely on Likert-type items, but in such measurements, problems of response bias may occur. Response bias refers to the tendency of a respondent responding to an item in a particular way, regardless of the item content. Response bias may decrease the validity of the results of the research, therefore it should be corrected in prior to comparative statistical analyses. Anchoring vignettes is one of the methods for correcting response bias in Likert-type measurements. The anchoring vignettes method uses low/middle/high levels of typical cases of the measurement variable to adjust individuals responses on measurement items. When one uses anchoring vignettes, it is assumed that respondents would rate the vignette items according to the researchers intentions. However, in previous literature that utilised anchoring vignettes, violations have been reported, but how such violations affect the research results has been inadequately discussed. Moreover, according to previous literature, there are many methods in which one can calculate the adjusted scores using anchoring vignettes, however discussions of what is most appropriate have not reached a clear conclusion. This study aims to analyse the correction effects of response bias in anchoring vignettes across three different types of respondents rating of vignette items (①well-ordered, ②well-ordered and ties, ③total including reverses) and five different adjusted scoring methods (①using the upper bound of the interval score, ②using the lower bound of the interval score, ③using the median of the interval score, ④using the OECD method, ⑤using the parametric method) of anchoring vignettes. In addition, in this time where the importance of competency-based education is increasingly receiving attention, this study aims to apply anchoring vignettes to measure, compare, and analyse the levels of core competencies (community competency, leadership competency, and career competency) of high school students between South Korea and the UK.

Research questions are as follows. First, do the correction effects of response bias differ across different rating types of vignette items? Second, do the correction effects of response bias differ across different adjusted scoring methods of anchoring vignettes? Third, when using anchoring vignettes, do the levels of core competencies (community competency, leadership competency, career competency) of high school students differ between South Korea and the UK?

This study analysed the differences of the correction effects of response bias across three types of respondents rating (①well-ordered, ②well-ordered and ties, ③total including reverses) of vignette items and five adjusting scoring methods (①using the upper bound of the interval score, ②using the lower bound of the interval score, ③using the median of the interval score, ④using the OECD method, ⑤using the parametric method) of anchoring vignettes, using the data of teacher support (South Korea: 3,322 respondents, UK: 8,155 respondents) and teachers classroom management (South Korea: 3,319 respondents, UK: 8,179 respondents) variables from PISA 2012 and achievement motivation (South Korea: 5,515 respondents, UK: 13,349 respondents) variable from PISA 2015. Furthermore, in order to compare the core competencies of high school students between South Korea and the UK, data of 312 Korean students and 138 UK students was collected and the differences between countries were analysed before and after applying the anchoring vignettes method (③using the median of the interval score).

Key results are as follows. First, it was found that there are differences in the correction effects of response bias across different rating types of the vignette items. For the well-ordered group, the mean differences of scores of vignette items were comparatively small between the two countries, therefore, the sizes of correction effects of response bias were also as small. However, when the ties and the reverses were included in the analyses, the differences of scores of vignette items increased, and consequently, the sizes of correction effects of response bias increased. However, there were cases where the correction effects of response bias decreased in size or were in the opposite direction, depending on the adjusted scoring method and the variable analysed. Such results imply that when designing anchoring vignette items, one should aim to obtain the highest possible proportion of well-ordered reponses in order to stably correct response bias using anchoring vignettes. Second, it was found that there are differences in the correction effects of response bias across different adjusted scoring methods. Only when the median of the interval score was used, the correction effects of response bias were in the correct direction in all measurement variables and rating type groups. Additionally, the sizes of correction effects of response bias of when the median of the interval score was used were most proportional to the differences of means of vignette items between the two countries. Furthermore, using the median of the interval score was also shown to be most robust against respondents rating types of vignette items. Such results imply that it is most appropriate to use the median of the interval score when one uses anchoring vignettes. Third, when anchoring vignettes were used (using the median of the interval score) to compare and analyse the core competencies (community competency, leadership competency, career competency), evidence of correction effects of response bias was found. Before anchoring vignettes were used, students in South Korea demonstrated higher levels of community competency, leadership competency, and career competency than those in the UK. On the other hand, after anchoring vignettes were used, students in South Korea still demonstrated higher levels of community competency and leadership competency, however, there was no evidence of statistical difference in career competency between the two countries. This study is meaningful in that it has revealed the differences of the correction effects of response bias across different rating types of anchoring vignettes and different adjusted scoring methods, and also the differences of core competencies between high school students in South Korea and the UK using anchoring vignettes. The results of this study provide many implications for future researches that will utilse anchoring vignettes to correct response bias. However, this study contains limitations that it only analysed the data of South Korea and the UK. Moreover, in the data that the researcher herself collected, there exist limitations in the sample size and number of variables, therefore one should be careful when making generalisations. There is the need for further research which expands the scope of this research in terms of sample size, number of variables, and countries, for a more comprehensive investigation.

글로벌 시대를 맞이하여 교육관련 국제기구와 교육 연구자들은 학생들의 역량이나 심리적인 특성을 측정하고, 국제 비교를 통해 국가 별로 교육 관련 정책적 시사점을 찾고자 노력하고 있다. 현재 사용되고 있는 측정도구들은 대부분 Likert형 문항으로 구성되어 있는데, Likert형 문항을 활용한 측정에서는 국가 간 응답 편파(response bias) 문제가 발생할 수 있다. 응답 편파란 문항의 내용과 상관없이 개별 응답자가 특정한 방식으로 응답하는 경향으로, 연구 결과의 타당도를 저하시킬 수 있기 때문에, 연구자는 국가 간 비교에 앞서 응답 편파를 보정할 필요가 있다. 비네트 고정법(anchoring vignettes)은 Likert형 문항을 활용한 측정에서 응답 편파를 보정하기 위한 기법 중 하나로, 특정 변인에 대한 전형적인 하/중/상 수준의 사례들에 대한 반응을 활용하여 해당 변인과 관련된측정문항에 대한 개인의 응답을 보정하는 기법이다. 비네트 고정법에서는 응답자들이 연구자가 의도한 순서대로 비네트 문항들에 응답할 것이라는 가정을 하고 있지만, 이러한 가정을 만족하지 못하는 사례들이 있을 경우, 응답 편파 보정효과에 어떠한 영향을 미치는지에 대한 연구가 미흡한 실정이다. 그리고, 비네트 고정법을 활용한 선행연구들을 분석해보면, 비네트 고정법에서 응답자의 조정점수를 산출하는 방법에는 여러 가지 방법이 있는데, 이들의 응답 편파 보정효과에 대한 연구 또한 미흡한 실정이다. 이 연구에서는 비네트 문항에 대한 응답자의 평정유형 집단(①정분류 집단, ②정분류 및 동분류 집단, ③역분류를 포함한 전체 집단)과 비네트 문항을 활용한 5가지 조정점수 산출방법(①구간점수의 최댓값 사용, ②구간점수의 최솟값 사용, ③구간점수의 중앙값 사용, ④OECD 제시값 사용, ⑤모수적 방법 사용)에 따른 응답 편파의 보정효과를 비교·분석하고자 하였다. 그리고, 역량중심 교육이 중시되고 있는 현 시점에서, 비네트 고정법을 활용하여 한국과 영국 고등학생들의 핵심역량(공동체 역량, 리더십 역량, 진로 역량)의 수준을 측정하고 비교·분석하여, 응답 편파 보정 전·후의 차이 등을 분석하고자 하였다.

주요 연구 문제는 다음과 같다. 첫째, 비네트 문항에 대한 응답자의 평정유형 집단에 따른 응답 편파 보정효과에는 차이가 있는가? 둘째, 비네트 문항을 활용한 조정점수 산출방법에 따른 응답 편파 보정효과에는 차이가 있는가? 셋째, 비네트 고정법을 활용한 한국과 영국 고등학생들의 핵심역량(공동체 역량, 리더십 역량, 진로 역량) 수준에는 차이가 있는가?

이 연구에서는 비네트 문항이 사용된 PISA 2012년 데이터의 교사의 학습 지원(한국 3,322명, 영국 8,155명) 변인 및 교사의 학급 경영(한국 3,319명, 영국 8,179명) 변인과 PISA 2015년 데이터의 성취 동기(한국 5,515명, 영국 13,349명) 변인에 대하여, 각 변인 별로 3개의 평정유형 집단(①정분류 집단, ②정분류 및 동분류 집단, ③역분류를 포함한 전체 집단)과 5가지 조정점수 산출방법(①구간점수의 최댓값 사용, ②구간점수의 최솟값 사용, ③구간점수의 중앙값 사용, ④OECD 제시값 사용, ⑤모수적 방법 사용)의 응답 편파 보정효과를 비교·분석하였다. 또한, 한국과 영국 고등학생들 간의 핵심역량 수준의 차이를 살펴보기 위하여 한국 고등학생 312명과 영국 고등학생 138명을 대상으로 연구자가 직접 데이터를 수집한 후, 비네트 고정법을 활용(구간점수의 중앙값 사용(방법③))하여 공동체 역량, 리더십 역량, 진로 역량 수준을 측정하고 그 결과를 비교·분석하였다. 주요 연구 결과는 다음과 같다. 첫째, 비네트 문항 평정유형 집단에 따라 응답 편파의 보정효과가 달라지는 것으로 나타났다. 정분류 집단의 경우 한국과 영국 간 비네트 문항의 평균 점수 차이가 크지 않았으며, 응답 편파의 보정효과도 작은 것으로 나타났다. 동분류와 역분류 응답자들이 분석에 포함될 경우, 대체적으로 비네트 문항의 국가 간 점수 차이가 큰 것으로 나타났으며, 응답 편파의 보정효과도 정분류 집단에 비해 대체적으로 더 크게 나타났다. 하지만, 때로는 측정 변인과 조정점수 산출방법에 따라 보정효과가 더 작아지거나 반대 방향으로 나타나는 경우도 있어, 응답 편파의 보정효과가 상대적으로 안정적이지 못한 것으로 나타났다. 아울러, 성취 동기 변인의 경우 비네트 문항에 대한 응답자들의 평정유형 집단에 따라 국가 간 평균값의 상대적 크기가 서로 뒤바뀌기도 하였다. 이러한 결과는 응답 편파를 안정적으로 보정하기 위해서는 비네트 문항 설계 단계에서 정분류 응답의 비율이 높게 나올 수 있도록 신중할 필요가 있음을 시사하고 있다. 둘째, 비네트 문항을 활용한 조정점수 산출방법에 따라 응답 편파의 보정효과가 달라지는 것으로 나타났다. 모든 측정 변인과 평정유형 집단에서 구간점수의 중앙값을 사용(방법③)할 때에만 응답 편파 보정효과의 방향이 순방향으로 나타났다. 아울러, 구간점수의 중앙값을 사용(방법③)할 때의 응답 편파 보정효과 크기가 양국 간 비네트 문항 평균 점수 차이를 가장 비례적으로 반영하였으며, 응답자의 평정유형 집단에 따른 응답 편파의 보정효과 산출에서도 가장 강건(robust)한 것으로 나타났다. 이러한 결과들을 종합해보면, 비네트 고정법을 활용한 5가지 조정점수 산출방법 중 구간점수의 중앙값을 사용(방법③)하는 것이 가장 적절한 것으로 나타났다. 셋째, 비네트 고정법을 활용(구간점수의 중앙값 사용(방법③))하여 한국과 영국 고등학생의 핵심역량(공동체 역량, 리더십 역량, 진로 역량) 수준을 비교·분석한 결과, 응답 편파 보정효과가 있는 것으로 나타났다. 이 연구에서 개발한 세 가지 핵심역량의 비네트 문항들은 양국 고등학생들의 평정유형이 유사하게 나타나 국가 간 비네트 동일성이 확인되었고, 정분류 응답률이 74.2~88.1% 수준으로 매우 높게 나타나, 비네트 문항 평정 순서에 대한 가정도 만족하고 있었다. 그리고, 비네트 고정법을 적용하기 전에는 한국 학생들이 영국 학생들보다 공동체 역량, 리더십 역량, 진로 역량 수준이 모두 통계적으로 유의하게 더 높은 것으로 나타난 반면, 비네트 고정법을 적용한 후에는 한국 학생들의 공동체 역량과 리더십 역량 수준이 여전히 영국 학생들보다 통계적으로 유의하게 더 높았고, 진로 역량의 경우 양국 간 학생들의 수준에 통계적으로 유의한 차이가 없었다. 이 연구는 비네트 고정법에서 평정유형 집단과 조정점수 산출방법에 따른 보정효과의 차이를 비교·분석하였고, 비네트 고정법을 활용하여 한국과 영국 고등학생들의 핵심역량 수준을 측정하고 비교·분석하였다는 점에서 의의를 찾을 수 있다. 이 연구의 결과는 향후 비네트 고정법을 활용하여 응답 편파를 보정하면서 국제비교연구를 수행하고자 하는 연구들에 많은 시사점을 제공할 것이다. 다만, 이 연구에서는 한국과 영국만을 대상으로 비교·분석하였으며, 연구자가 직접 수집한 자료의 경우 양국 고등학생의 사례 수가 많지 않고, 핵심역량 중 제한된 범위에서 수행된 것이므로 연구 결과의 일반화에 유의할 필요가 있다. 향후 연구 대상과 연구 범위를 확대하고 한국과 영국을 포함한 다양한 국가들 간의 종합적인 국제비교연구가 수행될 필요가 있다.