IRTree를 활용한 PISA 2018 주관적 안녕감 척도의 극단응답양식 분석

Abstract

The purpose of this study is to examine whether the Item Response Tree model (IRTree model) is appropriate to estimate the extreme response style (ERS) to the PISA(Programme for International Student Assessment) 2018 subjective well-being scale, the level of latent variables for subjective well-being after controlling the ERS, and to compare the difference between the level of ERS of Korea and that of the OECD (Organization for Economic Cooperation and Development) countries except Korea. This study also aims to analyze the change in the level of latent variables for subjective well-being in Korea after controlling the ERS. According to PISA 2018 results, Korean students reported relatively higher subjective well-being compared to life satisfaction. Previous studies have observed self-report tests such as PISA 2018 are vulnerable to response bias such as ERS. Previous studies on the wellbeing of adolescents have observed differences in varied response styles between respondents when answering queries on wellbeing, and ERS distinction were the most reported. Additionally, scholars have found a relative increase in ERS levels when the number of response categories is small, such as on a 4 point scale like subjective well-being scale on PISA 2018. Such distortions result in differences in results reported by different cultural groups notwithstanding the traits of interest. Therefore, this study aims to determine whether Korean students reported relatively higher subjective well-being compared to life satisfaction because of high ERS levels in responding to the subjective well-being scale. This study analyzed data of 64,000 students randomly sampled by 2,000 students from 32 OECD countries who responded to the PISA 2018 subjectvie well-being scale. The research questions are as follows.

Research question 1. Is the IRTree model appropriate to estimate the ERS to PISA 2018 subjective well-being scale, and the level of latent variables for subjective well-being after controlling the ERS? Research question 2. How are Koreas ERS estimates different from those of other OECD countries? Research question 3. How does the level of latent variable for subjective well-being change in Korea after controlling the ERS?

The major outcomes of this study are noted as follows. First, ERS was observed in the PISA 2018 subjective well-being responses of Korean students. The IRTree model was most suited to this analysis. In addition, the restricted IRTree model, which assumes no direction of ERS(positive or negative), was found inapt for the data. Thus, directionality was observed in the ERS. Second, the reliability of the IRTree model was demonstrated through correlation analyses between parameters estimated through the Graded Response Model(GRM) and the IRTree model. A high positive correlation was found between the estimates of latent variables for subjective well-being before and after controlling ERS. Additionally, the correlation coefficient between estimates of latent variables for subjective well-being of the two scales(postive emotion and negative emotion scales) remained constant before and after controlling the ERS. A high positive correlation was found with estimates of latent variables for subjective well-being after controlling the ERS in instances of estimates of positive ERS to the positive emotion scale, estimates of the negative ERS, and estimates of positive ERS to the negative emotion scale. Third, it was confirmed that Korean students tended to respond more extremely than their counterparts in other OECD countries. The results of the Mann-Whitney U test, the Kruskal-Wallis H test, and the post-hoc test evinced that Korean students displyed greater positive ERS esitmates for the positive emotion scale, and both positive and negative ERS estimates for the negative emotion scale than students in other countries. Fourth, the ERS significantly affected the estimates of latent variables for subjective well-being of Korean students. The Wilcoxon Singned Rank Test demostrated that the estimates of latent variables for subjective well-being increased significantly on the positive motion scale after controlling the ERS. However, the estimates of latent variables for subjective well-being decreased significantly on the negative emotion scale after controlling the ERS. Fifth, it can be inferred that the ERS contributed to estimates of latent variables for the subjective well-being of Korean students being greater than those of students in other OECD countries on the negative emotion scale. The differences in the estimates of latent variables for subjective well-being decreased between Korea and other countries after controlling the ERS from the negative emotion scale. This study is significant in that it empirically confirmed the influence of the ERS using large-scale international data. Further, it demonstrated the utility of the IRTree model for the ananlysis of ERS. In future studies, experimental studies and qualitative interviews will be needed to determine the cause of the difference in ERS. In addition, a simulation study is needed to analyze the performance of the IRTree model. Prospective research projects should also simulaneously estimate varied response styles and analyze the effects of missing values in pseudo dichotomous responses on paraemter estimation.

본 연구의 목적은 PISA(Programme for International Student Assessment) 2018의 주관적 안녕감 척도에 대한 극단응답양식(Extreme Response Style: ERS)과 ERS를 통제한 주관적 안녕감에 대한 잠재변인의 수준을 추정하기에 문항반응나무모형(Item Response Tree model: IRTree model)이 적합한지를 살펴보고, 한국의 ERS 수준이 한국을 제외한 OECD(Organization for Economic Cooperation and Development) 국가들과 어떠한 차이가 있는지 살펴보는 것이다. 또한, ERS 통제 후 한국의 주관적 안녕감에 대한 잠재변인 수준의 변화는 어떠한지 파악하고자 한다. PISA 2018 조사 결과, 한국 학생의 삶의 만족도에 비해 주관적 안녕감이 높은 것으로 나타났다. 선행연구에 따르면, PISA 2018과 같은 자기보고식 검사는 ERS와 같은 응답 편파에 취약하다. 특히 청소년의 안녕감에 대한 선행연구에 따르면, ERS로 인한 응답자 간 응답 차이가 많이 보고 되었다. 또한, PISA 2018의 주관적 안녕감 척도와 같이 4점 척도로 응답범주의 수가 작을 경우, 응답범주의 수가 큰 경우에 비해, ERS의 수준이 증가하고, 이로 인해 측정하고자 하는 구인과 무관하게, 서로 다른 문화적 집단 간 응답 결과의 차이가 발생했다. 따라서, 삶의 만족도에 비해 주관적 안녕감이 높은 이유가 주관적 안녕감 척도 응답 시 ERS가 발생했기 때문인지를 본 연구를 통해 알아보고자 한다. 이를 위해 PISA 2018 주관적 안녕감 척도에 응답한 OECD 32개 국가별로 2,000명의 학생들을 무선표집한 64,000명의 자료를 분석하였다. 연구 문제는 다음과 같다.

연구 문제 1. PISA 2018 주관적 안녕감 데이터에서 ERS와 ERS를 통제한 주관적 안녕감에 대한 잠재변인의 수준을 추정하기에 IRTree 모형이 적합한가? 연구 문제 2. 한국의 ERS 추정치는 한국을 제외한 OECD 국가들과 어떠한 차이가 있는가? 연구 문제 3. ERS 통제 후 한국의 주관적 안녕감에 대한 잠재변인 수준의 변화는 어떠한가?

본 연구의 주요 결과는 다음과 같다. 첫째, 한국 학생의 PISA 2018 주관적 안녕감 척도 응답에는 ERS가 존재했고, 이를 분석하기에 가장 적합한 모형은 문항반응나무모형(Item Response Tree Model : IRTree model)이었다. 그리고 ERS의 방향성(긍정 또는 부정)이 없다고 가정하는 간명 IRTree 모형은 데이터에 적합하지 않은 것으로 나타났다. 따라서, 주관적 안녕감에 대한 척도 응답에는 ERS의 방향성이 존재한다고 볼 수 있다. 둘째, 등급반응모형(Graded Response Model: GRM)과 IRTree 모형을 통해 추정된 모수 간 상관분석을 통해 IRTree 모형의 신뢰성을 실증하였다. ERS를 통제하기 전과 후의 주관적 안녕감에 대한 잠재변인 추정치 간에는 높은 정적인 상관관계가 존재하였다. 또한, 두 척도의 주관적 안녕감에 대한 잠재변인 추정치 간 상관계수는 ERS 통제 전후에 일정하게 유지되었다. 아울러, 긍정적 정서 척도에 대한 긍정적 ERS 추정치와 부정적 ERS 추정치, 부정적 정서 척도에 대한 긍정적 ERS 추정치의 경우, ERS 통제 후의 주관적 안녕감에 대한 잠재변인 추정치와 높은 정적인 상관을 보였다. 셋째, 한국 학생들이 한국을 제외한 OECD 국가들에 비해 극단응답을 하는 경향이 더 크다는 것을 확인했다. 맨 휘트니 U 검정 및 크루스칼 왈리스 검정과 그에 따른 사후검정 결과, 한국 학생들은 그 외 국가의 학생들보다 긍정적 정서에 대한 긍정적 ERS, 부정적 정서에 대한 긍정적 및 부정적 ERS 수준이 높았다. 넷째, ERS가 한국 학생들의 주관적 안녕감에 대한 잠재변인의 수준에 유의한 영향을 미친다는 것을 확인했다. 윌콕슨 부호 순위 검정 결과, 긍정적 정서 척도에서는 ERS 통제 후 주관적 안녕감에 대한 잠재변인 추정치가 유의하게 증가했으나, 부정적 정서 척도에서는 ERS 통제 후 주관적 안녕감에 대한 잠재변인 추정치가 유의하게 감소하였다. 다섯째, ERS가 부정적 정서 척도에서 한국 학생들의 주관적 안녕감에 대한 잠재변인 추정치가 한국을 제외한 다른 국가 학생들의 주관적 안녕감에 대한 잠재변인 추정치에 비해 더 큰 것에 기여한다고 추론할 수 있다. 맨 휘트니 U 검정 결과, 부정적 정서 척도에서 ERS을 통제한 후에 한국과 그 외 국가 간 주관적 안녕감에 대한 잠재변인 추정치의 차이가 줄어들었다. 본 연구는 국제수준의 대규모 자료에서의 ERS의 영향을 경험적으로 확인하였다는 의의를 가진다. 또한, ERS 분석에 대한 IRTree 모형의 효용성을 실증하였다. 추후 연구에서는 응답양식 차이의 원인을 파악하기 위한 실험연구와 질적 면담이 필요할 것이다. 또한, IRTree 모형의 수행력을 파악하기 위한 모의실험 연구를 할 필요가 있다. 그리고 다양한 응답양식을 동시에 추정하는 연구와 가상의 이분문항반응 변환 시의 결측치가 모수 추정에 미치는 영향에 대한 분석이 필요할 것이다.