비정상 응답의 탐지 및 보정

Abstract

자기 보고식 설문 조사에서 조사자는 응답자가 정확하고, 진실하게 답을 하리라고 가정을 한다. 하지만 많은 연구를 통해 응답자의 일부는 조사자의 가정과 달리 부정확하고, 비일관적인 응답을 하고 있음이 밝혀졌다. 만약 이런 비정상적인 응답이 증가한다면 설문 조사 결과는 타당성을 보장할 수 없다. 본 논문은 응답자의 구인(잠재변수)를 측정하는 설문 응답에서 비정상적인 응답을 탐지/분류/보정하는 방법에 대해 연구하였다. 이 때 설문 조사는 이해 득실이 낮은(low-stake) 검사로 의도적으로 반응을 왜곡할 이유가 없고, 역문항이 없는 경우로 한정하였으며, 잠재변수와 반응패턴의 관계는 등급반응모형(Graded Response Model

GRM)을 따른다고 가정하였다. 그리고 응답자의 반응패턴 외에 가용한 추가 정보는 없다고 가정하였다. 연구 1에서는 비정상응답을 탐지할 수 있는 새로운 모형인 무작위반응잠재집단모형(LCRRM

Latent Class of Random Response Model)을 개발하고, 이를 표준화로그우도()와 비교하였다. 모사 실험(시뮬레이션) 결과, LCRRM은 상대적으로 오경보율을 정확하게 통제하고, 검정력이 높았다. LCRRM의 높은 수행은 정확하게 문항 모수를 추정하고, 우도가 아니라 확률을 사용했기 때문이다. 비정상응답을 탐지하였다면, 그 원인을 밝히는 것이 자연스러운 수순이다. 연구 2에서는 단순 통계치와 일관성 통계치를 활용하여 비정상 응답을 유형별로 선택적으로 탐지하는 방법을 개발하였다. 연구 2의 방법은 비정상응답 유형에 따라 예상 가능한 응답 모형을 설정한 후, 해당 모형과 정상응답모형에서 나타나는 여러 통계치의 분포 차이를 활용한다. 이 방법은 기존의 개인반응곡선(Person Response Curve

PRC)과 문항별 표준화잔차(standardized residual)와 달리 통계적 검정이 가능하다는 장점이 있고, 로그 우도 검정과 다르게 정확한 모형을 필요치 않는다는 장점이 있다. 비정상응답 유형의 하나인 극단반응방식의 응답은 잠재변수와 반응방식에 의해 반응이 결정된다. 따라서 반응방식을 통제한다면 정확한 잠재변수의 추정이 가능하다. 연구 3에서는 극단반응방식과 GRM을 통합한 새로운 모형(eGRM

extreme resopnse GRM)을 제안하고, eGRM의 내포된 모형인 eGRSM(extrem response GRSM)의 모수 추정을 R로 구현하였다. 특히 모수의 최대주변우도추정(Maximum Marginal Likelihood Estimation)을 R 패키지 mirt를 활용하여 컴퓨터로 구현하였다. 최대주변우도추정방법은 마르코프 연쇄 몬테칼로(Markov Chain Monte Carlo) 방법보다 짧은 시간에 분석이 가능하다는 장점이 있다. 모사 실험을 통해 참 모형이 eGRSM일 때, 잠재변수의 추정이 GRSM보다 정확함을 보였으며, 실제 자료에 적용하여 그 유용성을 보였다. 대부분의 설문 조사자는 응답자가 진실하고, 성실하게 대답하리라는 가정을 하지만, 가정의 진위를 실제로 확인하지 못하며, 주관적인 판단에 의해 일부 응답을 분석에서 제외하기도 한다. 연구 1, 2, 3은 비정상응답이 존재할 때 이를 탐지/분류/보정하는 통계적 방법을 개발, 연구하였다. 이 방법을 적절히 사용한다면 설문 조사 결과의 타당도를 높이는데 도움이 될 것이다.