온라인 패널 조사와 오프라인 대인면접 조사 간 데이터 품질 비교: 신뢰도와 타당도를 중심으로

Abstract

본 연구는 동일한 표본추출방법을 통하여 얻은 온라인과 오프라인 표본에 대해 동일한 형태의 설문응답 을 수집한 후, 온라인 데이터의 품질을 타당도(예측 타당도와 개념 타당도)와 신뢰도(동형검사 신뢰도와 내적 일관성)를 중심으로 오프라인 데이터와 비교􍾳평가하였다. 비교결과, 온라인 조사는 오프라인 조사와 최소한 대등한 수준의 데이터 품질을 가지고 있으며, 평가차원에 따라서는 종종 오히려 더 우수한 데이터 품질을 갖는다는 것을 발견하였다. 주요 연구결과를 요약하면 다음과 같다. 첫째, 예측 타당도와 내적 일관성 신뢰도 측면에서는 온라인 조 사가 오프라인 조사보다 우월하였다. 둘째, 개념 타당도와 동형검사 신뢰도의 측면에서는 온라인 조사와 오프라인 조사 간 차이가 없었다. 셋째, 오프라인 조사방식은 예측력 측면에서 설문문항의 난도의 고저에 따른 차이가 없었으나, 온라인 방식은 차이가 존재하였다. 온라인 조사의 경우 고난도 문항이 보다 낮은 수준의 예측 타당도를 갖고 있지만, 고난도 문항에 대한 예측 타당도는 오프라인 조사보다 우월하였다. 넷 째, 개념 타당도와 동형검사 신뢰도의 경우, 온라인과 오프라인이라는 조사방식의 주 효과는 존재하지 않 았으나 조사방식과 문항위치 간의 상호작용이 존재하였다. 온라인 조사에 있어서는 전반부에 문항이 위치 한 경우에 보다 높은 수준의 개념 타당도와 동형검사 신뢰도를 가지는 데에 반해, 오프라인 조사는 역의 관계를 보였다.