지역사회건강조사에서 이상조사원의 탐색 및 영향 분석

Abstract

연구배경 지역사회건강조사는 시•군•구 단위의 주민 건강통계를 생산하기 위한 우리나라 최초의 조사 사업으로 질병관리본부와 광역자치단체 및 전국 253개 시•군•구 보건소가 역할을 분담하여 지역단위 건강조사를 효율적으로 수행해오고 있다. 다양한 종류의 수행기관과 인력이 동시에 투입되기 때문에 자료 생산의 정확성과 신뢰성을 위해서는 조사과정 전반에 걸친 질 관리(Quality Control)가 무엇보다도 중요하다. 지역사회건강조사와 같이 1:1 면접(face-to-face)을 통한 설문조사는 자료의 질적인 부분에서 조사원이 미치는 영향이 크다. 조사원이 의도적으로 본래의 조사 규정과는 다르게 조사하는 경우 위조 행위 조사(interviewer falsification)또는 부정행위 조사(interviewer cheating)로 정의하고 부정 행위를 하는 조사원(cheating interviewer)은 정상적으로 조사를 완료한 조사원(honest interviewer)과 비교하여 어떤 특성을 가지고 있고 설문 조사에 어떻게 영향을 미치는지 연구한다.

목표 본 연구 목적은 부정행위를 한 조사원(cheating interviewer)의 설문조사 데이터와 부정행위를 하지 않고 폐기된 자료가 없이 정상적으로 완료한 조사원(honest interviewer)의 설문조사 데이터를 비교하여 부정행위를 한 조사원(cheating interviewer)의 특성을 찾는다. 또한 이러한 특성을 통하여 부정행위를 할 가능성이 있는 의심 조사원(at risk interviewer)을 탐색할 수 있는 방법을 마련하여 질 관리(Quality Control) 향상을 통해 지역사회건강조사의 정확성과 신뢰성을 확보하는 것이다.

연구방법 본 연구는 질병관리본부 주관으로 시행된 2012년 지역사회건강조사 원시자료(raw data), 2012년 지역사회건강조사 폐기자료, 2012년 지역사회건강조사 조사원 질관리 지표 자료, 2012년 지역사회건강조사 조사원 특성 자료를 이용하였다. 기존에 연구된 방법과 동일하게 기타 응답율(other-answers-ratio), 극단적 응답율(extreme-answers-ratio), 응답거부율(non-answers-ratio), Benford 분포를 이용한 x^2 값, 필터문항 응답율(filter-answers-answers-ratio)의 총 다섯 가지 지표(indicators)로 클러스터 분석(cluster analysis)을 하여 부정행위를 한 조사원의 특성을 탐색하였다.

결과 대리 응답으로 자료가 폐기된 조사원 10명을 부정행위를 한 조사원(cheating interviewer) 그룹으로 분류하고, 부정행위를 하지 않고 폐기된 자료가 없으며 전화점검의 재조사(re-interview)를 통해 응답일치도가 6인 조사원 12명을 정상 조사원(honest interviewer) 그룹으로 분류하였다. 두 그룹에서 다섯 가지의 지표를 비교했을 때, 부정행위를 한 조사원(cheating interviewer) 그룹의 기타응답비율(other-answers-ratio)과 극단적 응답율(extreme-answers-ratio)의 값이 가정과 일치하게 낮 았고 부정행위를 한 조사원(cheating interviewer) 그룹의 Benford 분포를 이용한 x^2 값과 필터문항 응답율(filter-answers-answers-ratio)은 가정과 일치하게 높았다. 반면에 응답거부율(non-answers-ratio)은 가정과 반대의 결과가 나왔다. 뿐만 아니라 다섯 가지 지표(indicators)을 이용하여 Ward Hierarchical Cluster 와 K-Means Cluster 분석을 한 결과 부정행위를 한 조사원(cheating interviewer)을 탐색하는 확률이 각각 60%, 90%가 나왔다. 또한, 폐기된 자료의 전체 조사원 65명(조사건수:256)과 응답일치도 6인 전체 조사원 18명(조사건수:288)의 질 관리 지표를 비교했을 때 조사 소요시간 이상치 비율(9분 이내)에서 차이가 컸고 나머지 질 관리 지표값은 큰 차이가 없거나 폐기된 자료의 조사원이 더 우수했다.

결론 설문 조사는 부정행위를 하는 조사원(cheating interviewer)에 의해 잠재적으로 영향을 받게 되고 조사 중 부정행위는 심각한 bias를 야기시키는 것으로 밝혀졌다. 현존하는 많은 방법들이 부정행위를 하는 조사원을 추출하기 위해 재조사(re-interview)를 시행한다. 재조사(re-interview)는 부정행위를 하는 조사원(cheating interviewer)을 찾는 가장 흔한 방법이지만 비용이 많이 들기 때문에 조사한 전체 대상자에 대해 재조사(re-interview)를 하는 것은 사실상 불가능하다. 그렇기 때문에 부정행위를 할 가능성이 있는 조사원(at risk interviewer)을 탐색하여 재조사(re-interview)를 하는 것이 가장 이상적이다. 현재 전체 22만 명에서 랜덤으로 10%를 추출하여 전화 점검으로 재조사를 시행하고 있지만 앞에서 분석한 다섯 가지의 지표로 다변량 분석을 통해 부정행위를 할 가능성이 있는 조사원(at risk interviewer)을 탐색 하여 우선적으로 재조사를 시행할 수 있다. 또한, 폐기된 자료의 전체 조사원은 응답일치도가 6인 정상적으로 완료한 조사원에 비해 조사시간 이상치 비율이 컸다. 부정행위를 할 가능성이 있는 조사원(at risk interviewer)을 탐색하기 위해서 조사시간에 대한 심층적인 분석으로 지역사회건강조사의 질 관리를 향상시킬 수 있을 것이다.