뉴스 노출의 자기보고식 측정 오차에 대한 탐색

Abstract

The first step of research on media effects is to operationalize and measure media exposure or use. Although media exposure and use are vital variables in media effects research, researchers have not reached consensus on the operationalization and measurement of these variables. This study points out that measurement of media exposure or news has not discussed enough and attempts to examine the reliability and validity of self-reported measurements that have long been used as the primary measures in media effects research. We can evaluate measurements by figuring out the magnitude and direction of the measurement errors. Understanding the cause of measurement errors is also important. If we can determine whether it is a random error without patterns, a systematic error with a pattern, a controllable error that can be reduced or extended, or a predictable error, we can acquire more precise and efficient measurement. The primary goal of this study is to examine the type and cause of errors which self-reported measurements produce, in the context of news exposure measurements. The research question that this study aims to answer is what is the predictable error, what kind of biases exists, and what we should be careful when we interpret the self-reported values. There are three reasons for misreporting in self-reported measures of news exposure: first, flawed estimation, second, social desirability, and third, satisficing answers. Among these, satisficing produces random errors which are unpredictable or unpreventable; therefore, this study does not deal with satisficing, but flawed estimation and social desirability. Regarding the errors from flawed estimation, it occurs because people tend to estimate the time or frequency of their media use based on inappropriate references instead of calculating their actual use deliberatively. Meanwhile, social desirability, the tendency to answer socially desirable direction, also generates errors. Since viewing or reading news is considered as a socially desirable behavior, people who tend to describe themselves positively (self-deceptive positivity) and to manage their impression (impression management) are likely to overreport their news exposure. The study attempts to confirm these two hypotheses that flawed estimation and social desirability are causes of self-reported measurement. Furthermore, the effects of several personal and contextual variables on news exposure self-reports are examined. Previous studies claimed that news exposure time was usually overreported in self-reports, and this overreporting tendency would be reduced if the respondents are provided proper references that assist their imperfect estimation. This study regards that the amount of time reduced by the assistant references as the errors derived from flawed estimation. In this study, I provided the average time of news exposure and personal time allocation frame to aid peoples estimation. To answer the research questions, a survey experiment was conducted. A total of 416 samples were assigned into three different conditions according to question types: the usual question ("How many minutes did you view Internet news yesterday?"), the average question ("According to a research conducted in 2018, Korean people view news 28.6 minutes per day. How many minutes did you view Internet news yesterday?"), and the time frame question (After asking minutes used for sleeping, eating, working and using Internet, then ask "How many minutes did you view Internet news yesterday?). Self-reported news exposure in each condition was compared. Analysis of the data shows that the average clue and timeframe clue in self-reporting leads people to report less exposure than the condition without reference clues. The result indicates that the overreport of news exposure is partly due to the flawed estimation. In addition to that, the overreporting is correlated with political interests, subscription of newspapers, the estimation of others' news exposure, the level of multitasking, and the number of routes used for news. The social desirability hypothesis was examined by the same data from the survey experiment. Contrary to previous studies that consider news exposure and use as socially desirable behaviors, this study suggests that there are individual differences in the degree of giving socially desirable answers. The social desirability as a personal attribution is a construct that consists of self-deceptive positivity and impression management. Furthermore, the study claims that people perceive news exposure as a socially desirable behavior in the variable degree, and the extent of this perception would affect measurement errors. The analysis shows that only impression management predicts the amount of news exposure. However, it declined the self-reported news exposure, which is opposite to the hypothesis. The study argues that the self-reported measurement, which has been long used in media effects research, could have produced distorted results due to measurement errors, by examining the self-reports of Internet news exposure time. We found that news exposure time could be biased by political concerns, psychological proximity to the news, or social desirability. Systematic errors with directionality create spurious correlations that could lead to an exaggeration of media effects, and uncontrollable random errors make it difficult to capture existing effects. In this study, we observed a phenomenon in which an error exaggerating an effect and an error blurring the effect exist simultaneously. This study shows that in order to build a more explanatory theory in media effects research, it is necessary to work on improving the validity and reliability of measuring media exposure and usage.

미디어 효과 연구의 시작은 미디어에 대한 노출 또는 미디어의 이용을 잘 조작화하여 측정하는데 있다. 미디어 노출과 이용이 미디어 효과 연구의 핵심 변수임에도 불구하고, 연구자들은 이 변수의 조작화와 측정에 대해 합의에 이르지 못했다. 이 연구는 미디어 효과 연구에서 무엇을 어떻게 측정하는 가에 대해 충분한 논의가 이루어지지 못했음을 지적하고, 오랫동안 주요 미디어 노출과 이용의 주요 측정 방식으로 이용되어온 자기보고식 측정의 신뢰성과 타당성을 검토하고자 했다. 측정 방식을 평가하기 위해서는 측정 상의 오류의 양, 즉 오차의 규모와 방향을 파악하고, 오차가 발생하는 이유를 이해하는 것이 중요하다. 규칙성이 없는 무선 오차인지, 패턴을 가진 체계적 오차인지, 줄이거나 늘일 수 있는 통제 가능한 오차인지, 예측 가능한 오차인지 등을 확인할 필요가 있다. 이 연구의 일차적 목표는 자기보고식 측정이 가진 오차에 대해 검토하는 것이다. 뉴스 노출량 측정의 맥락에서 자기보고식 측정에서 발생하는 오차에 대해 체계적으로 검토해 무엇이 예방 가능한 오차이고, 어떤 식의 편향이 존재하며, 자기보고식으로 측정된 값을 해석할 때 무엇을 주의해야 할지에 대해 답해보고자 한다. 뉴스 노출의 자기보고식 측정에서 오보고가 발생하는 이유는 첫째, 잘못된 추정, 둘째, 사회적 요망성, 셋째, 적당하게 응답하기 전략의 선택 세 가지로 설명할 수 있다. 이 중 적당하기 응답하기 전략을 선택함으로써 나타나는 오류는 예측할 수 없는 무선 오차를 발생시키는 오류이므로, 이 연구에서는 이를 제외한 잘못된 추정의 오류, 사회적 요망성 오류를 검토했다. 잘못된 추정의 오류는 뉴스 노출량을 보고할 때, 개인이 실제 노출 시간을 셈하지 않고, 잘못된 근거를 사용해 뉴스 노출 시간을 추정하기 때문에 발생하는 오류이다. 사회적 요망성 오류는 뉴스를 보는 것이 사회적으로 바람직하다고 여겨지는 행동이기 때문에, 인상을 관리하거나 자신을 긍정적으로 표현하기 위해 사실과 다르게 응답하면서 발생하는 오류이다. 이 연구는 잘못된 추정의 오류 및 사회적 요망성 오류, 이 두 가지 오류가 뉴스 노출의 자기보고식 측정에서 오차를 발생시키는지, 또 그 오차는 어떠한 설명 요인들의 영향을 받는지 확인했다. 먼저 예비 관찰과 선행 연구를 근거로 인터넷 뉴스 노출 시간을 보고하는 데에 있어 자기보고식 측정은 과도 보고의 방향으로 오차가 발생한다고 보고 그 오차가 잘못된 추정에 의해 발생하는지 확인했다. 뉴스 노출 시간을 추정할 때 도움을 줄 수 있는 추정의 단서를 제시하면 과도 보고 경향이 교정될 수 있다고 보고, 추정의 단서가 제시됐을 때 줄어드는 인터넷 뉴스 노출 시간이 잘못된 추정 오류에 기인한 오차라고 보았다. 이 연구에서는 추정의 단서로 인구 전체의 평균 인터넷 뉴스 노출 시간 정보와 개인의 하루 시간을 재구성하는 시간틀을 사용했다. 이를 위해 총 416명에게 1주 간격으로 3번 하루의 뉴스 노출 시간을 설문으로 물었다. 추정의 단서가 없는 일반 조건, 인구 평균 단서 조건, 시간틀 단서 조건으로 응답자를 구분하고, 각각의 질문으로 물었을 때 뉴스 노출 시간의 자기보고가 달라지는지 확인했다. 데이터 분석 결과 평균 단서와 시간틀 단서를 제공해서 자기보고식 측정을 하면 별도의 추정 단서없이 일반적인 질문으로 측정했을 때보다 인터넷 뉴스 노출이 시간이 줄어들었다. 잘못된 추정에 의해 과도 보고가 일어나고 있다는 것을 확인했다. 그리고 이 과도 보고 경향은 정치적 관심, 종이신문의 구독 여부, 타인의 뉴스 노출 시간 예측, 멀티태스킹 정도, 뉴스를 보는 데 사용한 경로 수와 상관관계가 있었다. 사회적 요망성 오류에 대해서도 같은 설문 실험을 통해 분석했다. 기존 연구들이 뉴스 노출과 이용을 사회적으로 바람직한 행동으로 간주하고 모든 사람이 과도 보고할 것이라고 예상한 것과 달리 이 연구에서는 개인에 따라 사회적으로 바람직한 방향으로 응답하고자 하는 경향성이 다를 것이라 보았다. 개인의 속성으로서의 사회적 요망성을 자기 기만과 인상 관리 욕구 두 가지로 하위 개념으로 측정하고, 이들 변수들이 뉴스 노출의 자기보고에 어떠한 영향을 미치는지 살펴보았다. 또, 뉴스 노출을 얼마나 사회적으로 바람직한 행동으로 보는지 정도에 따라서도 자기보고식 측정오차가 발생할 것으로 보고, 이 영향력도 함께 확인했다. 그 결과, 자기 기만과 뉴스의 사회적 요망성 인식은 뉴스 노출의 자기보고에 영향을 미치지 않았지만, 인상 관리 정도는 뉴스 노출 시간의 자기보고량을 줄이는 것으로 나타났다. 이 연구는 미디어 효과 연구들이 오랫동안 사용해 온 자기보고식 측정이 상당 부분 실제 미디어 이용이 아닌 다른 오차에 의해 왜곡되어 왔다는 것을 인터넷 뉴스 노출 시간의 측정을 검토해 밝혔다. 뉴스 노출 시간이 정치적 관심이나 뉴스와의 심리적인 근접성, 사회적 요망성 경향성 등에 의해 편향될 수 있음을 확인했다. 방향성을 가진 체계적 오차는 허위 상관관계를 만들어 미디어 효과의 과장으로 이어질 수 있고, 통제할 수 없는 무선 오차는 존재하는 효과를 포착하기 어렵게 만든다. 이 연구에서는 효과를 과장하는 오차와 효과를 흐리게 하는 오차가 동시에 존재하는 현상을 관찰했다. 이 연구는 미디어와 인간의 상호작용에 대한 보다 설명력 있는 이론을 구성하기 위해서는 미디어 노출과 이용량의 측정의 타당도와 신뢰도의 제고에 힘쓰는 것이 필요하다는 것을 보여준다