The Effects of Visual Elements on User's Attention and Information Recall for Contextually-Appropriate Visual News Generation

Abstract

최근 기계 학습 및 자연어 처리 기술이 발달하며 인공지능이 자동으로 뉴스 기사를 생산하는 로봇 저널리즘 (Robot Journalism 혹은 Algorithmic Journalism)이 새롭게 연구되어야 할 주제로 주목받고 있다. 로봇 저널리즘은 자동화된 뉴스 생성 시스템을 통해 텍스트 기반 뉴스 기사를 실시간으로 제작하고 대중들에게 게재하는 알고리즘을 일컫는다. 하지만 텍스트 기반 기사는 현재 뉴스를 소비하는 독자 패턴에 맞지 않는다. 현재 뉴스 독자들은 간결하고 이미지 지향적인 기사를 선호하는 경향이 있고, 실제 현재 언론사에서는 이미지, 인포그래픽, 도표 등 다양한 시각적 요소를 포함한 뉴스 기사를 생성하고 있다. 그러나 다양한 시각적 요소를 기존에 있는 로봇 저널리즘 알고리즘에 적용하려면 각종 정보 유형에 적절한 시각적 형태가 무엇인지 자동으로 파악할 수 있는 채점 방법(scoring method)가 필요하다. 현재 게재되고 있는 시각적 뉴스 기사는 그래픽 디자이너 혹은 편집자의 충분한 경험과 지식을 바탕으로 다양한 기사 내용에 적절한 시각적 요소가 결정된다. 하지만 자동 뉴스 생성 시스템에 시각적 요소를 포함하게 되면 각 상황마다 적절한 시각적 요소를 결정할 수 있는 디자이너가 없기 때문에, 이 과정을 자동화할 때 다양한 컨텍스트에 적절한 시각적 요소를 평가할 수 있는 채점 방법이 필요한 것이다.

기사에 포함되는 시각적 요소는 텍스트와 달리 다양한 속성 (i.e. 색깔, 크기, 모양, 등)을 통해 시각적 현저성 정도 (visual saliency level)를 구축하게 되는데, 이때 시각적 현저성은 제시되는 정보에 시각적 계층 구조(visual hierarchy)를 만들어 사용자의 주의와 정보회상에 영향을 미치게 된다. 따라서 이 연구에서는 시각적 요소가 사용자의 주의와 정보 회상에 미치는 영향을 관찰함으로써 뉴스 기사에 포함된 시각적 요소를 다양한 컨텍스트에 대비해 시각적 현저성 정도로 수치화하여 자동 뉴스 생성 과정에 필요한 채점 방법을 제시하였다. 그 결과, 각 컨텍스트 마다 사용자의 주의 및 정보 회상이 다양한 현저성을 나타내었다. 이러한 결과는 시각적 요소의 현저성을 다양한 컨텍스트에 대비해 관찰하게 되면 자동 뉴스 생성에 필요한 수치가 생성된다는 뜻이며, 이 수치는 향후 시각적 요소를 자동화에 포함할 때 필요한 채점 방법의 가능성을 시사한다.

Automated news generation systems have been generating text-based news articles ever since the advancement of Natural Language Processing and machine-learning algorithms. Although automatic generation of text-based articles are effective in communicating information to users, the next step in the automated production of articles would be including visual elements such as images, tables, and infographics. However, the challenge of incorporating visual elements into automated news generation relies on translating the human designers iterative design process into numerical values, which involves selecting pertinent set of visual elements according to the context in which the information will be displayed on. In order to automate this process, the visual elements must be scored to be weighed and selected according to context. One way to assign values on the visual elements in news articles is through determining the level of saliency on each element, since it reflects the hierarchy of information. Accordingly, this research measured the saliency of visual elements by observing its effect on users visual attention and information recall. Also, this study chose attentional state and information behavior as two contexts in which the visual elements must be weighed against. The results indicate that each context provided a different range of saliency scores for visual attention and information recall. This suggested a possibility in using saliency scores as a method to implement visual elements in automatic visual news generation.