Understanding How People Interact with Algorithm-based Systems Using Artificial Intelligence

Abstract

컴퓨팅 파워의 개선, 인터넷과 소셜미디어, 모바일 디바이스 등의 보급을 통한 수많은 데이터의 축적, 딥러닝을 비롯한 기계학습 알고리즘의 발전으로 인공지능 기술이 어느때보다 더욱 큰 성과를 보이고 있다. 음성 인식, 컴퓨터 비전, 자연어 처리 등의 분야에서 인공지능은 이미 인간에 필적하거나 혹은 인간을 뛰어넘는 성능을 보이고 있으며, 자율주행, 로봇, 의료서비스 등의 다양한 분야에 적용되어 우리의 삶에 많은 변화를 가져올 것으로 기대된다.

하지만 알고리즘 측면에서의 기술적인 발전에 비해 인공지능의 인간공학적 요소와 사용자 경험에 대한 관심과 논의가 상대적으로 부족한 편이다. 이에 이 연구는 인간컴퓨터상호작용의 관점에서 인공지능과 사용자가 상호작용 하는 방식에 대해 다층적이고 통합적으로 이해하는 것을 목표로 하고 이를 통해 인공지능 기반의 사용자 인터페이스 디자인을 위한 함의점을 도출하는 것을 목표로 한다. 특히 이 논문은 인공지능 기술을 이용한 알고리즘 기반의 시스템과 사용자의 상호작용에 주목하고, 이를 대상으로 인지, 해석 및 평가, 지속적인 인터랙션, 실용적인 어플리케이션을 주제로 한 네 단계의 연구를 기획하고 진행하였다.

첫번째 연구는 인공지능 알고리즘에 대한 사람들의 선험적 인식을 조사하였다. 연령과 성별, 직업의 다양성을 고려하여 인구통계학적 대표성을 갖는 참가자를 모집하였으며, 이들을 대상으로 인공지능 인식에 대한 정성적 방식의 조사를 진행하였다. 조사 결과 사람들이 인공지능 알고리즘에 대해 갖는 선입견과 고정관념을 확인할 수 있었으며, 사람들이 인공지능을 의인화 할 뿐만 아니라 타자화 하는 경향이 있음을 확인할 수 있었다. 또한 인공지능 알고리즘과 사용자의 관계에서 지속적이고 전체적인 경험이 중요함을 확인하였다.

두번째 연구는 인공지능 알고리즘에 대한 사용자의 해석과 평가에 관한 것이다. 이를 위해 이미지의 미적 점수를 계산해주는 신경망 기반의 알고리즘이 구현된 AI Mirror라는 연구 프로토타입을 제작하였으며, 인공지능/기계학습 분야의 전문가, 사진전문가, 일반인으로 구분된 세 집단의 사용자를 모집하여 실험을 진행하였다. 사용자는 저마다 다른 배경 지식을 반영해 인공지능 알고리즘을 해석하고 평가하는 경향을 보였다. 사진전문가 집단이 알고리즘을 가장 높은 정도로 해석하였으며 합리적이라고 여긴 반면, 인공지능/기계학습 전문가 집단은 가장 낮은 정도로 알고리즘을 해석하고 평가했다. 사용자는 다양한 전략을 통해 인공지능 알고리즘의 원리를 추론하고자 하였으며 이를 통해 인공지능 알고리즘과의 차이를 좁혀갈 수 있었다. 또한 사용자는 인공지능 알고리즘과 쌍방 소통을 통해 의견을 교환하고자 하는 니즈를 표출하였다.

세번째 연구는 인공지능 알고리즘과 사용자가 공동의 목표를 두고 지속적인 인터랙션을 이어가는 과정에 대한 이해를 목표로 하였다. 사용자가 일부 그린 물체를 완성하고 스케치에 색칠을 자동으로 완성해주는 신경망 기반의 알고리즘 API를 이용하여 DuetDraw라는 리서치 프로토타입을 제작하였고, 정량 및 정성적 방법으로 이에 대한 사용자 평가를 진행하였다. 사용자 평가 결과 사용자는 인공지능 알고리즘과의 협업 과정에서 인공지능으로부터 단순한 피드백 보다는 자세한 설명을 제공받기를 원했으며, 알고리즘과의 관계에서 항상 주도적인 위치에 있고자 하였다. 인공지능과의 인터랙션은 과업 수행에 대한 사용자의 예측가능성, 이해도, 통제력을 낮추는 경항이 있었지만, 사용자에게 상대적으로 높은 사용성을 제공하였을 뿐만 아니라 사용자가 전반적으로 만족스러운 경험을 할 수 있도록 하였다.

끝으로, 네번째 연구는 보다 실용적인 어플리케이션을 제작하여 이에 대한 사용자 인터랙션을 이해하고자 하였으며, 이에 최근 큰 각광을 받고 있는 로봇저널리즘 기술을 구현한 NewsRobot을 제작하였다. NewsRobot은 2018 평창동계올림픽의 주요 경기 결과를 자동으로 수집하고 요약하며, 내용과 형식을 각각 종합뉴스-선택뉴스, 텍스트-카드-동영상으로 달리하여 뉴스를 생성한다. 정량 및 정성적 방법의 사용자 평가 결과, 선택뉴스가 종합뉴스에 비해 낮은 신뢰도를 보였음에도 불구하고 선택뉴스에 대한 사용자의 높은 선호도를 확인할 수 있었다. 또한 멀티미디어 모달리티가 높아질수록 사용자의 뉴스에 대한 만족도가 높아지지만 사용자의 기대수준에 어긋난 경우 오히려 낮은 평가를 받는 것을 확인하였다. 사용자는 알고리즘이 자동으로 생성한 뉴스에 대해 정확하고 객관적이라고 평가하였으며, 빠른 뉴스 생성 속도와 다양한 정보 시각화 요소에 대해서도 만족감을 드러냈다.

본 연구는 이 네 가지 연구의 결과들을 바탕으로 인간-인공지능 상호작용에 대한 다양한 시사점들을 도출하였으며, 인공지능을 이용한 알고리즘 기반의 시스템의 사용자 인터페이스 디자인을 위한 함의점들을 제안한다.

The recent development of artificial intelligence (AI) algorithms is affecting our daily lives in numerous areas. Moreover, AI is expected to evolve rapidly, bringing tremendous economic value. However, compared to the attention these technological improvements receive, there is relatively little discussion on human factors and user experience related to AI algorithms. Thus, this thesis aims to better understand how users interact with AI algorithms. Specifically, this work examined algorithm-based human–AI interaction in four stages, through various modes of human-computer interaction: The first study investigated how people perceive algorithm-based systems using AI, finding that people tend to anthropomorphize as well as alienate them, which is distinct from their perceptions of computers. The second study investigated how people interpret and evaluate the output from AI algorithms through a prototype, AI Mirror, which assigned aesthetic scores to images based on a neural network algorithm. The results revealed that people interpret AI algorithms differently based on their backgrounds, and that they want to understand and communicate with AI systems. The third study investigated how people build a sequence of actions with AI algorithms through a mixed method study using a research prototype called DuetDraw, a drawing tool in which users and AI can draw pictures together. The results showed that people want to lead collaborations while hoping to get appropriate instructions from the AI algorithm. Lastly, a case study on a practical application of AI was conducted with a research prototype called NewsRobot, which automatically generated news articles with different content and styles. Findings showed that users prefer selective news and multimedia news that have more functionality and modality, but at the same time they do not want AI to boast about its ability. With these distinct but intertwined studies, this thesis argues the importance of understanding human factors in the user interfaces of AI-based systems and suggests design principles to this end.