오프 더 셸프(Off-the-shelf) 인공지능 서비스를 활용한 질적 분석의 사용자 경험 연구 - 자동 키워드 추출의 사용성·수용성 평가를 중심으로-

Abstract

일상 생활 속에서 발생하는 비정형 데이터의 생산량이 폭발적으로 증가하고 있다. 이러한 비정형 데이터는 자연적 상황에서 발생하기 때문에 기술 및 사회 현상을 정성(定性)적으로 읽어내는데 있어서의 가치를 인정받고 있다. 그러나 아직까지 질적 분석 방법론들은 수동 분석에 의존하는 경우가 많으며, 빠르고 실용적인 분석 방법이 부재한다. 데이터 마이닝 기법들이 존재하기는 하나, 특정 용도로 설계되어 있거나 코딩을 해야하므로 비전공자에게 접근성이 떨어지는 실정이다.

하지만 최근에 기성품 인공지능 서비스가 등장함에 따라 새로운 가능성을 엿볼 수 있게 되었다. 자연어 처리 기술의 고도화로 기계가 텍스트를 의미론적으로 이해할 수 있게 되었으며, 또한 지식 베이스를 기반으로 한 추가적인 해석이 가능해졌기 때문이다. 마이크로소프트사의 엑셀 소프트웨어의 보급으로 추가적인 코딩 없이도 기초적인 통계 분석이 가능해졌듯이, 이러한 인공지능 서비스의 보급화 또한 자료 분석에 - 특히나 정성적인 해석에 - 영향을 미칠 것으로 예상한다. 따라서 본 연구는 인공지능 서비스 보급화의 징후가 엿보이는 시점에서 인공지능 서비스를 해석적 작업에 실증적으로 적용해보고, 나아가서는 인간-인공지능의 질적 분석 협업의 사용자 경험을 고찰하고자한다.

첫번째로 인공지능 소프트웨어의 질적 분석 적용안을 제안하기 위해서 12개의 KDDM(Knowledge Discovery Data Mining) 모델을 살펴본 후 공통된 요소를 도출하고, 그 중 현재 출시된 인공지능 서비스들이 대체할 수 있는 영역을 발굴했다. 구체적으로는 IBM Alchemy 서비스를 활용하여 키워드 자동 추출을 활용한 질적 분석 방법을 제시한다. 두번째로는 인간-인공지능 질적 분석 협업의 사용자 경험을 살펴보기 위하여 31명의 피실험자를 모집하여 User Study를 진행하였다. 마지막으로 인간-인공지능 해석적 작업의 과정을 더 면밀히 살펴보기 위해 12명(14개 세션)을 대상으로 Think Aloud를 진행하여 인공지능의 자동 키워드 추출에 대한 사용성과 수용성을 평가하였다.

그 결과, 사용자들은 컴퓨팅 파워를 기반으로 한 빠른 분석만을 원할 뿐 아니라 의미적으로 중요도를 구분해주기를 바란다는 것을 밝혀낼 수 있었다. 인간과 인공지능의 키워드 추출은 23%의 유사도 (similarity)를 보였다. 수용성 측면에서 인간은 인공지능이 추출한 키워드 중 약 28%를 수용했으며 이 중 약 40%는 인간이 홀로 해석할 때에는 추출해내지 못한 키워드였으며 내용적으로는 대부분 구체적인 고유명사에 해당하였다. 나아가서 Think Aloud 세션을 통해 이러한 수용과 기각에 영향을 주는 변수는 사전지식, 보철지식, 그리고 반복성이라는 것을 밝혀낼 수 있었다.

본 연구는 인간-인공지능 질적 분석 협업 모델을 실질적으로 제안하고 적용해보았다는데 의의가 있다. 기 출시된 인공지능 서비스를 활용하기 때문에 효율적이고 접근성이 높은 적용안이라는 점에서 산업적 의의를 가진다. 또한 학술적으로는 인간-인공지능 질적 분석 협업의 사용자 경험을 과정과 결과 측면에서 모두 고찰하였다는데 의의가 있다. 나아가서 현재 인공지능이 점차 일상 생활에 파고들고 있는 시점에서 인공지능 사용자 경험에 대한 논의와 고민을 확장하는데 기여하고자 한다.