Understanding the Qualitative Nature of Product Reviews by Integrating Text Processing Algorithm and Usability Feature Extraction

Abstract

Abstract (Korean)

제품의 특징 중에 사용성이 높아야 한다는 것은 사용자 관점에 꼭 만족하여야 하는 기본 요구가 되었다. 이 요구 사항을 만족시키지 못한 경우에는 사용자가 그 제품을 사용하지 않게 될 수도 있다. 사용성평가를 통한 정량적, 정성적인 데이터를 통해 사용성 문제점을 파악할 수 있지만 정량적 데이터를 분석하는 방법론에 대한 연구는 많이 부족한 실정이다. 즉, 정량적 데이터를 분석할 수 있는 방법론이 개발되어 있지 않아 이러한 데이터의 유용성이 낮게 평가 되어져 왔다. 그러나, 데이터 분석 연구의 급속한 발전으로 정량적 텍스트 데이터를 분석할 수 있는 가능성이 높아졌다. 그 예로, 컴퓨터에서 인간 언어를 이해하는 자연어 처리 분야, 예측 모델 및 클러스터링 도구를 제공하는 기계 학습 분야가 있다.

따라서 본 연구의 목적은 사용성 평가를 통해 수집 된 정량적 텍스트 데이터의 분석을 위한 텍스트 처리 알고리즘의 응용 가능성을 연구하는 것이다. 이 연구는 LG 넥밴드 헤드셋 사용성 평가 실험을 통해 수집 된 데이터 세트를 이용하였다. 이용한 데이터 세트는 헤드셋 설문 텍스트 데이터와 사용자 데이터 그리고 제품의 물리적 데이터가 있다. 텍스트 처리 알고리즘과 통합 된 분석 절차에서 벡터 공간에 코멘트를 학습하고 사용자 및 제품 물리적 피처 데이터로 레이블을 지정하고 클러스터링을 사용하여 코멘트 벡터 클러스터링의 결과를 검증하였다.

결과에서 분류된 두개의 클러스터와 가장 일치하는 사용성 피처는 볼륨 및 곡 이동 버튼이다. 중심 코멘트를 살펴봤을 때, 분류된 두개 중 하나의 클러스터 중심 코멘트는 모양과 버튼 위치를 강조하는 반면, 다른 클러스터의 중심 코멘트는 버튼 인터페이스 문제점을 강조한 내용이다. 볼륨 및 곡 이동 버튼이 별도로 설계된 제품에서는 피실험자는 두 버튼에 대한 혼동이 적었으며 버튼의 위치와 모양에 대해서만 언급한 문제점을 제시했다. 반면, 볼륨 및 곡 이동 버튼이 하나로 설계된 제품에 대해서는 조작 방법, 기능의 혼란, 버튼 기능의 학습성과 같은 인터페이스 문제점을 서술했다. 클러스터 중심 코멘트 내용과 추출된 사용성 피처의 높은 관련성은 사용성평가에서 정성적 텍스트 데이터를 분석 할 때 텍스트 처리 알고리즘의 응용 가능성을 증명했다 .

Abstract

The quality of a product to be usable has become the basic requirement in consumers perspective while failing the requirement ends up the customer from not using the product. Identifying usability issues from analyzing quantitative and qualitative data collected from usability testing and evaluation activities aids in the process of product design, yet the lack of studies and researches regarding analysis methodologies in qualitative text data of usability field inhibits the potential of these data for more useful applications. While the possibility of analyzing qualitative text data found with the rapid development of data analysis studies such as natural language processing field in understanding human language in computer, and machine learning field in providing predictive model and clustering tool.

Therefore, this research aims to study the application capability of text processing algorithm in analysis of qualitative text data collected from usability activities. This research utilized datasets collected from LG neckband headset usability experiment in which the datasets consist of headset survey text data, subjects data and product physical data. In the analysis procedure, which integrated with text-processing algorithm, the process includes training of comments onto vector space, labeling them with subject and product physical feature data, and clustering to validate the result of comment vector clustering.

The result shows Volume and music control button as the usability feature that matches best with the cluster of comment vectors where centroid comments of a cluster emphasized on appearance and button position while centroid comments of the other cluster emphasized on the button interface issues. When the volume and music control buttons are designed separately, the participant experienced less confusion and thus the comments mentioned only about the appearance and the positions of the buttons. While in the situation where the volume and music control buttons are designed as a single button, the participants experienced the interface issues regarding the buttons such as operating methods, confusion of functions and learnability of button functions. The relevance of the cluster centroid comments with the extracted feature explained the capability of text processing algorithms in analyzing qualitative text data from usability testing and evaluations.