베이지안 推論을 活用한 텍스트 데이터 計量化 模型 設計 및 서비스 成果 評價 適用에 關한 硏究

Abstract

Fornell(1992)에 따르면 고객 만족이 높아질수록 기존 고객의 충성도가 향상되고 그것이 기업의 재무적 성과로 이어진다고 하였다. 높은 고객 만족도는 1) 가격민감도를 낮추고, 2)마케팅 비용 감소, 3) 경쟁자의 마케팅 비용 증가, 4)거래비용 감소, 5)고객 이탈 방지, 6)크로스 셀링 증가, 7)피고용인 이탈 방지, 8)브랜드 평판 강화, 9) 실패 비용 감소를 야기하여 궁극적으로 경제적 수익(economic returns)을 창출한다는 것이다. 이후 고객 만족이 재무적 성과나 고객 충성도에 미치는 영향, 또는 고객 만족에 영향을 미치는 요인을 밝혀내기 위한 많은 연구가 이어졌고 현대 경영학에서는 더 이상 고객 만족이 경영 실무적으로나 학문적으로 중요한 요인임에 이론의 여지가 없다.

이러한 고객 만족을 계량화 하기 위한 모형에는 대표적으로 Oliver(1977, 1980)의 기대 불일치 이론(expectation disconfirmation theory)이 있다. 고객의 만족은 구매 행위 이전에 갖고 있던 기대와 구매 경험 이후에 지각된 성과의 일치/불일치 정도에 의해 결정된다는 것이다. 현재 많은 기업과 기관에서 조사하여 발표하고 있는 고객 만족도 지수는 대부분 이 모델을 토대로 하고 있으며, 이를 적용하기 위해 고객의 정성적 요인(기대, 반응, 인지 상태 등)을 조사하는 방법으로는 각종 다양한 설문조사 기법을 활용하고 있다.

인구통계학적 지표에 따라 조사 대상 표본을 설정한 뒤, 기대하는 바는 얼마인가?, 얼마나 만족하였는가?와 같은 질문을 5점, 7점 또는 10점 척도로 설문하고 이에 응답한 고객의 점수를 산술 평균 또는 가중 평균하는 방식으로 이루어지고 있다. 이렇게 수치화된 세부 요인별 고객의 기대와 반응을 기대 불일치 모형에 기초한 자체 모형에 적용하여 고객 만족을 측정하는 것이다. 이러한 설문 조사를 위해 각 기관에서는 매년 큰 규모의 비용과 시간, 그리고 인력을 투입하고 있다. 문항 숫자, 표본의 숫자, 표본 특성, 조사 대상 산업 분야에 따라 차이는 있지만 적게는 수 백만원에서 많게는 수 억원까지 설문조사를 위한 비용이 소요된다. 더욱이 이러한 비용을 투입함에도 불구하고 설문 조사는 1000개 단위 이상의 표본을 확보하기 어렵다는 근원적 한계가 존재한다.

또한 이와 같은 과도한 resource의 투입을 요한다는 단점 이외에도 설문 조사는 낮은 응답률과 정형화 된 데이터로 계량화하기 어렵다는 한계로 인해 주관식 또는 서술형 문항을 사용하는 것을 지양하고 있다. 특히 문항의 배치, 문항 숫자, 질문 뉘앙스의 차이, 객관식 문항 보기 배치 순서 등에도 설문 조사의 결과에 차이가 나게 되며 따라서 학술적 연구를 위한 데이터의 신뢰성을 확보하기 어렵다.

고객 만족의 중요성 대두되고 그 효과성을 입증하기 위해 많은 연구가 이루어진 것에 비해 이를 측정하는 실무적인 방법은 오랜 기간 발전이나 변화 없이 반복적으로 수행되어오고 있다. 더욱이 지난 10여년간에 걸쳐 시장 환경이 변화하고 이에 따라 고객들의 구매 행동 패턴이 변화하는 것을 적절히 반영하지 못하고 있다.

최근 IT, 모바일 기술의 발전과 함께 최근 다양한 서비스 산업에 대한 온라인 리뷰 플랫폼이 생겨났다. 미국과 같은 경우 대표적으로 Rotten Tomatoes의 영화 리뷰, Amazon 상품 리뷰를 비롯해 일자리(Glassdoor), 호텔(TripAdvisor), 기술(CNET Radio), 레스토랑/병원/미용(Yelp) 등이 있으며 국내에도 POING, 모두닥, 배달의 민족 등 각종 서비스 분야에서 고객들의 온라인 리뷰를 만들고 소비할 수 있도록 하고 있다.

온라인 소비자 리뷰는 구전효과(WOM)의 주요 형태로서 구매 결정에 결정적인 영향을 미치고 그 크기는 점점 확대되고 있다(Zhu and Zhang 2010). 이에 그 중요성이 지속적으로 논의되어 왔으며, 다양한 연구들을 통해 확장되어 왔다. 더불어 다양한 서비스 분야에서 온라인 리뷰의 영향을 검증하고자 하는 연구들이 이루어지고 있다. Howden and Pressy(2008)에서는 여러 서비스 중에서 특히 의료 서비스나 법를 서비스와 같이 공급자(seller)와 구매자(buyer)간의 정보 비대칭성이 크고, 실패에 따른 위험이나 비용이 과도한 신뢰재(credence goods)서비스의 경우 고객이 느끼는 가치, 즉 만족도가 서비스의 성과에 매우 중요하다고 역설하였다. 또한 Ranard et al.(2016)의 연구에서 Yelp의 병원 리뷰 평점이 기존의 설문을 보완할 수 있다는 점을 밝혔다.

본 연구에서는 분석 방법으로 Bayesian inference 방법 중에 하나인 칼만 필터(Kalman filter)와 파티클 필터(Particl filter)를 이용하였다. 파티클 필터(Particle Filter)는 시뮬레이션에 기반을 둔 상태 예측 기술의 하나로 계속적인 몬테카를로 방법(Sequential Monte Carlo Method) 또는 계속적인 중요도표집과 재표집(Sequential Importance Sampling and Resampling)이라고도 한다. 파티클 필터는 측정값을 토대로 확률 밀도 함수(Probability Density Function)를 추정하는 베이지안 필터 알고리즘에 샘플링 기법을 이용하는 방법이다. 시스템의 상태 변수가 선형/비선형 동적 변수일 때, 오차가 포함된 부정확한 측정값을 토대로 시스템의 상태를 시간 진행에 따라 확률적으로 예측한다.

온라인 리뷰는 이러한 특성을 반영하고 있다. 고객이 서비스의 구매 이전에 리뷰를 탐색하고 이 리뷰에 영향을 받아 구매를 결정한 고객이 경험한 이후에 다시 리뷰를 남기며, 그 리뷰가 다시 다른 고객의 구매 의사 결정에 영향을 미치게 된다.(Ackerberg 2003). 온라인 리뷰 데이터에 들어있는 정보는 이렇게 재귀적으로 순환하면서 업데이트 되어 가는데, 그 정보는 곧 경험한 고객들이 탐색 과정에서 형성한 기대 품질과 경험 이후 형성된 인지 품질간의 격차, 즉 고객 만족도를 나타낸다.(Zeithaml, Parasurman and Berry 1985) 이러한 고객 만족도의 잠재적(latent) 특성과 시간의 흐름에 따른 동태적(dynamic) 특성에 기반하여 베이지안 추론 방법을 적용해 볼 수 있다. Feldman et al(2018)에서도 온라인 리뷰 탐색을 통해 사전에 서비스에 대해 기대치를 형성하고 경험을 통해 이를 평가하는 방식으로 구매 의사결정이 이루어진다고 하였으며, 사회 심리학에 따르면 개인이 다른 사람들의 행동을 보며 자신의 판단에서 불확실성을 감소시키고(Festinger 1954) 이에 따라 품질에 확신을 갖지 못한 제품이나 서비스를 이용할 때는 다른 소비자의 반응을 살펴본다고 하였다. (Feldman et al 2018, Pekgun et al. 2018)

이에 본 연구에서는 온라인 리뷰 텍스트 기반의 고객 서비스 만족도 점수를 측정하는 모델을 제안하였으며, 이를 검증하는 과정에서 다른 측정 방법과의 정확성을 비교하고 또한 나아가 기존의 설문조사에 기반한 만족도 점수에 대한 대체 가능성을 검증하기 위해 서비스의 성과에 미치는 영향을 통계적으로 검증하였다. 만족도 점수 추정 방법에는 베이지안 추론법에 기반한 칼만 필터(Kalman filter)와 파티클 필터(Particle filter)를 사용하였으며, 이를 통해 측정한 만족도 점수를 다중 회귀분석(regression) 모형을 이용해 서비스의 재무적 성과에 미치는 영향을 검증하였다. 또한 본 연구에서 제안하는 온라인 리뷰 텍스트 기반의 고객 만족도 점수의 활용도를 확장하기 위해 topic modeling을 이용해 리뷰를 분류하여 서비스의 만족도와 관련 요인을 도출하였으며, 세분화된 만족도 점수를 다시 회귀 모델을 통해 검증하였다. 그리하여 서비스의 각 요인 중 어떤 부분이 서비스의 성과에 가장 큰 영향을 미치는지 검증하였다.

본 연구를 통해 온라인 리뷰를 기반으로 한 고객 만족도 점수의 정확성과 효과성 그리고 활용성이 검증되었고 이는 기존에 설문조사를 기반으로 한 고객 만족도 조사 방식의 근원적 한계를 극복할 수 있도록 할 것이다. 과도한 시간과 인력 그리고 비용의 투입을 요구하는 설문조사 방식에서 벗어나 변화된 시장 환경과 소비자 구매 행동 패턴을 반영하여 온라인 리뷰 데이터 기반의 고객 만족도 점수를 실무적으로 그리고 학문적으로 활용할 수 있을 것이다.

According to Fornell (1992), as the customer loyalty gets higher, the financial performance of a company will increase. If the customer satisfaction increases : 1) lower price elasticity, 2) reducing marketing costs, 3) increasing marketing costs for competitors, 4) lower transaction costs, 5) reduce customer turnover, 6) increasing cross-selling, 7) lower employee turnover, 8) enhance reputation, 9) reduce failure cost. Many following studies tried to prove the effect of customer satisfaction on financial performance or loyalty empirically and to find out what factors affect customer satisfaction.

Oliver (1977, 1980) is an representing study that established the expectation disconfirmation theory for quantifying customer satisfaction. The satisfaction of the customer is determined by the expectation and the disagreement of the perceived performance after the purchasing experience. Many customer satisfaction indexes that have been surveyed and published by many companies and organizations are based on this model. The model requires several qualitative factors, such as expectation, reaction, cognitive status, etc. and those can be obtained by survey

After setting the sample to be surveyed according to the demographic indicators, the questionnaire was asked to answer questions such as 'What is the expectation?' And 'How satisfied were you?' With a scale of 5, 7 or 10, and the answers are performed in an arithmetic mean or weighted average. In this way, the customer 's expectation, reaction, cognitive status for each factors are applied to the self-defined model based on the expectation disconfirmation model to measure customer satisfaction. For these surveys, each institution is investing a large amount of cost, time, and manpower each year. Although the number of questions, the number of samples, the characteristics of the samples, and the industries to be surveyed vary, it costs from several million won to several hundred million won for the survey. Moreover, despite these costs, there is a fundamental limitation that it is difficult to obtain more than a few thousands samples.

In addition to the disadvantages of requiring such excessive resource input, the questionnaire are not recommanded to use essay-type questions because of the limited response rate and difficulty in quantifying into structured data. In particular, the results of questionnaires differ in the placement of items, number of items, differences in question nuances, and placement order of multiple choice items, and thus it is difficult to secure the reliability of data for academic research.

While the importance of customer satisfaction has emerged and many studies have been done to prove its effectiveness, the practical method of measuring it has been carried out repeatedly without development or change for a long time. Moreover, over the past decade, the market environment has changed and, accordingly, it has not adequately reflected changes in customers' buying behavior patterns.

With the recent advances in IT and mobile technology, an online review platform has emerged for various service industries. In the United States, there are Rotten Tomatoes movie reviews, Amazon product reviews, Glassdoor, Hotel, CNET Radio, Restaurant / Hospital / Beauty (Yelp) , And the nation of delivery, to make and consume customers' online reviews.

Online consumer reviews are the major form of word of mouth (WOM), which has a decisive influence on purchase decisions and its size is expanding (Zhu and Zhang 2010). Its importance has been constantly discussed and has been expanded through various studies. In addition, research has been conducted to examine the impact of online reviews in various service areas. Howden and Pressy (2008) claimed that, for credence service, such as a medical service or a law service, which have high information asymmetry between a seller and a buyer and the risk or cost of failure is excessive, customer satisfaction has even bigger impact on service performance. In other words, the customer value, that is, satisfaction, is very important to the performance of the service. In addition, Ranard et al. (2016) found that Yelp's hospital review rating can complement existing surveys.

In this study, Kalman filter and Particle filter, one of the Bayesian inference method are used. Particle Filter is also called a 'Sequential Monte Carlo Method' or 'Sequential Importance Sampling and Resampling' as one of simulation-based state prediction techniques. A particle filter is a method of using a sampling technique in a Bayesian filter algorithm that estimates a probability density function based on measured values. When the state variable of the system is a linear / nonlinear dynamic variable, the state of the system is stochastically predicted according to the time progress based on the incorrect measurement value including the error.

Online reviews reflect these characteristics. The customer "browses" the review prior to purchase of the service, and the customer who has made the purchase decision influenced by the review leaves a review after the "experience". And the review again affects other customers' purchase decisions (Ackerberg 2003). The 'information' contained in the online review data is updated in a recursive manner, which is the difference between the expected quality and cognitive quality formed by the 'experienced' customers(Zeithaml, Parasurman and Berry 1985). The Bayesian inference method can be applied based on the latent characteristics of the customer satisfaction and the dynamic characteristics according to the time. In Feldman et al (2018), online search reviews indicate that purchase decisions are made in the form of prior expectations of services and evaluation of them through experience. According to social psychology, individuals lower their uncertainty by checking behaviors of others (Festinger, 1954), and so that when using the product or service that are not convinced of quality, they examine other consumer responses. (Feldman et al 2018, Pekgun et al., 2018)

In this study, we propose a model to measure customer service satisfaction score based on online review text. We compare the accuracy of the model with other measurement methods to find out if it can replace the survey, Also we statistically verify the effect of estimated customer satifaction on the service financial performance, The Kalman filter and the particle filter based on the Bayesian inference method were used for the satisfaction score estimation method. Satisfaction scores measured by the Kalman filter and the particle filter were applied to the multiple regression model to verify the effect on the financial performance. In addition, to extend the utilization of the online satisfaction text-based customer satisfaction score proposed in this study, we classify the reviews using topic modeling and derive service satisfaction and related factors, and the subdivided satisfaction score was again verified by the regression model . Thus, we examined which part of each factor of the service has the greatest effect on the service performance

In this study, the accuracy, effectiveness, and usability of customer satisfaction score based on online reviews were verified, which will overcome the fundamental limitation of survey method based on survey. It will be possible to utilize the customer satisfaction score based on the online review data practically and academically, reflecting the changed market environment and the pattern of consumer purchase behavior, and furthermore, replacing survey method which requires excessive time, manpower and cost input.