Demand Forecasting, Keyword Selecting, and Ad Placing in Digital Marketing with Text Mining

Abstract

디지털 마케팅은 컴퓨터나 스마트폰과 같은 유형적인 전자 장비와 웹이나 소셜네트워크와 같은 무형적인 전자 장비를 통해 이루어지는 마케팅을 의미한다. 과거 전통적인 마케팅과 비교하여 디지털 마케팅은 고객과의 즉각적이고 맞춤형이며 쌍방향의 소통이 가능한 장점을 지니고 있어 고객을 이해하는데 매우 효과적이라 할 수 있다. 최근 네트워크와 전자 장비의 발달 등은 향후 디지털 마케팅의 지속적인 발전을 가속할 것으로 예상된다. 디지털 마케팅은 이를 구성하는 가치 사슬을 두 가지 관점으로 나타낼 수 있다. 첫 번째는 가치 사슬에 참여하는 참여자에 대한 관점이며 이는 다시 마케팅 내 컨텐츠를 생산하는 생산자와, 이를 유통하는 마케터 그리고 이를 소비하는 소비자로 나뉠 수 있다. 두 번째는 가치 사슬 상에서 각 참여자 사이에서 상호 전달되는 컨텐츠 관점이며 이는 생산자에 의해 생산되어 마케터에 의해 전달되는 제품 또는 서비스와 마케터에 의해 고객에게 전달되는 홍보 목적의 광고로 나뉠 수 있다. 한편 이러한 두 가지 관점은 서로 독립적으로 간주될 수 없으며 각 참여자의 의사 결정 과정에서 상호 연관된다고 할 수 있다. 본 연구에서는 디지털 마케팅의 가치 사슬 상에서 나타나는 다양한 이슈 중에서 주요 세 가지 이슈를 선정하고 이를 해결하기 위한 방안에 대해 논하고자 한다. 특히 비구조화 데이터로서 최근 그 정보의 양이 폭증하고 있는 텍스트 데이터에 대한 분석 방안을 함께 제시하여 문제를 해결하는데 이러한 데이터가 어떻게 결과를 향상시킬 수 있는지를 살펴보고자 한다. 첫 번째 이슈는 디지털 마케터와 소비자 사이에서 나타나는 컨텐츠 수요 예측 문제이다. 디지털 마케터는 자신이 보유한 컨텐츠를 배급할 때 수익을 극대화 하기 위한 의사 결정을 내리게 된다. 이 때 이들은 소비자로부터 기 배급한 컨텐츠에 대한 소견을 청취하거나 컨텐츠에 대한 일반적인 정보 등을 종합하여 최종 결정을 내릴 수 있다. 이러한 정보를 활용한 수요 예측은 과거 연구를 통해 상당히 많이 진행되어 왔으나 제한된 요인만을 고려하는 문제와 예측 모형의 다양성 부재 등으로 만족할 만한 성과를 얻지 못 하였다. 본 논문에서는 상기 언급된 과거 연구의 한계점을 극복하기 위한 방안을 제안한다. 요인 문제에서는 소비자의 텍스트 평가 데이터에 대한 감성 분석을 통하여 보다 다양한 요인을 발굴하는 방안을 제안한다. 예측 모형의 문제에서는 기계 학습 기반의 비선형 회귀모형의 앙상블을 활용하여 보다 안정적이고 정확한 성능을 도출할 수 있도록 한다. 한편 본 연구는 보다 깊이 있는 연구의 이해를 위해 중요 컨텐츠 중 하나인 영화 분야를 선정하여 상기 모형의 개발 및 검증을 수행하였다. 두 번째 이슈는 디지털 마케터와 소비자 사이에서 나타나는 광고 키워드 선택 문제이다. 광고 키워드는 소비자에 의해 인식되는 중요한 핵심 내용으로 특히 검색 광고 등에서 매우 중요하게 활용되며, 이를 위하여 마케터는 광고하고자 하는 제품 및 서비스를 잘 나타내면서 낮은 비용의 높은 클릭 유입률을 보장할 수 있는 키워드 집합을 선택해야 한다. 이 때 이들은 과거 잠재적 소비자들에 의해 활용되어온 검색 로그와 제품 및 서비스가 갖는 정보 등을 참고하여 최종 집합을 선택할 수 있다. 그러나 이러한 모든 사항을 동시에 고려하여 최적의 광고 키워드 집합을 찾는 것은 쉽지 않은 일이다. 이를 극복하기 위한 방안이 과거 연구를 통해 제안되었으나 이들은 대부분 실제 소비자들이 사용할 가능성을 배제하거나 키워드가 갖는 단가 및 유입률을 고려하지 않음으로서 실제 활용성에 문제가 제기 되었다. 본 논문에서는 상기 언급된 과거 연구의 한계점을 극복하여 최적의 키워드 집합을 찾는 방법을 제안한다. 또한 실제 광고 캠페인을 선정 후 본 방법론을 적용하여 비용과 광고 효과의 측면에서 어떠한 개선사항이 나타나는지 함께 분석한다. 세 번째 이슈는 디지털 마케터와 생산자 사이에서 나타나는 광고의 위치 선정 문제이다. 광고는 잠재 소비자가 주로 방문하는 곳에서 홍보하고자 하는 제품 및 서비스와 문맥적으로 어울리는 곳을 선정하여 효과를 극대화 할 수 있다. 하지만 웹 광고의 경우 마케터는 자신이 광고하고자 하는 제품 및 서비스를 홍보할 수 있는 웹사이트를 찾아야 하며 해당 사이트 내에서도 적합한 페이지를 선정하기 위해 모든 페이지를 읽거나 키워드 기반의 검색 등을 통해 찾아야 하는 어려움이 있다. 최근 웹의 발달과 사용자의 증가 등으로 변화의 속도가 빨라지고 있는 현실을 감안할 때 이러한 마케터의 노력은 제한된 시간과 노력으로 불가능해질 수 있는 문제를 안고 있다. 그러나 최근 시맨틱 웹에 대한 연구가 발표되면서 온톨로지를 활용한 시맨틱 검색의 활용 분야가 증가되고 있는데 이러한 온톨로지가 디지털 마케터에게 적용이 된다면 기존 업무를 효율적으로 개선할 수 있을 것이라는 가능성을 얻을 수 있다. 본 논문에서는 반 자동적으로 웹사이트를 기반으로 하는 도메인 온톨로지를 구축할 수 있는 방안에 대해 연구한다. 그리고 구축된 온톨로지를 두 개의 실제 웹사이트에 적용하여 내부에 존재하는 다양한 컨텐츠를 어떻게 효과적으로 요약하는지 살펴본다. 그리고 이러한 정보를 활용하여 디지털 마케터가 어떻게 자신이 원하는 웹페이지를 찾을 수 있는지에 대한 실험도 함께 병행하여 그 활용성도 검증한다.

Digital marketing(online or internet marketing) can be referred as a marketing that makes use of tangible media such as personal computers or smartphones or intangible media such as web or social network service. Compared to traditional activities that have been done by many companies for marketing, digital marketing has become more sophisticated as an effective way to create a relationship with the consumer that has depth and relevance. As the technologies related to network and electronic devices have been developed rapidly, so it has been growing compared to traditional offline marketing. Digital marketing can be seen as two view points on the value chain: (1) A participant point of view and (2) A content point of view. For a participant, there are three participants in the digital marketing: (1) Content provider(CP) who is supervising the overall process of making content by create, edit and arrange the materials (2) Marketer who is selling the content by communicating the value of a product or service to Consumers and (3) Consumer who is purchasing product or utilizing service by paying the value of them. For a content which is exchanged among the participants, (1) Product or Service which is generated by Content Provider and distributed by Marketer to the Consumers and (2) Advertisement which is proposed by Marketer to place the right ads on the right content to increase the perception by Consumers. And those two points cannot be separated in the decision making by each participant but the decision should be determined in the interaction to others. In this dissertation, three issues on the value chain of digital marketing are discussed and it proposes a novel method to resolve the issues. Especially, each method proposes the text mining techniques to utilize text data from the value chain by latent semantic analysis and sentiment analysis for solving the issues. First is demand forecasting issue from digital marketer to consumer related to contents. Digital marketers would have to make an appropriate managerial decision when they distribute a contents to maximize the profit. To their decision, they would utilize diverse information such as reviews from consumers to know how they evaluate them or meta information from content providers about the contents to understand what are the characteristics of them. Previous studies have tried to forecast the demand with the information above but their efforts have not been reported as satisfactory with two main reasons: (1) limited variables on the contents and (2) limited choice of forecasting algorithms. In this dissertation, a novel approach to box-office forecasting that overcomes these issues is proposed. For the applied factors, viewer sentiment from text reviews is considered after a sentiment analysis using a data-driven corpus from the movie review domain. For the applied algorithms, three machine-learning based algorithms, i.e., a classification and regression tree (CART), an artificial neural network (ANN), and support vector regression (SVR), are adopted. And the proposed method shows the strong points when the relationship between independent and target variable is complex. For a deep understanding of the issue, the proposed method and all experiments are based on the motion picture which is one kind of the contents in digital marketing. Second is keyword selection issue from digital marketer to consumer related to advertisements. In advertisement such as in search engine where the ads are displayed when the relevant keywords by consumer are queried, selecting them is an important issue for digital marketers. To their decision, they would utilize the available information from consumers such as web usage logs in search engine and from content provider such as information for product or services. However, selecting keyword set is challenging because they need to consider not only relevance but also click volume and costs on the each keyword. Previous studies focused on merely generating a list of words by using semantic or statistical methodologies. However, limited previous studies do not guarantee that those keywords will be used by customers and subsequently provide large traffic volume with lower costs. In this dissertation, a novel approach of generating relevant keywords is proposed by combining search log mining and proximity-based approach. Subsequently the optimal set of keywords with a higher volume while minimizing costs was determined. Third is placing advertisements issue from digital marketer to content provider related to advertisements. Ads should be located in the right position where the potential consumers might visit and watch them. In the advertisement on the webpage, online marketers have to look for websites and manually read all the webpages to find the appropriate place for advertisements. However, growing number of online content makes them difficult to repeat the process in a limited time and cost. With the help of domain ontology which is built for the website, webpages can be categorized into several clusters that share the same topic and therefore marketers would easily select the webpages for placing the advertisements based on the summarized topics. In this dissertation, the method to semi-automatically build domain ontology from website for online marketers is proposed. And the proposed method is validated by experiments in two actual websites. With the domain ontologies learned by the proposed method, webpages are successfully summarized with smaller number of topics behind them by semantic similarity measures with latent semantic analysis.