An Integrated Approach to Itemset Construction for Price Comparison Shopping Services

Abstract

가격비교 쇼핑서비스(price comparison shopping service)는 각 아이템 타입(item type)에 대한 아이템 집합(itemset)을 제공하는 쇼핑 도구로 활용되고 있다. 이때 아이템 집합은 동일한 아이템 타입에 해당되는 아이템들의 집합으로 정의된다. 따라서, 소비자들은 가격비교 쇼핑서비스를 이용하여 개별 쇼핑몰에 방문하지 않고도 다양한 구매 대안을 가격 측면에서 비교할 수 있게 되어 아이템을 찾는 비용을 절감할 수 있다. 이처럼 가격비교 쇼핑서비스는 소비자에게 독특한 가치를 제공함에도 불구하고, 서비스 운영에 많은 시간과 비용이 소모되기 때문에 서비스 효율개선을 위한 연구가 필요하다.

이 논문은 크게 네 부분으로 구성되어 있으며, 각 부분은 가격비교 쇼핑서비스에서 발생하는 각 문제에 대한 해결방안을 제시한다. 논의되는 문제들은 아이템 집합의 생성기법이 대용량의 아이템을 처리해야 한다는 점과 아이템 집합 생성방법은 서비스의 수익과 질에 직접적으로 영향을 미친다는 점에 착안하고 있다. 구체적으로, 본 논문에서 언급되는 네 가지 문제들과 이의 해결을 위해 제안되는 기법들은 다음과 같다.

첫째, 효율적인 아이템 집합생성(itemset construction)을 위한 아이템 랭킹(item ranking)기법이 제안된다. 아이템 집합 생성작업은 작업자의 수작업을 동반하게 되는데, 이때 각 아이템 집합에 대해 신규 아이템을 랭킹 하는 것은 작업자들의 작업량을 줄이는데 매우 중요하다. 제안된 아이템 랭킹기법은 각 아이템 집합에 속해 있는 아이템들의 설명(item description)과 가격(item price)을 이용하여 해당 아이템 집합에 대한 신규 아이템들의 랭킹을 목적으로 한다. 기존의 단어 가중치(term weighting) 기법을 기반으로, 본 연구에서는 단어의 정보성(term informativeness)과 연관성(term cohesiveness)을 고려한 단어 가중치를 연구하였고, 가격을 바탕으로 특정 아이템집합에 대해 아이템들의 가중치(item weighting)를 산정하였다. 제안된 기법은 기존 기법들 대비 개선된 아이템 랭킹성능을 보였으며, 제안된 기법을 통해 가격비교 쇼핑서비스에서 작업자들의 작업량과 아이템 집합의 오류를 줄일 수 있을 것으로 판단된다.

둘째, 가격비교 쇼핑서비스의 운영비용(operational cost) 최소화를 위한 기법을 개발하였다. 운영비용 최소화를 위한 기법에서는 아이템집합 생성시의 주어진 각 비용 파라메터(cost parameter)들을 바탕으로 오류(processing error)와 시간(processing time)의 균형(trade-off)을 고려함으로써 가장 운영비용을 최소화할 수 있는 아이템 분류기(item classifier)를 선택하는 방법을 제안한다. 다양한 비용 파라메터들의 값들에 대해 모의 실험을 수행해 해본 결과, 제안된 기법은 가격비교 쇼핑서비스의 운영비용을 크게 절감할 수 있는 것으로 나타났다.

다음으로, 소비자의 아이템 집합과 랭크 별의 아이템 클릭 횟수(click-through)를 이용하여 가격비교 쇼핑서비스의 수익(revenue)을 극대화하는 기법이 제안되었다. 개발된 기법은 각 아이템이 특정 아이템 집합에서의 랭크(rank)와 소속(membership)변화를 동시에 고려하여, 아이템들을 보다 많은 클릭을 유발할 수 있는 아이템 집합으로 소속을 재정의(membership re-assignment)한다. 실험결과 제안된 기법은 기존의 기법들에 비해 소비자들의 클릭 횟수를 크게 향상 시킬 수 있는 아이템집합 생성에 적합한 것으로 판단된다.

마지막으로, 가격사기(pricing fraud)를 자동으로 식별하기 위한 모델이 제안된다. 가격비교 쇼핑서비스에서의 가격사기는 서비스의 질을 저하시킬 뿐만 아니라 이들을 정정하기 위한 작업으로 인해 서비스 운영비용을 크게 증가시키는 문제를 야기한다. 기존의 연구는 대부분의 환경에서는 얻기 어려운 추가적인 정보를 이용하여 가격사기를 식별하는데 목적을 두고 있기 때문에, 다양한 실제 서비스에서의 적용은 제한적이라 할 수 있다. 따라서, 본 연구에서는 추가적인 정보나 시스템 없이도 각 아이템의 가격사기를 식별할 수 있는 비지도 학습(unsupervised learning) 기반의 모델을 개발하였다. 제안된 본 기법은 가격사기 아이템을 식별하는데 기존 기법들 대비 앞선 성능을 보였다.

본 논문의 기여와 응용방안은 다음과 같은 세 가지로 요약될 수 있다. 첫째, 본 논문은 가격비교 쇼핑서비스에서 핵심적인 문제들을 모두 해결하기 위한 통합된 아이템집합 생성기법들을 제시하였고, 작업자의 작업량을 줄이고 서비스의 질을 높이는데 중요한 역할을 수행하게 될 것으로 판단된다. 둘째, 제시된 기법들은 기존의 오류 최소화(error minimizing classification), 아이템 번들링(item bundling), 클릭 분석(click-through analysis) 및 사기식별(fraud detection) 등의 전자상거래(e-Commerce) 관련 연구들 접목하고 확장하여 가격비교 쇼핑서비스에 적합한 통합된 방법을 제시하였다. 나아가서, 본 연구는 실제 가격비교 쇼핑서비스의 데이터를 바탕으로 연구 및 실험되어 이론적뿐만 아니라 실용적으로도 의미 있는 것으로 검증되었다.

본 논문에서 제시된 기법들은 실제 환경의 데이터를 이용하여 충분히 성능을 검증하였기 때문에, 제시된 기법들은 다양한 형태의 가격비교 쇼핑서비스에 활용될 수 있을 것으로 판단되며,온라인 쇼핑몰이나 온라인 경매 등의 전자상거래 응용서비스에도 적용될 수 있을 것으로 생각된다. 또한, 본 연구에서 개발된 알고리즘과 확률모델들은 다양한 응용분야에서의 고급주제를 다루기 위한 시작점으로도 활용될 수 있을 것으로 기대된다.

In online shopping, price comparison shopping services (PCSSs) play an important role in enhancing shopping experience of customers by providing itemsets, which are sets of price-sorted items for an item type. Since the items in an itemset are from a single item type, customers are not only able to compare various purchase alternatives for an item type but also to reduce item search costs by eliminating the need of visiting individual shopping malls.

The dissertation aims to address four problems in PCSS, which are to be solved to improve service efficiency and effectiveness in terms of quality and cost, by proposing four methods. Specifically, the developed methods in this dissertation are as the following. First, an item ranking method for itemset construction tasks is proposed. Since itemset construction tasks often involve human intensive labor, a method that can reduce the workload is of great importance in PCSSs. The proposed item ranking method is designed to rank items against an itemset based on terms and prices. The item ranking performances were able to be improved by utilizing the proposed item ranking method compared to those obtained by using alternatives, implying the manual workloads to construct itemsets in PCSSs can be sucessfully reduced.

Second, an itemset construction method designed to minimize the operational costs and maximize the revenue of a PCSS is suggested. The first one is to minimize the operational costs of PCSSs by considering the trade-off between itemset construction errors and processing time based on two cost parameters. Through simulating the operational cost of a PCSS by adjusting the cost parameters, it has been shown that the operational costs of PCSSs can be significantly reduced by utilizing the proposed method.

Next, a method which aims to maximize the revenue of PCSSs through maximizing the number of click-throughs of customers is developed. Specifially, a mathmatical programming and heuristic algorithm are proposed, which address item membership updates according to rank updates. The proposed revenue maximizing method showed improved results in terms of the expected number of click-throughs compared to the existing methods that consider only textual features of items.

Finally, unsupervised learning based models to automatically detect pricing frauds are suggested. Pricing frauds in PCSSs not only reduce service quality but also incur costs to handle them. Nevertheless, the previous research focuses on detecting fraud patterns based on additional information which are costly and limited to obtain in many services. To cope with the limitations, this dissertation applies unsupervised approach to detect pricing frauds without additional information and proprietary systems, and the developed pricing detection model calculates the fraud probability for each item by estimating its fraud state. The experiment results imply that the proposed pricing fraud detection model can further improve the pricing fraud detection performances compared to the previous outlier detection method.

The contribution and utility of this dissertation are summarized into three points. Firstly, the dissertation proposes an integrated approach to cover the important issues of PCSSs which are essential to reduce human intensive tasks and improve service quality. Second, the previous work related to e-Commerce, which are error minimizing itemset construction methods, item bundling methods, click-through analysis, and fraud detection methods, are successfully extended and developed in this dissertation for PCSSs. Lastly, this doctoral dissertation attempts to propose an integrated approach for itemset construction which are not only theoretical but also practical to directly cope with the essential issues to construct itemsets for PCSSs in the real-world settings.

Since the proposed methods have been sufficiently tested on the real-world datasets of a PCSS, it is expected that the underlying ideas of this dissertation can be employed in various applications of e-Commerce including not only PCSSs but also online shopping malls or internet auction services. Moreover, the proposed methods can be a good starting point to design models that address advanced issues in various domains.