Social Network Service의 Data 위주 연구를 위한 Platform 설계

Abstract

SNS(Social Network Service) 분야의 발전은 Web 2.0 시대와 Mobile 기기의 발달로부터 유발되었다. SNS의 수억 명에 달하는 사용자들이 실시간으로 만들어 내는 데이터를 학계에서 주목하여, 최근까지 다수의 연구가 진행되어 왔다. 이 데이터는 서비스 제공자가 공개한 API(Application Programming Interface)를 통해 접근할 수 있으며, 대부분의 연구에서는 데이터의 방대한 양 때문에 프로그램(Crawler)을 통한 데이터 수집이 필요하다. SNS에 대한 연구는 기본적으로 융합적인 특성을 가지고 있다. 하지만 연구의 초기에는 소규모의 연구자가 연구를 진행하며, 해당 인원이 가능한 범위에서 데이터 수집과 분석이 진행된다. 따라서 연구 문제 설정 단계에서 수작업으로 데이터 처리를 진행하는 경우가 많으며, 양질의 대량 데이터를 수집할 수 없게 된다. 이는 연구 과정에서의 시행착오와 재 작업으로 나타난다. 본 연구에서는 이러한 문제점을 해결하기 위하여, 사용이 용이하고 데이터 위주의 연구를 도와 줄 수 있는 SNS 자료 수집-분석 Platform을 설계, 작성하였다. 먼저 기존에 수행되었던 연구들에서 어떤 데이터를 사용했고 수집 방법은 어떠하였는지 분석하였다. 다음으로 SNS에서 제공하는 API 동작과 데이터 형식을 분석하고 모델링 하였으며, SNS를 대상으로 하는 데이터 위주 연구를 수행하면서 발생할 수 있는 문제점과 극복 방안을 살펴보았다. 앞 단계의 내용을 토대로 여러 서비스에 대응 가능하며 확장성을 가진 데이터 수집-분석 Platform이 작성되었다. 이를 통해 SNS 대상 연구 과정에서 중복되는 공통 절차를 간소화 할 수 있으며, 앞에서 제시한 연구상의 문제점도 어느 정도 해결하였다. 작성된 Platform으로 실제 연구 Case에 적용 가능한 과제를 구성하여, 의도한 데이터가 수집되는지 분석하였다.

The development of the Social Network Services was induced by the era of 'Web 2.0' and increasing use of the mobile devices. Enormous data is being created and researchers are paying attention to them. These data can be accessed by Application Programming Interface (API) which is publicly opened by service providers. Most of data-driven research requires program called 'crawler' due to large amount of data. Researches on SNS require interdisciplinary approach which typically requires more people than single subject research. However, there are many cases which require achievement by smaller group of members in early stage of the study. Also, they most likely rely on manual data collecting, it may cause unwanted errors. In this paper, data collecting and analysis platform for researching Social Network Services has proposed. First, previous studies were reviewed on "types of data", and "collecting methods". Next, API actions and data types provided by services were strategically modeled. Also, problems and solutions which could be occurred while conducting SNS researches were addressed. Based on the proceeding research, extensible and easy-to-use data crawling platform was made. By using this platform, common procedure for SNS researches can be simplified, and most of prior mentioned problems were resolved. Finally, several case study for real-world research tasks, performance test and data validation were achieved.