웹 크롤링(Web Crawling)에 관한 연구

Abstract

웹 크롤링은 크롤러 또는 스파이더라는 프로그램을 사용하여 웹 데이터를 수집하는 방법을 의미한다. 크롤러의 기본적 원리는 주어진 시드 URL에서 출발하여 그 URL과 연결된 웹 페이지를 다운로드하고, 여기에 포함된 하이퍼링크를 추출하고, 이러한 하이퍼링크로 식별되는 웹 페이지를 재귀적으로 계속 다운로드하는 것이다. 웹 크롤링은 이제 데이터가 핵심 요소가 되는 모든 곳에서 데이터를 수집하는 가장 효과적이고 유용한 방법 중 하나로 널리 사용되고 있다. 특히 빅데이터 또는 인공지능의 등장으로 인하여, 마케팅 또는 비즈니스 전략에 있어 경영 판단 또는 의사 결정 과정에서 웹 크롤링은 이제 필수 불가결한 것이 되었다. 웹 크롤링이 점점 중요해지고 있지만 이를 사용하는 것의 법적 책임에 대한 연구는 거의 없었다. 이 논문은 웹 크롤러의 작동 메커니즘과 그것을 사용한 행위의 법적 책임을 중심으로 검토한다. 최근 대법원은 피고인들이 숙박정보제공업체의 직원이 경쟁업체의 모바일 애플리케이션 서버에 접속해 자신의 크롤링 프로그램을 통해 숙박시설 목록 등 데이터베이스를 복사한 사건에서 피고인들을 무죄로 판단한 바 있다. 그 판결은 ①서비스 제공자가 네트워크에 대한 접근권한을 제한하는지 여부는 보호조치나 이용약관 등의 대상에 의하여 결정되어야 하며, ②데이터베이스의 상당 부분은 양과 질 모두를 기초로 판단하여야 한다고 하였다. 이 같은 법리에 기초하여 정보통신망침입, 데이터베이스 도용으로 인한 저작권법위반, 업무방해 혐의 모두에 대해서는 무죄를 선고하였다. 이것은 크롤링을 통한 데이터 수집에 대한 최초의 대법원 판결이다. 이 글에서는 위 대법원 판결을 기초로 3가지 측면 즉 정보통신망침입, 데이터베이스 도용으로 인한 저작권법위반, 형법상 업무방해에 대해 구체적으로 검토하고, 그 외 부정경쟁방지법, 개인정보보호법 기타 경쟁법적 측면에서도 검토한다. 그 결론은 다음과 같다. 웹 크롤러 사용의 법적 책임은 정보통신망 접근 범위, 데이터베이스제작자 권리 침해 여부 그리고 장애업무방해 여부를 기준으로 판단되어야 하는데, 그와 같은 법률적 평가는 웹 크롤러가 사용되는 상황, 사용자의 의도 그리고 사용으로 인하여 발생한 결과와 같은 사정을 기반으로 하여야 한다.

Web Crawling means a way of collecting web data using a program which is called Crawler or Spider. A Crawler, given seed URLs, downloads the web pages associated with these URLs, extracts hyperlinks contained in them, and recursively continues to download the web pages identified by these hyperlinks. Web Crawling is now broadly being used as one of the most effective and useful method in data collecting wherever data becomes a key factor. Especially in decision-making process in marketing or business strategy, Web Crawling is now sine qua non with the emerging of big data or artificial intelligence. While Web Crawling is getting more and more important, few studies on legal responsibilities of using it can be found. This article focuses on the working mechanism and legal responsibilities of using Web Crawler. Recently the Supreme Court has found, in the case where the defendants, the employees of a company running a accommodation information offering service accessed the competiters mobile application server and copied the database such as a list of accommodation through their crawling computer program, that the defendants are not guilty. The Case showed new legal principles, ① whether the service provider has set any limitation on access right to network should be determined by object things such as protective actions or terms and conditions of use, ② significant copy of database should be determined in the aspects of quantity and quality both. And The Case sentenced not guilty to the charges(invasion of network, piracy of database and obstruction of business). The Case was the first judgement of the Supreme Court on crawling data collection. In this article, The Case will be examined thoroughly in the 3 aspects(invasion of network, piracy of database, obstruction of business) including Unfair Competition Prevention Act and competition laws. The conclusion of this article is as follows. Legal responsibilities for using web crawlers should be judged by the standards of the scope of access to networks, whether the rights of database producers are violated and whether there is any obstruction of business, which must be based on the circumstances where web crawlers are used, the intetion of the user and the result of the use.