SportLight: Statistically Principled Crowdsourcing Method for Sports Highlight Selection

Abstract

Sports highlight selection has traditionally required expert opinions and manual labor of video editors. In recent years crowdsourcing viewers live comments has emerged as a promising tool for automating this laborious task, overcoming the burden of extracting semantic information by computer vision. However, popular methods based on peak-finding are sensitive to noise and may produce highlights far from those selected by experts. In this work, we take a statistical approach that combines multiple hypothesis testing and trend filtering. By analyzing 29 baseball games played in the 2016 and 2017 seasons, we demonstrate that our approach properly sifts out the noise and generates result closer to expert-chosen highlights, achieving average precision higher than 0.7.

스포츠 하이라이트 장면의 선정은 전통적으로 영상 편집자의 전문가의 판단과 수 작업을 필요로 한다. 최근 몇년 동안 하이라이트 선정 작업을 자동화하는 유망한 도구로써 실시간 영상 시청자들의 댓글을 크라우드소싱하는 방법이 시도되어 왔 으며, 이를 통해 컴퓨터 비전을 통한 의미 정보 추출의 계산 비용을 극복할 수 있게 되었다. 그러나 기존의 최고점찾기에 기반한 알고리즘은 잡음에 민감할 뿐만 아니라 전문가가 선정한 하이라이트 영상과 질적인 괴리가 생기는 문제점이 제기 된다. 따라서 이 논문에서는 다중 가설 검정과 추세 필터링을 결합한 통계적 접근 방법을 통해 기존의 방법과 비교하여 개선된 하이라이트 구간을 추정하고자 한다. 본문에서 제안한 시스템을 2016년과 2017년 포스트 시즌에 시행된 29개의 야구 경기 분석에 적용한 결과 평균 정밀도 0.7 이상을 달성하였고, 기존의 방법에 비해 잡음을 적절히 처리하며 전문가가 선정한 장면들과 더 유사한 결과를 생성한다는 것을 검증하였다.