비트 정보를 포함하는 이차원 안무 영상을 이용한 안무 검색 알고리즘 연구

Abstract

대중음악에서 안무는 음악을 표현하는 중요한 요소 중의 하나이며, 특히 댄스 음악에서 안무는 음악을 들으면 바로 떠올릴 수 있을 만큼 긴밀한 관계가 있다. 일반 사람들도 댄스 음악을 듣고 나면, 비록 안무에 대한 전문적인 지식이 없더라도 음악과 관련된 무대 및 안무에 관한 자료를 동영상 스트리밍 사이트에서 검색하여 시각적으로 즐기려는 현상이 많이 나타나고 있다. 그러나 안무에 대한 공학적인 연구는, 실용적인 측면에서 볼 때 여전히 초기 단계에 머물러 있는 실정이다. 기존의 연구에서는, 미리 선정한 음악 안무 집합에 대하여, 3차원 측정 장비로 3차원 안무 데이터를 생성하여 관련 음악과 함께 데이터베이스에 저장하는 방식을 공통적으로 사용하고 있다. 검색 방법으로는, 음악 기반 검색을 통해 관련된 안무를 찾는 방법을 사용하거나, 입력 안무에 대한 3차원 데이터를 생성하여 데이터베이스에 있는 3차원 안무 데이터와 직접 비교하는 방법을 사용하고 있다. 이러한 3차원 데이터 기반의 안무 데이터 생성 및 검색 방법은, 특별한 3차원 입력 장비와 측정 환경이 요구되므로, 일반 사용자가 사용하기에 어려움이 있다. 아울러, 실제적인 3차원 환경의 구현 및 활용에 한계가 있어, 안무 검색 및 표절 판단이 가능한 상용화된 안무 검색 시스템이 아직 없는 실정이다. 따라서 전문가뿐만 아니라 일반인들도 활용이 가능한 안무 검색 시스템을 개발하기 위해서는, 특별한 3차원 장비 대신에 핸드폰과 같은 간단한 장비로 촬영한 일반 동영상을 이용하여 안무를 비교 검색하는 방법의 개발이 필수적이다. 본 논문에서는 기존의 3차원 안무 데이터 기반의 안무 검색 방식과 달리, 안무 동작에 대한 2차원적 표현법을 제안하고, 이것에 기반하여 안무 검색을 하는 알고리즘을 제안한다. 먼저 안무 영상에서 음악 비트 정보를 추출한다. 안무 영상에 포함된 음악 비트 정보를 이용하여, 비트 동기화된 프레임들로 이루어진 샘플 프레임 시리즈가 추출된다. 안무를 대표하는 주요 동작을 순차적으로 나열하기 위해, 샘플 프레임 시리즈의 추출 간격을 실험을 통해 결정한다. 또한, 다양한 동작을 판별하기 위해 사람 신체 관절 추출 모델을 선정하여, 주어지는 안무 영상에서 신체 관절 위치를 학습 기반으로 추정하는 방법을 제시한다. 추정된 신체 관절 위치 정보는 사람의 자세 및 동작 표현에 보다 적합한 포즈 기반 신체 특성들로 변환되어 안무 검색에 활용된다. 본 논문에서는 안무 비교 및 검색에 효과적인 특성들을 구하는 방법을 제시하고 실험을 통해 효용성을 검증한다. 결과적으로 샘플 프레임 시리즈는 음악 비트의 위치에 해당하는 프레임으로 추출하여 구성될 때 가장 성능이 좋았다. 또한, 제시된 안무 비교 및 검색 방법을 5개의 정답 동영상을 포함하는 500개의 동영상에 적용한 실험에서, 검색된 상위 10개 동영상 중에는 원하는 안무 동영상이 약 97% 정도의 높은 확률로 포함되어 있음을 확인할 수 있었다. 제안한 안무 검색 알고리즘은 일반인도 휴대폰을 이용하여 쉽게 안무 검색을 할 수 있는 시스템을 구축하는데 유용할 것이며, 아울러 유사 안무 검색, 안무 표절 검사 등의 안무 기술 개발에 핵심요소 기술로 활용될 수 있을 것으로 기대한다.

주요어 : 안무 검색, 안무와 관련된 음악 비트, 포즈 기반 신체 특성, 샘플 프레임 시리즈 학 번 : 2015-26097