센서정보의 종류가 행동인식 성능에 미치는 영향

Abstract

행동인식은 컴퓨터 비전 분야의 핵심 과제의 하나이다. 본 논문에서는 스켈레톤 기반의 행동인식에서 입력으로 주어지는 센서 데이터의 타입이 행동인식 성능에 어떤 영향을 끼치는지 분석하였다. 입력으로 주어지는 센서 데이터를 적절히 가공하고 조합했을 때에 행동인식의 성능을 의미 있게 높일 수 있다. 본 논문에서 분석한센서 데이터 타입은 위치, 속도, 가속도, 방위 값이며 데이터 세트에서 직접 주어지지 않는 데이터 타입은 주어진 데이터를 통해 유도하여 사용하였다. 다양한 센서 데이터의 조합에 대해 행동인식 성능을 측정함으로써 각각의 데이터 타입이 유의미한 입력이라는 것과, 이를 조합했을 때에 성능의 변화가 어떻게 이루어지는지를 실험적으로 확인하였다. 또한, 스켈레톤 기반 행동인식의 실체적 응용의 하나로 휴대기기의 센서 값을 이용한 1자유도 행동인식 어플리케이션을 제시하고, 이를 위한 적절한 데이터 세트를 구성하였다. 1자유도 행동인식이 스켈레톤 기반 행동인식과 다른 점을 실험을 통해 확인하였고, 1자유도 행동인식에 더욱 적절한 센서 데이터의 조합을 제시하였다.

Action recognition is one of the fundamental tasks in computer vision fields. In this paper, we analyze how input sensor data types affect the accuracy of human action recognition. Then we illustrate that the accuracy of action recognition can be increased meaningfully by manipulating and combining input data suitably. In our works, we leverage position, velocity, acceleration, and orientation values as input sensor data. Data types that are not directly given in the dataset have been derived from existing data values. Through experiments, we show that each sensor type can be meaningful input and various combination of these sensors can enhance action classification accuracy. In addition, for a practical example of skeleton based action recognition, we conduct a character-writing action recognition by a mobile device with one DOF(degree of freedom) and construct new dataset. We empirically discuss the differences between multi-joint skeleton based action recognition and one DOF action recognition. We propose a suitable sensor combination for each recognition task.