Design of Mobile Personal Workout Assistant Using Deep Learning

Abstract

Workout exercises are a crucial component of physical fitness, and they are an integral part of many people's lives. Maintaining the correct posture during the exercise is extremely vital as incorrect postures can lead to ineffective sessions or even injuries. However, it is not easy for non-experts to check on their postures. Not only is it hard to have an objective look at their own postures, but they also lack the proper knowledge. In this paper, we design a mobile personal workout assistant, which helps users evaluate their squat postures using only simple mobile devices such as smartphone. We designed a pipeline in which the keypoint data are first extracted from the RGB videos using a pose estimation algorithm, then analyzed using a deep neural network model inspired by those used in action recognition tasks. We collected a dataset of nearly 20,000 squat exercises to train the model from scratch, and successfully created a classification model with the test accuracy of 85%, suitable to create a prototype mobile application which the users can utilize to check their postures. A user study aimed to evaluate the effectiveness of the application is planned for future research.

스쿼트, 푸쉬업과 같은 운동은 건강을 유지하는 역할을 하며 많 은 사람의 삶에 중요한 부분을 차지한다. 이 같은 운동을 할 시에는 올 바른 자세를 유지하는 게 중요한데, 특히 근육운동의 경우 잘못된 근육 을 사용하거나 몸에 필요 이상의 압박을 주어서 운동의 효과를 받지 못 하거나 심지어는 부상이 생길 위험도 있다. 문제는 비전문가들의 경우 본인의 자세를 확인하기가 어려울 수 있다. 운동 중 본인의 몸을 객관적 으로 보기도 어려울뿐더러 올바른 자세에 대한 지식이 없는 경우도 많 다. 본 연구에서는 스마트폰과 같은 간단한 모바일 기기만으로 사용자의 스쿼트 자세에 대한 피드백을 줄 수 있는 모바일 운동 도우미 시스템을 고안한다. 본 시스템에서는 먼저 모바일 기계에서 촬영된 RGB 영상으로 부터 포즈 추정 기술을 사용, 관절 위치를 계산한 뒤, 딥러닝 네트워크를 사용해 자세의 올바른 정도를 분석한다. 여기서 사용되는 딥러닝 네트워 크는 기존의 행동인식 네트워크를 참고하여 디자인되었고 20,000개가량 의 스쿼트 데이터로 만든 데이터셋을 사용해 학습되었다.