Biomechanical Analysis of Manual Operations for Touchscreen Interface

Abstract

Human hands are the most sophisticated and functional organ. The human hands are, therefore, the most effective and powerful tool to do operations with various hand devices. One of the most common hand devices in the present day would be a smartphone, which is a handheld-sized touchscreen device. The previous studies on the handheld touchscreen devices focused on the thumb operations or reach zones by measuring individual muscle or joint angle. However, they were limited to thumb operations and did not consider grasping. They also did not explain hand motion in the aspect of motor control, which coordinates muscles and joint angles simultaneously.

As one of the predominant theoretical frameworks for motor control, dynamic systems theory suggests human motion in the following perspective

a motion is produced from the interaction of subsystems within individuals, tasks, and the environment. According to the theory, physical/anthropometrical properties of the human can be one of constraints that limit the movements and the human motion is explained by a concept called synergy which is a coordination of muscle activities or joint angles.

The purpose of this dissertation was to analyze the hand motions including grasping the handheld touchscreen devices and the thumb operations during performing the representative interactions. Anthropometrical characteristics of hands, as one of the constraints of the hand motion, were considered in the motion analysis.

In order to achieve the goal of this dissertation, firstly, the hand was classified after selecting hand dimensions which were related to the use of the devices. After dimension reduction, three common clustering methods, k-means, fuzzy c-means and latent profile analysis were applied and the results were compared to each other. The hand types were defined based on the result of cluster analysis.

Secondly, to analyze grasping the handheld touchscreen device, it was required to compare the grasp of the device to other grasps in the existing grasp taxonomy. In order to achieve this goal, the followings were accomplished: 1) defining muscular and postural synergies through dimension reduction technique, 2) identifying the grasp in the existing taxonomy in terms of the synergies, 3) attempting to allocate the grasp of the handheld touchscreen device to the taxonomy and 4) figuring out the difference between the hand types defined from the previous part.

Thirdly, the thumb operations and the grasp were investigated in terms of the muscular and postural synergies. Two tasks, dragging and tapping tasks which were the most frequently used interactions for the touchscreen devices, were involved in the experiment.

Analyzing human motion is helpful to understand motor control strategies. The expected contributions of the research are: better understanding of hand motions for using handheld touchscreen devices, designing better interactions for a smartphone or other small touchscreen devices and applying the synergies defined in this dissertation to design robot hands or prosthetic hands dealing with a problem of degree of freedom redundancy.

손은 인간이 가지고 있는 모든 기관 중 가장 세밀한 기능을 할 수 있는 기관이며, 따라서 가장 효과적으로 기기 및 각종 도구를 사용할 수 있는 기능을 한다. 현 시대에 가장 많이 사용되는 기기로 당연 스마트폰을 꼽을 수 있다. 스마트폰과 관련된 기존 연구는 각종 근육 및 손가락 각도를 측정한 자료를 바탕으로 엄지의 조작 능력이나 엄지의 동작 범위 등에 초점을 맞추었다. 그러나 기존 연구는 이러한 주제에만 제한되어 있어, 도구 사용에 기본인 그립에 관해서는 크게 다루지 않았다. 또한, 기존 연구는 대부분 손가락의 각도 및 개별적인 근육 사용량을 측정한 결과를 바탕으로 이루어져 인간이 어떻게 여러 근육이나 손가락을 동시에 제어하는지에 대해 설명 할 수 있는 동작 제어(motor control) 관점에서 분석하지 못하였다.

동작 제어 이론 중 가장 유력한 이론 중 하나인 dynamic systems 이론은 인간의 동작을 사람, 과업 및 주변 환경의 상호작용의 결과로 설명한다. 이 이론에서는 동작을 제한하는 요소로 인간의 물리적인 신체 조건 및 인체측정학적 요소를 꼽는다. 또한 근육 및 관절이 개별적, 독립적으로 동작되지 않고 synergy 라고 일컬어지는 어떠한 조합으로써 제어된다고 가정하며 이에 대한 근거를 제시한다.

본 논문의 목적은 이러한 이론을 바탕으로 스마트폰 조작 중 그립 및 엄지의 조작을 포함하는 손 동작을 분석하는데 있다. 동작을 분석함에 있어 손의 물리적인 인체측정학적 요소를 동작을 제한하는 제한 조건(constraint)으로 설정하였다.

이러한 목적을 달성하기 위해, 첫째, 스마트폰 사용과 관련된 손의 치수를 설정하고 손의 형태를 분류하였다. 연구 목적에 가장 알맞은 분류 결과를 도출하기 위해 일반적으로 사용되는 k-means, fuzzy c-means 및 LPA의 세 가지 분류 기법을 적용하였고 그 결과를 비교하였다. 이 후 손의 동작 분석에 이렇게 분류된 손 타입이 미치는 영향을 분석하였다.

둘째, 스마트폰 그립을 정의하기 위해 기존 그립 분류 체계를 검토하고 스마트폰 그립이 어떠한 기존 그립 형식에 해당되는지 확인하였다. 문헌 분석 결과, 스마트폰 그립이 기존 분류 체계에 정확히 해당하지 않아 기존 분류 체계를 재 정의하는 새로운 방법을 시도하였다. 1) 실험을 진행하여 muscular synergy와 postural synergy를 도출하였고, 2) 기존 그립 형태를 synergy를 기반으로 재 분석하였으며, 3)스마트폰 그립이 기존 그립 분류 체계에서 어디에 해당되는지 확인하였다. 마지막으로 스마트폰 그립을 포함한 새로운 그립 분류 체계에 손 타입이 영향을 미치는지에 대한 여부를 파악하였다.

셋째, 스마트폰 그립 및 엄지 조작을 muscular synergy와 postural synergy 차원에서 분석하였다. 가장 대표적인 스마트폰 조작 방식인 tapping과 dragging 과업을 선택하였고, 각 과업은 세부 수준으로 나누어 과업 수행 결과를 분석하였다.

인간 동작을 분석하는 것은 동작 제어 전략을 이해하는데 중요하다. 본 연구 결과는 다음과 같은 연구 의의를 가진다: 스마트폰을 사용할 때의 손 동작에 대한 이해에 도움을 준다

스마트폰을 포함한 소형 터치스크린 기기를 위한 상호작용 및 인터페이스를 설계하는데 활용될 수 있다

자유도 중복 문제와 관련 있는 로봇 손과 인공 손을 설계하는데 본 연구에서 정의된 synergies가 적용될 수 있다.