Improving Robustness of Physically Simulated Human Movements Against External Disturbances

Abstract

Generating robust human movements is the main problem in computer animation and biomechanics. By employing a physics simulation, realistic human movements and reactions could be obtained on-line, which enhances the users immersion effectively. Realistic human modeling and reproducing human motion in the virtual world can be a tool to help analyze and improve human movement in the real world. However, robust control of the character in physics simulation is challenging if there are uncertain external disturbances. The underactuated characteristics of human movements require elaborate body modeling and control. In this thesis, we propose methods to improve robustness of human movements in physics simulation. The ultimate goal is that a virtual human can maintain balance and keep moving even when an external disturbance occurs. Our methods focus on character modeling and controller that affect the control of physically simulated characters. First, we present a multi-segment foot model design for human simulation. A foot is a central part that contacts with the ground in most human movement. By modeling the human foot with multi-segment and applying it to the existing biped controllers, we improve the stability of human movements in the simulation. In the next, we design a gait-conditioned control policy using deep reinforcement learning and analyze the stability of the policy by conducting the push-recovery experiments. Finally, we propose a method to learn a controller for a walking assist device to prevent falling against external disturbances. We demonstrate the effectiveness of our methods by comparing the robustness of simulated humanoid to a real human or existing controller when environmental changes or external disturbances are applied.

시뮬레이션 상에서 안정적으로 사람의 움직임을 생성하는 것은 컴퓨터 애니메이션과 바이오메카닉스 분야에서 중요한 문제이다. 물리 시뮬레이션을 사용하여 사람의 움직임을 생성하면 사실적인 움직임을 얻을 수 있고, 캐릭터의 반응을 온라인으로 얻을 수 있기 때문에 사용자의 몰입감을 높일 수 있다. 또한, 사람을 사실적으로 시뮬레이션 상에서 모델링하고 움직임을 재현함으로써 실제 사람의 움직임을 분석하고 실제 사람의 움직임을 개선하는 데에 도움을 줄 수 있다. 하지만, 물리 시뮬레이션 상에서 예상치 못한 외부 충격이 있을 때 캐릭터를 안정적으로 제어하는 것은 어려운 문제이다. 사람의 움직임은 구동기가 부족한 (underactuated) 특성을 가지기 때문에 정교한 인체 모델링과 제어가 필요하다. 본 학위논문은 시뮬레이션에서 안정적인 사람의 움직임을 재현하기 위한 방법을 제안한다. 궁극적인 목적은 제안된 방법을 사용하여 사람이 움직임을 취할 때 외부 충격이 생기는 경우에도 균형을 유지하고 움직임을 지속하는 것이다. 이를 위한 첫 번째 방법으로 다수의 조각으로 이루어진 새로운 발 모델을 제안한다. 지면과 주요하게 닿는 부분인 발을 자세하게 모델링 함으로써, 기존에 사용되던 제어기의 안정성을 향상할 수 있다. 두 번째로, 심층강화학습을 통해 학습한 보행 제어기의 외부 밀림에 대한 안정성을 실제 사람과 비교하여 분석하고, 학습할 때 안정성을 강화할 수 있는 방법을 제안한다. 마지막으로, 보행 보조기구가 외부 충격에 대해 안정적으로 균형을 유지하고 보행을 지속할 수 있도록 심층 강화학습을 사용하여 보행 보조기구의 제어기를 학습한다. 우리는 시뮬레이션 상의 캐릭터가 서 있거나 걷는 도중에, 외부 환경 변화와 갑작스러운 밀림에 대해서 안정성을 얼마나 잘 유지하는지를 실제 사람이나 기존의 결과와 비교함으로써 우리의 방법이 사람 움직임의 안정성을 높이는 데 효과적임을 보였다.