Learning Interactive Character Movements beyond the Scope of Motion Data

Abstract

A character moving in virtual environments while interacting freely is a long-standing goal in the field of computer animation. Interaction is a daily life that a person experiences naturally in life, and is an indispensable element when trying to reproduce the experience of the real world. With the recent development of animation technology, the motion quality of virtual characters has been increasing, and accordingly, attempts to enable various interactions in virtual environments have been growing. However, it is difficult to reproduce the interactions as desired in a virtual character. In order for a user to interact with a virtual environment through a character, the interaction between user-character must be processed in real time, and the character must be able to perform various and complex actions suitable for various types of interaction situations.

In this thesis, we propose systems for generating appropriate behaviors for multiple levels of interactions divided into user-character, character-environment, and character-character. First, we learn a policy capable of controlling characters in real time to perform various actions in a physically simulated environment. Physically based character control is advantageous in that it can simulate physical interactions, but due to the difficulty of control itself, the types of controllable motion and the time required for the control are limited. We overcome these limitations through a deep learning-based framework that uses a combination of recurrent neural networks and deep reinforcement learning, and implement a motion generation system capable of interacting with user-character, character-environment. Next, we explore the hit reaction which is a more dynamic character-environment interaction. The hit reaction behavior, in which an instantaneous physical impact greatly affects, was difficult to handle with previous resilience-based physical control algorithms. We implement a hit reaction generation system consisting of data-driven motion synthesis methods and instantaneously activated physical simulations by imitating the response method of the real human, and propose a network structure to learn hit reaction motions according to the various conditions. Finally, we study the action strategy in a combat situation, which is a representative topic in character-character interactions. Based on above hit reaction study, we construct a combat environment and design a multi-agent reinforcement learning-based framework for learning appropriate combat strategies.

We demonstrate the effectiveness of our researches on various motion types. In the first study, we constructed examples of walking, fighting, obstacle running, chicken fighting, basketball, and in the second study, hit reactions were generated for kickboxing, sword fight, and shooting situations. In the third study, combat strategies were learned in kickboxing situations, and we tested the strategies in situations where the attack type was limited to punches, kicks, or elbow strikes.

자유롭게 상호작용하며 가상의 환경에서 움직이는 캐릭터는 컴퓨터 애니메이션 분야의 오래된 목표이자 주제이다. 상호작용은 사람이 생활하면서 자연스럽게 경험하는 일상이며, 현실의 경험을 재현하고자 할 때 빼 놓을 수 없는 요소이다. 최근 애니메이션 기술의 발전과 함께 가상 캐릭터의 동작 품질이 점점 높아지고 있고, 그에 따라 가상 환경에서 다양한 상호작용을 가능하게 하려는 시도가 늘어나고 있다. 그러나, 상호작용을 가상의 캐릭터에서 원하는대로 재현하기에는 어려운 점들이 있다. 사용자가 캐릭터를 통해 가상의 환경과 상호작용하기 위해서는, 실시간으로 사용자-캐릭터 간의 상호작용이 이루어져야 하며, 캐릭터는 여러 종류의 상호작용 상황에 맞는 다양하고 복잡한 동작들을 수행할 수 있어야 한다.

본 학위 논문에서는 사용자-캐릭터, 캐릭터-환경, 캐릭터-캐릭터로 구분되는 여러 단계의 상호작용에 대해 적절한 동작을 생성하기 위한 시스템들을 제안한다. 우선 물리 시뮬레이션 환경 속에서 다양한 동작들 수행하도록 실시간으로 캐릭터를 제어할 수 있는 정책을 학습한다. 물리 기반 캐릭터 제어는 물리적 상호작용을 시뮬레이션 할 수 있다는 점에서 장점이 있으나, 제어 자체의 어려움으로 인해 제어 가능한 동작의 종류와 제어에 걸리는 시간에는 한계가 있었다. 우리는 순환 신경망과 심층 강화 학습을 복합적으로 사용하는 딥 러닝 기반의 프레임워크를 통해 이 한계를 극복하고, 사용자-캐릭터, 캐릭터-환경의 상호작용이 가능한 동작 생성 시스템을 구현하였다. 다음으로는 피격 반응이라는 보다 적극적인 캐릭터-환경 상호작용에 대해 탐구한다. 순간적인 물리적 충격이 큰 영향을 미치는 피격 반응 동작은 기존의 복원력 기반의 물리 기반 제어 알고리즘들로는 다루기가 어려웠다. 우리는 사람의 반응 방식을 모방해서 데이터 기반의 모션 합성 방식과 순간적으로 활성화되는 물리 시뮬레이션으로 구성되는 피격 동작 생성 시스템을 구현하고, 이를 통해 생성되는 다양한 조건에 따른 피격 동작들을 학습하기 위한 네트워크 구조를 제안한다. 마지막으로 전투 상황에서의 행동 전략이라는 캐릭터-캐릭터 간의 상호작용에 대해 연구한다. 두 번째 피격 반응 연구를 기반으로 전투 환경을 구성하고 그 안에서 적절한 전투 전략을 학습하기 위한 다중 에이전트 강화 학습 기반의 프레임워크를 구성하였다.

우리는 연구 주제들의 효과를 입증하기 위해 다양한 종류의 동작들에 대한 데모를 구성하였다. 첫 번째 연구에서는 보행, 격투, 장애물 달리기, 닭싸움, 농구 등의 동작으로 예제를 구성하였으며, 두 번째 연구에서는 킥복싱, 검투, 총격 상황에 대해 피격 반응을 생성하였다. 세 번째 연구에서는 킥복싱 상황에서의 전투 전략을 학습하였으며, 공격 종류를 주먹, 발, 팔꿈치 등으로 한정하며 전략을 실험하였다.