MAMMOS: MApping Multiple human MOtion with Scene understanding and social interactions

Abstract

We present MAMMOS, which maps the motions of multiple humans that naturally interact with each other in 3D scene structure of choice. For the ultimate metaverse, one needs to create multiple characters interacting in response to the environment or other people. However, it is hard for an artist to generate multiple characters in diverse 3D scenes or gather training data to train an automated system that understands the entangled spatio-temporal contexts. MAMMOS is a modular approach that successfully handles complex constraints for realistic motion with nuances and intention. MAMMOS consumes a simple text input and first places anchors in time and location for individual characters that avoid collisions yet enable necessary interactions. Then we generate the spatio-temporal paths of multiple people within the scene and connect them to perform diverse and natural motions. To the best of our knowledge, we are the first to generate long-horizon motion sequences with multiple humans with rich interactions such that we can automatically populate the 3D scenes with realistic character motions.

우리는 주어진 3차원 장면 구조에서 자연스럽게 상호작용하는 여러 사람의 움직임을 매핑하는 프레임워크인 MAMMOS를 제시한다. 궁극적인 메타버스를 위해서는 환경이나 다른 사람들에 반응하여 상호 작용하는 여러 캐릭터를 만들 수 있어야 한다. 그러나 아티스트가 다양한 3차원 장면에서 여러 캐릭터를 생성하거나 얽힌 시공간적인 문맥을 이해하는 자동화 시스템을 훈련하기 위한 훈련 데이터를 수집하는 일에는 어려움이 따른다. MAMMOS는 뉘앙스와 의도가 있는 사실적인 모션에 대한 복잡한 제약 조건을 성공적으로 처리하는 모듈식 접근 방식이다. MAMMOS는 간단한 텍스트 입력으로 받아 개별 사람에 대하여 충돌을 피하면서도 필요한 상호 작용을 가능하게 하는 시간과 위치에 앵커를 먼저 배치한다. 그런 다음 장면 내에서 여러 사람의 시공간 경로를 생성하고 연결하여 다양하고 자연스러운 동작을 수행하게 한다. 우리가 아는 한, MAMMOS는 풍부한 상호작용을 갖는 여러 사람의 동작 시퀀스를 생성해 내는 최초의 프레임워크이다. MAMMOS를 통해 3D 장면에 사실적인 여러 사람의 모션을 자동으로 채울수 있게 되었다.