Interactive Storyboarding System Leveraging Large-Scale Pre-trained Model

Abstract

Artificial Intelligence (AI) technologies have impacted almost every domain and system, including the entertainment industry. Although AI-based systems are expected to offer significant benefits in making content, it is still challenging to build a real-world AI application that can effectively contribute to content production. This paper presents a novel system, Gennie, that can interact with users and suggest AI-generated sketches for developing a storyboard. Gennie is implemented leveraging several large-scale pre-trained models such as GPT-2 and CLIP, which have recently achieved great success and become milestones in the field of AI. With Gennie, users can quickly visualize the composition of each scene. This paper presents the findings of a user study and visualizes the process of creating a storyboard with Gennie.

인공지능 기술이 가져오는 변화는 전 산업과 시스템을 망라한다. 엔터테인먼트, 문화 콘텐츠 산업 또한 인공지능 기술의 발전에 영향을 받고 있다. 인공지능 기반의 시스템이 콘텐츠 제작에 큰 활약을 할 것으로 기대되지만, 여전히 상용화할 만한 인공지능 애플리케이션을 구축하는 것은 도전적인 문제이다. 본 논문에서는 스토리보드를 제작할 때 사용되는 새로운 시스템 젠이를 제시한다. GPT-2, CLIP 등 최근 괄목할 만한 성과를 보여준 대규모 사전학습 모델을 이용해 젠이 시스템을 구축했다. 잘 설계된 목표함수와 막대한 파라미터를 통해 효과적으로 지식 기반을 구성하는 대규모 사전학습 모델의 이점을 시스템에 활용하고자 하였다. 그리하여 사용자는 젠이를 활용해 머릿속의 장면 구상을 빠르게 시각화할 수 있다. 본 논문은 사용자 스터디를 통해 인터랙티브 스토리보딩 시스템으로 스토리보드를 창작하는 과정을 시각화하고 시사점을 제시한다.