인터랙티브 미디어를 활용한 가상 어쿠스틱 악기의 시각화

Abstract

An artistic expression method called audio visualization or the music visualization, which is created to visually express music and sounds, has been showing historical continuity. Among various styles of arts, it has been the style of abstract art that has paved the path for audio visualization by utilizing geometrical forms to visualize music. In the middle and second half of 20th century, the animated imagery technology which enabled a breakaway from the static characteristic of painting and sculpture was invented, inviting an unprecedented scientific advancement that had analyzing the physical nature of sound by mathematical graphs and numeric figures possible. The past advancements affected a grand influence on an adoption of abstract art to be established as a dominant visualization form of audio visualization, along with the reason that the artistic style was effective on reforming measurable objective data of musics and sounds into the set of easily implementable visual images. However, such method of visualizing sounds led the extent of the musical application to be no more than a series of scientific phenomena, consequently inviting the exclusion of subsidiary elements of music and physical traits of sounds sources in favor of theoretical and numeric data such as pitch, volume, frequency, and chord. Therefore, to depart from the biased inclination of current audio visualization applications, the present study focuses on method to audiovisually reflect various root components of music like instruments, players, and existing space on audio visualization. Prior to producing an artistic audio visualization work that inheres virtually sensible tangibility and materiality, I selected four types of chordophones: a violin, a viola, a cello, and a double bass. Those instruments are noted for highly delicate and complicated sounding method and particularly dynamic movement paths during performance. The specific selection is set to demonstrate the best possible result by implementing the new type of material audio visualization method. As a first step to accomplish the result, virtual acoustic instrument simulation programs of which the reference models are string instruments of the violin family were chosen. For the planning stage, I analyzed conditions of activating possible articulations and variables for simulating physical aspects of chordophones in the violin family for which virtual acoustic instruments programs have opted as sounding models. Based on the prior research, suitable hardware devices for operating the software are developed or selected. As commencing visualization in earnest, the present study executed thorough analysis on the operation principles of real instruments, movements of string players, and related physical interplays. It was possible to conduct designing virtually reinterpreted string instruments and the spatial stage, embodying them in the animatable third-dimensional objects. For the last procedure, recreated instrument objects and elements of the stage were refined to be responsive to intuitive inputs from users and to perform proper articulation movements. By implementing previous developments all together into the next generation graphical rendering engine, the interactive media art that supports audiovisual communication between any user and digitally simulated instruments and stage elements in the photo-realistic virtual environment through MIDI input hardware could be created. The purpose of the research procedure is to pioneer the comprehensive extension for audio visualization by merging both realistic simulation of instruments sound and realistic 3D graphic rendering technology. The present study is meant to prove that the abstractive artistic form of conventional objective data-oriented sound visualization is not the only effective way of visualizing music, suggesting that it is possible for the music visualization to embrace the much more wider range of expression method and concept by adapting currently advancing audiovisual simulation technology and presenting new perspective on various elements of music.

음악을 시각의 영역에서 표현하는 소리 시각화(Audio Visualization), 또는 음악 시각화(Music Visualization)의 시도들은 역사상 끊임없이 이어져 왔다. 그 가운데 추상 주의 예술 사조는 기하학적인 조형 요소들을 통하여 음악을 시각적으로 표현하며 소리 시각화의 기틀을 세웠다, 20세기 중후반을 거쳐서 회화와 조각의 정적인 특성에서 탈피한 영상물이 등장하고 과학 기술의 발전으로 소리의 물리적 본질을 수학적 수치와 그래프로 분석할 수 있게 되자, 측정 가능한 음악의 객관적 데이터를 변용하는데 적합한 추상 주의 양식이 음악 시각화의 주된 표현 방법으로 자리를 잡았다. 하지만 오늘날 이러한 방식은 결과적으로 음악을 진동의 작용이라는 과학적 현상으로만 한정하게 되었고, 음정, 음량, 파형, 화음 등의 이론적이고 수치적 데이터 이외의 음악의 주변적 요소와 물리적 음원의 특징은 소리 시각화에서 배제되는 현상이 일어나게 되었다. 따라서 본 연구에서는 기존 소리 시각화 사례의 편향성에서 벗어나서, 소리의 근원인 악기와 연주자, 공간 등 소리를 이루는 다양한 요소들을 시청각적으로 반영할 수 있는 소리 시각화 방법론을 주제로 하였다. 본 연구에서는 새로운 관점의 소리 시각화 작품을 제작하기 앞서서 매우 정교하고 복잡한 창음(創音) 방법과 역동적인 연주 동선을 가진 바이올린, 비올라, 첼로, 콘트라베이스 총 네 종의 현명악기를 선정하여, 구상적 소리 시각화로써 이룰 수 있는 최고의 가능성을 제시하고자 하였다. 이를 위하여 해당 현명악기를 모델로 하는 가상 어쿠스틱 악기(Virtual Acoustic Instrument) 소프트웨어를 음향 도구로 설정하였다. 설계 단계에서는 앞서 선택한 가상 어쿠스틱 악기 소프트웨어에서 지원하는 바이올린족 현명악기의 아티큘레이션 재현 및 물리적 변수 조절 알고리즘을 분석하고, 그 값들을 제어할 수 있는 하드웨어 장비들을 개발하거나 선정했다. 본격적인 시각화 단계에서는 실제 악기의 원리와 연주자의 동작, 이와 관련한 물리적 작용 등을 총체적으로 분석하여 이를 바탕으로 시각적으로 재해석된 가상 악기와 가상 무대 공간의 디자인을 제시하고, 동작 가능한 3차원 오브젝트로 구현했다. 마지막 시각화 단계에서는 앞서 제작한 가상의 악기와 무대 요소가 특정한 MID 입력에 따라서 자연스럽게 반응하고, 아티큘레이션 동작을 시행하도록 설계했다. 이 모든 요소를 차세대 그래픽 기술로 렌더링 되는 엔진에서 구동하게 함으로써, 사용자가 MIDI 하드웨어를 통해 사실적인 3D 가상 공간에 존재하는 악기 및 무대 요소와 실시간으로 시청각적 상호작용 할 수 있는 인터랙티브 미디어 작품을 제작하였다. 본 연구자는 이번 연구를 통하여, 사실적인 악기 음의 디지털적 재현과 사실적인 그래픽 표현 기술을 결합하는 총체적인 시청각적 표현 방법을 개척하고자 하였다. 이로써 객관적 데이터 중심의 추상적 음악 시각화만이 유일한 시각 음악의 형식이 아니며, 음악의 시각화는 차세대 시청각 재현 기술과 음악에 대한 새로운 관점을 통하여 더 다양한 표현 방식과 개념으로 나아갈 수 있다는 사실을 보여주고자 하였다.