The Aspect of Beat perception in Audiovisual Synchronization

Abstract

This study focuses on the association between visual and auditory stimuli and the effects of motor control that allows us to present two different sensory stimuli at the same time. We observed that the deviation of predictive response(DPR) is different between two condition: One is controlling the timing of visual stimuli with given periodic auditory stimuli so that two different sensory stimuli can be synchronized(A-V Condition), and the other is manipulating the timing of the auditory stimulation according to the presented periodic visual stimulus(V-A Condition). DPR is much more accurate and less variable in A-V condition compared to V-A condition, and this accuracy of DPR in each condition is dependent on IOIs(Inter-onset Intervals) of Stimuli given as a cue. This might suggest that the role of action control in the auditory domain is different from the visual domain as a form of beat perception(BP), and accuracy of predictive response for each sensory domain is up to IOIs of given stimuli.

박자감 지각은 음악을 들으면서 고개 혹은 손과 발을 까닥거리면서 박자를 맞출 때 주로 일어나는 것으로 알려져 있다. Patel과 Iverson(2014)에 의하면 주기성을 지닌 청각자극에 대한 예측의 시간적 정확성은 인간에게서 두드러지게 관찰되는 것으로 알려져 있다. 주로 BPS(beat perception and synchronization)에 대한 보고를 중심으로 이루어지고 있는 박자감 지각에 관한 연구들은 주기적으로 자극이 제시될 때 시각자극보다 청각자극에 대한 시간적 예측이 짧은 주기에서도 더 정확하다는 점을 일관적으로 보이고 있다(Repp, 2003; Repp, 2004; Patel et al, 2005). 이러한 선행연구를 바탕으로 본 과제는 시청각 통합 상황에서 시각자극에 반응하여 청각자극이 그와 동시에 발생하도록 조작하거나, 반대로 청각자극이 제시될 때 먼젓번 조건에서처럼 시각자극이 동시에 발생되도록 조작하는 두 조건에서 실험참여자가 운동제어를 통하여 자극 제시주기를 정확하게 예측하는지를 관찰하고자 하였다. 실험 결과, 청각자극에 반응하여 시각자극을 조작하는 조건에서 실험참여자들의 예측 반응 정확성이 높았으며, 자극 제시 주기를 500ms/800ms/2000ms 세 가지로 랜덤하게 제시했을 때 500ms에서 두 조건 모두 정확한 예측 반응을 보였으나 800ms 이상에서는 예측 반응의 정확성이 떨어져 반응 그래프가 양봉 분포를 보이는 것으로 확인되었다. 본 연구는 청각자극이 전달되는 속도가 시각자극이 전달되는 속도보다 빠르며 청각자극에 더 정확한 예측 반응을 보인다고 보고한 선행 연구의 결과들을 재확인하는 한편, 이와 같이 운동 제어가 매개하는 다중 감각 통합 상황에서의 예측 반응의 정확성 및 정밀성이 자극 제시 주기에 따라 변화한다는 점을 새롭게 주지한다.