A Study to Identify Brain Processing of Motor Kinematics through Deep Neural Network and Explainable AI

Abstract

인간의 운동은 근육과 관절의 동작과 힘, 특히나 가속도, 속도, 위치로 표현되는 운동학적 변인과 같이 운동을 구성하는 다양한 요소들로 구성되어 있다. 인간의 뇌가 이러한 운동 요소들 처리하는 기전을 이해하는 것은 신경과학 연구에서도 중요한 관심사 중 하나이다. 이러한 기전을 밝히는 것은 사지의 운동을 예측하며 동작하는 뇌-기계 인터페이스(Brain-Computer interface, BCI)의 개발과 발전에 대해서도 실용적인 활용이 가능하기에 중요하다. 대뇌 신경세포의 활동을 관찰했던 단일-뉴런 기반의 고전적인 연구들은 개별 뉴런들과 그 집합들의 활동과 운동의 속도, 위치, 그리고 가속 간의 상관이 있음을 밝혔다. 하지만 각각의 운동학적 변인들이 요하는 운동적 특징이 다르고, 피질 단위에서 선호하는 뉴런이 비율이 다른 점으로 보아 대뇌 피질 전반에 걸쳐서 그 표상이 다르게 나타남을 예측할 수 있으나, 고전적인 접근 방법은 측정 범위의 한계가 있어 운동학적 변인에 따라 나타나는 대뇌 전반의 표상을 알 수 없었다. 뇌자도(MEG) 및 뇌전도(EEG)와 같은 비침습적 방법론으로 측정한 가속도, 그리고 속력과의 상관 관계는 이러한 표상을 어느정도 제시하나, 피질 영역에 따라 처리하는 변인을 알기에는 측정가능한 면적 대비 공간적 해상도가 낮아 상호간에 중첩되어 보이는 문제가 있다. 최근, 인공 신경망 기반 모델링을 통해 뇌 신호로부터 운동을 예측 가능하게 됨으로써, 본 연구에서는 운동학적 변인에 따른 신경 특징 또는 표상을 고성능 인공신경망 모델 및 설명가능한 인공지능 (Explainable AI, XAI) 방법론을 통해 식별할 수 있을 것으로 가정했다. 따라서 본 연구는 심층신경망(Deep neural network, DNN)모델과 XAI 기술을 활용하여 대뇌가 운동학적 변인들을 처리하는 기전을 식별하는 방법론을 제시하는 것을 목표로 한다. 이를 위해 하기의 연구들을 진행하였고 그 결과를 제시하였다. 먼저, 첫번째 실험 연구에서는 순환 신경망(Recurrent neural network, RNN)기반의 DNN 모델을 개발하여 네 개의 대상을 향한 팔 뻗기 운동에 대한 운동학적 변인들의 시계열 궤적을, 운동 중에 측정한 MEG 신호에서 추정된 피질 전파원 신호로부터 해독하였다. 본 연구의 결과로, DNN 모델은 전파원 신호로부터 팔 뻗기 운동의 가속도, 속도, 그리고 위치에 대한 시계열 궤적을 정확하게 예측하였으며, 그 결과는 통계적으로 유의하였다 (r > .811, p < .001). 두번째 실험 연구에서는 XAI 기술을 사용하여 상기 연구에서 쓰인 DNN 모델을 해석하여 각 피질 영역들이 각각의 운동학적 변인들을 예측하는데 기여한 정도를 수치로 표현하는 새로운 접근법을 제시하였다. 이러한 접근을 통해 하나의 피질 활동 지도로부터 가속도, 속도, 위치를 처리하기 위한 기능적 영역들을 분리할 수 있었다. 본 연구의 결과로 운동의 가속, 속도, 그리고 위치를 처리하기 위해 기여한 대뇌 피질 영역 별 기여도가 서로 다르게 나타났다. 각각의 운동학적 변인들의 처리에 관여하는 것으로 나타난 피질 영역들을 집합으로 묶었을 때, 모든 경우에서 유의했던 공유영역과 특정 변인에서만 유의했던 지배 영역으로 식별되었다. 공유영역은 주로 양반구의 연상회(supramarginal gyrus, SMG)와 대측 각회(angular gyrus, AG) 영역으로 이루어져 있으며, 운동 연구에서 운동을 위한 다중 감각 정보를 통합하고 운동의 목표를 설정하는 인지 기능을 담당하는 것으로 알려져 있다. 반면, 운동학적 변인에 따른 지배 영역들은 상호 배타적인 집합에 속하며, 서로 다른 기능적 영역을 포함했다 (가속 영역-힘 및 근육 제어를 위한 대측 운동 피질; 위치 영역-공간 처리 및 안구 동작 제어를 위한 시각-운동영역; 속도-운동 정보 처리 및 운동 제어를 위한 두정-전두 네트워크). 이러한 영역들은 운동학적 변인의 처리를 위한 운동의 성격을 명확히 반영하고 있었다. 전반적인 연구들의 함의는 인간의 운동은 다양한 운동 요소들의 계산을 통해 만들어지며, 이를 처리하는 피질 영역이 있음을 밝혔다. 이러한 영역들의 활동으로 인해 다양한 운동 변인들이 분산되어 처리되기에 인간의 운동이 매끄럽게 이루어질 수 있는 것이라 생각한다. 또한 BCI 개발에 있어서 본 연구가 가지는 의미는, 다양한 운동 요소들을 예측하기 위해서는 대뇌 전반이 아니라 특정 영역에서 특정한 정보를 얻어서 계산한다면 효율적인 BCI 개발로 이어질 수 있다는 것이다. 이는 좁고 정해진 영역에서 고해상도의 신호를 측정할 수 있는 침습적 BCI 시스템을 만드는데 있어 중요하게 활용할 수 있겠으나, 필요한 영역의 신호를 얻지 못하면 그 정보 역시 얻을 수 없음을 의미하기도 한다. 나는 이러한 한계를 극복하는 방법으로써, 인공지능 생성 모델 중 하나인 적대적 생성 신경망 (Generative Adversarial Network, GAN)을 통해 운동 피질의 신호의 시간주파수성 특징을 운동 관련 영역으로부터 추론하는 방법을 통해 해결할 수 있을 것이라 생각하였고, 이에 대한 개념적 증명을 뒷받침 할 수 있는 증거들을 제시하였다.

Various motor components, including muscle and joint movements, force and momentum, and motor kinematic parameters such as speed, acceleration, and position of limbs, manifest motor behavior. Understanding how the human brain processes these motor components is one of the significant interests in neuroscience. For this interest, current findings suggested that the cortical processing of motor kinematics appears differently depending on its behavioral characteristics. These findings had a practical implication for improving the decoding performance of brain-computer interfaces (BCI) predicting limb movement. Numerous single-neuron studies have found a relationship between neuronal activity and motor kinematics, such as acceleration, velocity, and position. Despite differences between behavioral characteristics of each motor kinematic, it is hard to distinguish neural representations of their characteristics with macroscopic functional images such as electroencephalography (EEG) and magnetoencephalography (MEG). The reason might be that cortical signals are not sensitive enough to segregate kinematic characteristics due to their limited spatial and temporal resolution. Considering the different roles of each cortical area in producing movement, there might be a specific cortical representation depending on acceleration, velocity, and position characteristics. Recently, neural network modeling has been actively pursued in decoding. I hypothesized that neural features of each kinematic parameter could be identified with a high-performing model for decoding with an explainable AI method. Here, I aimed to introduce a novel method to identify brain processing of motor kinematics using a Deep Neural Network (DNN) model and explainable artificial intelligence (XAI) technique. First, I developed recurrent neural network (RNN) based DNN models to decode times series of motor kinematic parameters of directional reaching movements from the cortical source signals. The result shows that the DNN models could significantly decode the time series of motor kinematic parameters such as acceleration, velocity, and position of the hand-reaching movements from the cortical source activity (r > .811, p < .001). Second, I developed a novel approach to extracting the contribution of cortical areas for predicting each motor kinematic parameter by decomposing the high-performing DNN models using the XAI technique. This approach could segregate the functional areas for processing each motor kinematic parameter. The result showed that the contribution of cortical areas within visuomotor areas appeared differently depending on the motor kinematic parameters. I identified that different and shared cortical areas existed for decoding each kinematic attribute. Shared areas included bilateral supramarginal gyri and angular gyri known to be related to the goal of movement and sensory integration. On the other hand, dominant areas for each kinematic parameter appeared differently (the contralateral motor cortex for acceleration, the contralateral parieto-frontal network for velocity, and bilateral visuomotor areas for position). Regarding the visuomotor reaching movement, the motor cortex was found to control the muscle force, the parieto-frontal network encoded reaching movement from sensory information, and visuomotor areas computed limb and gaze coordination in the action space. Through those studies, I revealed that the motor behavior of humans comprises a combination of motor components processed in each cortical area. Such results imply that various motor variables should be acquired from cortical areas to develop motor BCI. However, in many cases, signals or activities of required brain areas cannot be acquired. Primarily, invasive recordings can provide high-resolution signals, but such methods can only measure the focal area's signal. I speculated that the generative neural network model would help address the limitation. Here, I provide a proof of concept for the inferring the cortical signals of the motor area essential for producing motor kinematics, such as acceleration, from the other cortical signals that participate in motor processing but do not in producing.