Exploring spatiotemporal brain dynamics with fMRI Transformers

Abstract

The modeling of spatiotemporal brain dynamics from high-dimensional data, such as functional MRI, is a formidable task in neuroscience. However, existing studies predominantly rely on simplistic heuristic features from functional MRI, which poses the risk of overlooking crucial aspects of brain dynamics. This study addresses the limitations of existing computational approaches by proposing two deep neural networks for functional MRI: Swin fMRI Transformer (SwiFT) and Swin fMRI Transformer with UNET (SwiFUN). These models are designed to directly process 4D resting-state fMRI data and predict cognitive and biological variables and specific task-related brain activity. We evaluate our modules using multiple largest-scale human functional brain imaging datasets, such as the Human Connectome Project (HCP), Adolescent Brain Cognitive Development (ABCD) study, and UK Biobank (UKB). Our experimental outcomes reveal that SwiFT consistently outperforms recent state-of-the-art models in predicting sex, age, and cognitive intelligence. Furthermore, SwiFUN surpasses a commonly used approach, a generalized linear model, for predicting task-related brain activity from resting-state fMRI. Our work holds substantial potential in facilitating scalable learning of functional brain imaging in neuroscience research by reducing the hurdles associated with analyzing complex brain dynamics in high-dimensional fMRI.

변화하는 환경에서 적응하는 뇌 기능을 연구하기 위해 기능적 자기공명영상(functional magnetic resonance imaging, fMRI)과 같은 고차원 뇌 이미지에서 뇌 역동을 분석하는 것은 중요한 과제이다. 그러나 기존의 fMRI 연구는 주로 단순한 특징 추출 기반 방법들에 의존하기 때문에 뇌 역동에서 중요한 측면을 간과할 위험이 존재한다. 이러한 기존 접근법의 한계를 극복하기 위해 본 연구는 fMRI 분석을 위한 두 가지 심층 신경망(SwiFT, SwiFUN)을 제안한다. 이 모델들은 4차원 형태의 휴지 상태 fMRI (resting-state fMRI, rs-fMRI) 데이터를 직접 처리함으로써 인지 및 생물학적 변수와 특정 과제 수행 시의 뇌 활동을 효과적으로 예측할 수 있다. 본 연구는 인간 커넥톰 프로젝트(Human Connectome Project, HCP), 청소년 뇌 인지 발달 연구(Adolescent Brain Cognitive Development, ABCD), 영국 바이오뱅크(UK Biobank, UKB)과 같은 대규모 fMRI 데이터를 활용한다. 그 결과, SwiFT는 성별, 연령, 그리고 지능 예측에서 현존하는 최신 방법들보다 뛰어난 성능을 보였다. 또한, SwiFUN은 rs-fMRI에서 특정 과제 수행 시의 뇌 활동을 예측하는 태스크에서 기존 일반화된 선형 모델 (generalized linear model, GLM)에 비해 우수한 성능을 보였다. 본 연구는 고차원 fMRI에서 복잡한 뇌 역동을 효과적으로 분석하는 방법을 제시함으로써, 신경과학 분야에서 대규모 fMRI를 활용할 수 있는 새로운 가능성을 시사한다.