Macro to Micro: Brain MR Image-to-Image Translation between Structural MRI, Diffusion MRI and Tractography

Abstract

뇌는 여러 뇌 영역의 고도로 국소화된 기능과 신경 연결을 통한 영역의 통합으로 구성된다. 이러한 뇌의 신경 연결은 끊임없이 변화하는 환경에 효과적으로 대응하기 위해 시스템 및 시냅스 수준에서 지속적으로 변화한다. 이러한 동적 상호작용을 가능하게 하는 중요한 요소 중 하나는 인간 두뇌의 거시적 및 미시적 규모에서의 구조적 가소성이다. 뇌의 거시적 및 미세적 구조는 서로 다르지만 보완적인 정보를 전달하기 때문에 두 구조를 모두 고려하는 것은 뇌의 구조적 가소성과 인지 작업 중 연결성을 이해하는데 매우 중요하다. 하지만 기존의 연구는 이를 효과적으로 고려하지 못했다.

본 연구에선 인간 뇌의 거시적 및 미세적 구조를 통합하여 기존에 알지 못했던 인간 뇌의 의미와 새로운 표현형을 얻기 위해 구조 MRI (sMRI)에서 고품질 확산 텐서 이미징 (DTI) 및 트랙토그래피를 생성하도록 설계된 새로운 딥러닝 프레임워크인 Macro2Micro를 제시한다. 본 연구는 거시적 구조로부터 미시적 구조 정보를 유추할 수 있다는 가설을 전제로 하여, 초기에 한 가지 영상 기법만 획득하더라도 질병 진단 및 연구에 유익한 추가적인 영상 기법을 생성한다. 신경 영상 영역에서 전례가 없는 이 접근 방식은 멀티모달 이미지 번역의 이점을 활용하여 상당한 시간과 비용을 절감한다. Macro2Micro는 3D T1을 입력으로 사용하여 2D T1 슬라이스를 생성한 다음 적대적 생성망(GAN)을 통해 처리되어 2D DTI (FA) 슬라이스와 2D 트랙토그래피 이미지를 생성한다. 이 프로세스의 핵심 요소는 이미지 특성을 주파수 대역에 따라 분리하는 옥타브 합성곱을 사용하는 것이다. 이 프레임워크는 청소년 뇌 인지 발달(ABCD) 데이터를 사용하여 훈련되었으며, 이미지 픽셀 손실, 지각 손실, GAN 손실 및 뇌 중심 패치 GAN 손실을 통해 훈련 손실이 정의되었다. 본 연구의 결과는 정량적 및 정성적으로 뛰어난 성능을 보였으며 단순히 이미지 분포만을 학습한 것이 아닌 뇌의 구조적 및 미시적 구조의 생물학적인 특성까지 학습했다는 점에서 의의가 있다. 이미지 변환 모델을 데이터 증대 방법으로 잠재적으로 적용하면 데이터 불균형 및 희소성 문제를 해결할 수 있다. 이 연구는 발전하는 질병 모델링에서 다중 모드 이미징, 특히 T1, DTI 및 트랙토그래피의 조합 사용의 잠재력을 제시한다.

The brain consists of the highly localized functions of several brain regions and the integration of these regions through neural connections. These brain neural connections are constantly changing at the systemic and synaptic levels to effectively respond to the ever-changing environment. One of the key factors enabling these dynamic interactions is the structural plasticity of the human brain at the macro and micro scale. Because the brain's macro- and micro-structures convey different but complementary information, considering both structures is critical to understanding the brain's structural plasticity and connectivity during cognitive tasks. However, previous studies have not effectively considered this issue.

In this study, a novel deep learning framework, Macro2Micro, is proposed to generate high-quality Diffusion Tensor Imaging (DTI) and tractography from structural MRI (sMRI). The study is premised on the hypothesis that micro-scale structural information can be inferred from macro-scale structures, enabling the generation of different imaging modalities beneficial for disease diagnosis and research, even when only one modality is initially obtained. This approach, unprecedented in the realm of neuroimaging, leverages the benefits of cross-modality image translation, offering significant time and cost savings. The Macro2Micro framework utilizes 3D T1 to generate 2D T1 slices as input, which are then processed through a Generative Adversarial Network (GAN) to produce 2D DTI (FA) slices and subsequently 2D tractography. The key element of this process is the use of Octave Convolutions, which facilitate the analysis of connections between various scale MR modalities. The framework was trained using the Adolescent Brain Cognitive Development (ABCD) dataset, with training losses evaluated through Image Pixel loss, Perceptual loss, GAN loss, and brain-focused patch GAN loss.

The results not only showed superior performance compared to other algorithms quantitatively and qualitatively but also have significant meaning in neuroscience in that they learned not only the image distribution but also the biological characteristics of the structural and microscopic structures of the brain. The potential application of this image translation model as a data augmentation method could address issues of data imbalance and scarcity. This research underscores the potential of multimodal imaging, specifically the combined use of T1, DTI, and tractography, in advancing disease modeling.