Generalization Methods for End-to-End Deep Neural Network-based Magnetic Resonance Image Reconstruction

Abstract

자기 공명 영상(MRI)은 신경 과학 및 임상 진단에 널리 적용되고 있는 의료영상 기술이다. 이와 같은 기술 적용을 위해, MRI 분야에서는 물리적 모델링을 기반으로 한 영상 재구성 연구가 활발히 이루어지고 있다. 그러나 MRI 영상 재구성은 잡음 혹은 불완전한 데이터의 영향을 받는 경우가 대부분이기 때문에, 보통의 연구들은 사전 지식으로부터 얻을 수 있는 영상의 특징을 정규화로 활용하여 최대 사후 확률 추정하는 방식을 이용하게 된다. 그러나 이 방식은 물리적 모델이 갖고 있는 본질적인 불량조건 상태 때문에 영상 왜곡을 유발하게 되고, 이는 영상 재구성 연구의 임상적 유용성을 제한한다. 이런 한계를 극복하기 위해, 최근 MR 영상 재구성을 위한 인공신경망 기반 방법이 제안되고 있다. 인공 신경망은 데이터 처리에 필요한 영상적 특징을 자동으로 학습하므로 사람이 제안하는 사전 지식보다 더 최적화된 정보를 정규화로 활용하게 된다. 그러나 이와 같은 결과에도 불구하고, 테스트 데이터가 훈련에 사용된 데이터와 다른 특성을 가질 때, 인공신경망의 성능이 저하된다는 단점이 여러 차례 보고되고 있다. 본 논문에서는 이와 같은 인공신경망의 훈련 데이터 의존성을 탐구하기 위해 두 가지 유형의 MR 이미지 재구성 방법인 정량적 자화율 영상(QSM)과 언더 샘플링 재구성에서 인공신경망을 적용하였다. 먼저, 훈련 데이터 범위를 벗어난 자화율에 대해 인공신경망 기반 QSM(QSMnet)의 성능을 평가하였다. 출혈 및 석회화 같은 병리학적 상태에서 높은 자화율 값이 존재하기 때문에, 이러한 탐구는 QSMnet의 임상적 유용성을 입증하는 중요한 과정이다. 이런 병리학적 상태에 대한 QSMnet의 일반화 성능을 향상시키기 위해, 광범위한 자화율 추정에 적용할 수 있는 QSM 물리적 모델 기반의 새로운 데이터 증강방식을 제안하였다. 두번째로, 자화율 값 외에 다양한 요인에서 QSMnet의 일반화 성능을 탐구하였다. QSMnet에서 훈련 데이터 종속성의 원인을 이해하기 위해 이미지의 공간적 기울기 분포를 일반화 매개 변수로 제안하였다. 마지막으로, 인공신경망의 일반화 성능을 언더 샘플링 재구성 방법에서 탐구하였다. 다양한 언더 샘플링 인자에 대한 일반화를 개선하기 위해, 기존 신경망의 영상특성을 보존함과 동시에 사전 지식을 조건 매개 변수로 삽입하는 방법을 제안하였다. 본 논문의 결과는 인공신경망 기반의 MR 영상 재구성에서 고려해야 할 일반화 문제를 입증하고, 그 일반화 성능을 향상시키는 방법론을 제안함으로써 인공신경망 방법이 임상적 유용성을 가질 수 있을 것이라 사료된다.

Magnetic resonance imaging (MRI) has been widely applied for neuroscience researches and clinical diagnosis. To develop the acquired images from MRI as a promising biomarker, the researches in MRI field have leveraged the physical modeling for the reconstruction. Since the image reconstruction in MR is influenced by noisy or incomplete data, classical approaches have formulated the image reconstruction as maximum a posteriori probability estimation, which utilize image features from prior knowledge as a regularization. However, the intrinsic ill-posedness of the physical model have caused image artifacts, limiting clinical utility of the reconstruction methods. Recently, deep learning methods have been proposed for MR image reconstruction. The use of deep learning is motivated by the fact that a neural network automatically learns necessary features for data processing and, therefore, does not require explicit feature section that may be suboptimal. Despite of the promising outcomes of the end-to-end deep learning methods, it has been observed that the performance of a deep neural network is degraded when the test data have different characteristic to that of training data. In this thesis, an end-to-end deep learning method was applied to two types of MR image reconstruction, such as quantitative susceptibility mapping (QSM) and under-sampling reconstruction, to explore the training data dependency of the neural networks. First, the performance of deep neural network-based QSM (QSMnet) was evaluated on the susceptibility outside of the training data range. Such exploration is necessary to demonstrate the clinical utility of QSMnet, due to the presence of high susceptibility values in pathological conditions, such as hemorrhage and calcification. To improve the generalization performance of QSMnet, I proposed a new data augmentation to work for a wide range of susceptibility estimation based on the physical model of QSM. Second, further explorations at generalization performance of QSMnet in various factors were performed. To understand the source of training data dependency in QSMnet, I suggested the spatial gradient distribution of image as a generalization parameter. Lastly, the generalization performance of end-to-end deep learning method was tested in another task, under-sampling reconstruction. To improve the generalization in various under-sampling factor, I proposed a method to embed prior knowledge as a condition parameter of the neural network with feature preservation. The developments in this thesis demonstrate the generalization issues to be considered in deep learning-based MR image reconstruction, and suggest the methodology to improve its generalization performance to achieve the clinical utility.