부비동염 엑스레이 진단 성능의 최적화를 위한 생성적 적대 신경망 이용 합성데이터 생성에 관한 연구

Abstract

딥러닝 기술은 최근들어 다양한 의료 분야에 적용되고 있다. 딥러닝 모델의 효과적인 학습을 위해서는 방대한 양의 데이터가 필요한데, 실제로 환자가 의료기관에서 받은 검사를 통해 얻어지는 의료 데이터의 특성상 데이터가 부족한 경우가 많으며, 이는 딥러닝 기술을 의료 분야에 적용함에 있어 큰 한계점이다. 이러한 학습 데이터 부족을 극복하기 위한 다양한 연구들이 현재까지도 활발히 진행되고 있다. 본 연구에서는 학습용 의료 데이터가 부족한 상황에서 우수한 판독 성능에 도달할 수 있도록 생성적 적대 신경망 (Generative Adversarial Network, GAN)을 이용하여 합성 데이터 증강 (data augmentation)을 수행하고 가장 우수한 성능에 최적화된 모델을 자동적으로 찾아 줄 수 있는 방법을 제안한다. 기존의 관련 연구에서는 GAN 모델을 이용하여 합성 데이터를 생성하고 데이터 증강 개수가 학습 모델의 성능에 미치는 영향에 대한 실험을 진행하였다. 앞선 연구는 데이터 증강 샘플을 일정한 간격없이 임의적으로 증가시켰기 때문에 정량적이지 않다는 점과 적절한 양을 탐색하기 위해 증강 개수를 매번 조정해야되는 수동 작업이 개입되므로 상당한 시간이 소요된다는 한계점이 있다. 본 연구에서는 GAN 기반의 합성 데이터 증강을 수행하는 과정에서 어느 시점에서 가장 최적화된 모델 성능이 나타나는지에 대하여 자동화 개념으로 접근한다. 연구 데이터는 2차 병원에서 수집한 부비동 (Paranasal Sinuses, PNS) X-ray 이미지와 일반성을 확보하기 위해 외부 검증 (external validation)용으로 3차 병원에서 수집한 PNS X-ray 이미지로 구성되어 있다. 실험에 사용될 모든 데이터는 전처리 과정에서 상악동 (maxillary sinus)부위를 기준으로 잘라내어 (cropping) 영상 패치를 생성하였다. 데이터 증강 기법은 두 가지의 방법으로 수행하였다. 첫 번째 방법은 전통적 데이터 증강 기법 (Conventional data augmentation)에서 흔히 사용되는 회전 (-10도에서 10도 범위 내로)과 좌우 뒤집기 (horizontal flipping) 를 적용하였고, 두 번째 방법으로는 GAN을 이용하여 합성 데이터를 생성 후 원본 데이터와 결합시켜 증강을 하는 합성 데이터 증강 기법이다. GAN기반의 합성 데이터 증강을 수행하기 위해서는 Auxiliary Classifier GAN (ACGAN) 모델을 기존 학습용 데이터에 적용하여 새로운 데이터를 생성하였다. 본 과정을 통해 생성된 데이터를 일정한 배율로 증가시키며, 이를 바탕으로 학습된 딥러닝 모델이 가장 높은 성능을 보이는 최적의 배율 (optimal multiples)을 발견할 수 있도록 자동화 방법을 구축하였다. 이미지 분류 과정에서는 CheXNet 모델을 이용하여 전이 학습 (transfer learning)을 수행하였고 이후, 본 연구의 모델 성능을 평가하기 위해서 전통적 데이터 증강 기법을 이용하여 학습한 모델의 성능과 GAN 기반의 합성 데이터 증강 기법의 최적의 증강 배율로 학습한 모델의 성능을 비교하였다. 더불어 두 모델의 성능 간의 통계적 유의성을 제시하였다. 모델 성능 평가 결과, 본 연구에서 제안한 GAN 기반의 데이터 증강 기법 모델이 전통적 데이터 증강 기법보다 내부 및 외부 검증에서 모두 우수한 성능을 보였음을 입증할 수 있었다. 본 연구에서 제시한 GAN 기반의 데이터 증강 기법은 X-ray 영상 뿐만 아니라 다양한 의료 영상에서도 적용될 수 있으며, 증강시킬 데이터 양의 크기를 수동으로 설정해주는 이전 방식과는 달리 일정한 배율로 증가시키며 가장 우수한 성능에 최적화된 모델 및 증강 배율을 자동적으로 찾아주기 때문에 편리성과 정확성을 제공할 것이다. 추후 데이터 증강 기법 관련 연구에서 GAN 기반의 합성 데이터 증강 자동화 알고리즘이 더 활용될 것으로 기대한다.

Recently, rapid development of deep learning has led to a state-of-the-art performance in a wide range of computer vision tasks, mainly through large-scale datasets. However, acquiring a large amount of dataset is restricted and challenging in medical domain. This study aimed to investigate the feasibility of synthetic data augmentation using generative adversarial networks (GAN) by suggesting an automatic method to determine the ideal amount of data augmentation in order to develop deep learning-based model optimized for best performance in a limited datasets. This retrospective study evaluated the Waters view radiographs of 250 patients diagnosed with chronic sinusitis, who underwent radiographic examination, between January 2010 and January 2020. Image patches of 177 healthy sinuses and 212 maxillary sinusitis were created and randomly split into a training set (80%) and a test set (20%) to develop a deep learning model. During synthetic data augmentation process, Auxiliary Classifier GAN (ACGAN) was applied to generate synthetic images from the original training set. A method to determine the optimal amount of GAN-generated synthetic data to train the model with the highest performance was proposed herein. Transfer learning techniques were applied using a pre-trained CheXNet model for classification. The model was trained using conventional data augmentation and the proposed synthetic data augmentation. The performance of the models was evaluated based on the statistical analyses of the accuracy, sensitivity, specificity, positive and negative predictive values, area under the curve (AUC), and receiver operating characteristic, in both internal and external datasets. The experimental results verified that the proposed approach achieved a higher performance than conventional data augmentation, with an accuracy of 0.949, sensitivity of 0.917, specificity of 0.955, and an AUC of 0.964 using internal test set, and 0.917, 0.924, 0.909, and 0.955, respectively, using external test set. These values showed significant differences compared with the model trained using conventional data augmentation. The findings of this study suggest that the proposed deep learning approach could be used to assist radiologists and improve diagnosis with the use of deep learning technique even in a presence of lack of training data.