Structure-Preserving Quality Improvement of Cone-Beam CT Images Using Contrastive Learning

Abstract

Cone-beam CT (CBCT)는 공간해상도가 높고 CT보다 촬영이 용이하여 그 활용도가 높다. 그러나, CBCT는 영상의 연조직 대조도와 Hounsfield Units (HU) 정량화 정확도가 CT 영상에 비해 부족하여 연조직 진단에는 한계가 있다. CBCT 영상의 품질을 향상시키기 위해 분석 모델링 방법, 반복 재구성 방법, Monte Carlo 시뮬레이션, 사전 지식 기반 규칙 기반 방법, 그리고 랜덤 포레스트 등을 포함한 다양한 기술들이 연구되었다. 그러나 이러한 방법들은 계산 복잡성으로 인해 시간이 많이 소요되며, 복잡한 아티팩트 감소에 있어서 CT 영상의 품질만큼 향상시키기에는 한계가 있다. 최근에는 CycleGAN이라는 새로운 해결책이 등장하여 CBCT 영상에서 CT와 유사한 영상을 생성하는 데 사용되고 있다. 이 방법의 목표는 CBCT 영상의 품질을 개선하여 CT 영상과 유사하게 만드는 것이다. 이 방법을 적용할 때 주요한 과제 중 하나는 원본 CBCT 영상의 구조를 보존하는 것이다. 그러나 CycleGAN이 입력 CBCT 영상의 구조를 보존하는 데 한계를 가지고 있다. 이 문제를 해결하기 위해, 대조 학습 기반 GAN을 기본 모델로 사용하여, 입력과 출력 사이의 대응 관계를 개선한 뒤, 입력 CBCT 영상의 구조를 보존하면서, CT와 유사한 영상 품질로 CBCT 영상의 품질을 향상시키고자 했다. Structure-preserving contrastive-learning based GAN (SPCGAN)을 설계한 뒤, CBCT와 CT 데이터셋을 활용하여 훈련시켰다. 이 과정에서는 새로운 조합의 손실 함수와 훈련 데이터셋에서 사전 훈련된 특징 추출기를 사용했다. 훈련에 사용된 손실 함수는 의미론적 관계 일관성 손실, 공간 상관 관계 손실, 그리고 재구성 손실로 구성했다. 의미론적 관계 일관성 손실과 공간 상관 관계 손실은 이미지 내 의미론적 및 공간적 패턴을 포착하여 구조를 보존하는 이미지를 효과적으로 생성하는 데 사용했고, 재구성 손실을 최소화함으로써 입력 CBCT 영상에 대한 더 세부적인 정보를 표현에 포함시켰다. FID (Frechet Inception Distance), PSNR (Peak Signal-to-Noise Ratio), MAE (Mean Absolute Error), RMSE (Root Mean Square Error), 및 structure score를 지표로 SPCGAN이 생성한 영상의 품질을 평가했다. 환자 데이터를 이용한 실험을 통해 SPCGAN이 생성한 영상이 다른 기존 모델이 생성한 영상보다 FID, PSNR, MAE, RMSE, structure score 측면에서 우수하다는 것을 입증했다. 본 연구는 CBCT 영상의 해부학적 구조를 보존하면서 영상의 품질을 CT 영상과 유사하게 향상시키는 딥러닝 방법을 제안하였다. 이를 통해, CBCT의 정확한 HU 정량화를 가능하게 하여, 다양한 임상에서 CBCT를 사용할 수 있게 할 것이다.

Cone-beam CT (CBCT) is widely used in dental clinics but exhibits limitations in assessing soft tissue pathology because of its lack of contrast resolution and low Hounsfield Units (HU) quantification accuracy. Various techniques have been investigated to enhance the quality of CBCT images. These include analytical modeling methods, advanced iterative reconstruction methods, Monte Carlo simulation, rule-based methods with prior knowledge, and random forest. However, these approaches are time-consuming due to computational complexity and have limited effectiveness in reducing complex artifacts. Recently, a new solution called cycle-consistent generative adversarial networks (CycleGAN) has emerged for generating CT-like images from CBCT images. The objective of this approach was to improve the quality of CBCT images so that they resembled CT images. One of the main challenges when employing this method is preserving the structure of the original CBCT image. If the CT-like generated images fail to retain the anatomical structure of the input CBCT images, they become useless for clinical applications. Therefore, it is important to consider both the similarity of the generated images to CT scans and the preservation of the anatomical structures. However, it has been discovered that the preservation of the input anatomical structures on CBCT images is limited by CycleGAN. To address this issue, the adoption of a contrastive learning-based GAN was considered as a baseline to enhance the correspondence between inputs and outputs. The objective was to improve the image quality and HU accuracy of CBCTs to a level comparable to CTs, while simultaneously preserving anatomical structures. The structure-preserving contrastive-learning based GAN (SPCGAN) was trained on unpaired CT and CBCT datasets with the novel combination of losses and the feature extractor pretrained on training dataset. The losses employed during training included semantic relationship consistency loss, spatial correlation loss, and reconstruction loss. The loss functions of semantic relation consistency and spatially correlative were designed to maximize the learning of information regarding semantic and spatial patterns within an image, effectively generating structure-preserved images. Also, finer information about the input CBCT images should be contained in the representations by minimizing the reconstruction loss. The quality of the generated images was evaluated using metrics such as Frechet inception distance (FID), peak signal-to-noise ratio (PSNR), mean absolute error (MAE), and root mean square error (RMSE) over the entire image area. Additionally, the structure preservation performance was assessed by the structure score. As a result, the CT-like images generated by SPCGAN were significantly superior to those generated by various baseline models in terms of FID, PSNR, MAE, RMSE, and structure score. Therefore, it was demonstrated that the use of SPCGAN provided complementary benefits, namely preserving the anatomical structures of the input CBCT images while simultaneously enhancing the image quality to a level comparable to CT images.