Transfer Learning Strategies of Deep Convolutional Neural Networks for Osteoporosis Screening in Dental Panoramic Radiographs

Abstract

Osteoporosis is a metabolic bone disease characterized by low bone mass and disruption in bone micro-architecture. Clinical diagnostic methods for osteoporosis are expensive and therefore have limited availability in population. Recent studies have shown that Dental Panoramic Radiographs (DPRs) can provide the bone density change clues in bone structure analysis. This study aims to evaluate the discriminating performance of deep convolutional neural networks (CNNs), employed with various transfer learning strategies, on the classification of specific features of osteoporosis in DPRs. For objective labeling, we collected a dataset containing 680 images from different patients who underwent both skeletal bone mineral density and digital panoramic radiographic examinations at the Korea University Ansan Hospital between 2009 and 2018. In order to select the backbone convolutional neural network which is the basis for applying the transfer learning, we conducted preliminary experiments on the three convolutional neural networks, VGG-16, Resnet50, and Xception networks, which were frequently used in image classification. Since VGG-16 showed the best AUC value in the classification experiment conducted without transfer learning, the transfer learning using the fine-tunning technique was tested using VGG-16 as the backbone network. In order to find the optimal fine-tuning degree in the VGG-16 network, a total of six fine-tuning applied transfer learning groups were set according to the number of fine-tuning blocks in the VGG-16 with five blocks as follows: A group that does not perform fine-tuning at all (VGG-16-TF0), a group that fine-tunes the last 1 block (VGG-16-TF1), a group that fine-tuning the last 2 blocks (VGG-16-TF2), a group that fine-tuning the last 3 blocks (VGG-16-TF3), a group that fine-tuning the last 4 blocks (VGG-16-TF4), and a group that performs fine-tuning all 5 blocks (VGG-16-SCR).The best performing model (VGG-16-TF2) achieved an overall area under the receiver operating characteristic of 0.858. In this study, transfer learning and optimal fine-tuning improved the performance of a deep CNN for screening osteoporosis in DPR images. In addition, using the gradient-weighted class activation mapping technique, a visual interpretation of the best performing deep CNN model indicated that the model relied on image features in the lower left and right border of the mandibular. This result suggests that deep learning-based assessment of DPR images could be useful and reliable in the automated screening of osteoporosis patients.

골다공증은 골밀도가 낮고 골 미세 구조의 붕괴가 특징 인 대사성 골 질환입니다. 그러나, 골다공증에 대한 임상 진단 방법중에 하나인 DXA 검사는 대형의 검사용 엑스레이 장비가 별도로 필요하고 검사비용이 높아, 해당 검사의 이용성에 제한성이 있습니다. 최근 연구에 따르면 치과 파노라마 방사선 사진 (DPR) 또한 골 밀도 변화를 예측 할 수 있다고 연구되었습니다. 이에 본 연구는 DPR에서 골다공증에 의한 골 밀도 변화에 따른 엑스레이 영상 특이성 분류에 다양한 전이 학습전략을 적용한 심층 합성곱 신경망 (CNN)의 분류 성능을 평가하는 것에 목표로 두었습니다. 합습 및 검증용 데이터의 객관적인 라벨링을 위해 2009년부터 2018년까지 고려 대학교 안산 병원에서 골밀도 검사와 디지털 파노라마 방사선 촬영을 6개월 이내에 동시에 시행한 환자들로부터 680개의 데이터 세트를 수집했습니다. 전이 학습 전 기본이 되는 합성곱 신경망을 선택하기 위해 이미지 분류에 자주 사용되는 3개의 합성곱 신경망 인 VGG-16, Resnet-50 및 Xception 네트워크에 대해 전이학습이 없는 상태로 사전 분류성능 평가를 수행했습니다. VGG-16은 전이 학습 없이 수행 된 분류 성능 평가에서 다른 2개의 네트워크에 비해 높은 AUC 값을 보여 주었기에, 해당 네트워크를 백본(back-bone) 네트워크로 사용하여 전이학습 효과를 비교 분석하였습니다. 백본 네트워크에서 최적의 fine-tuning 정도를 찾기 위해 VGG-16에 fine-tuning이 적용 가능한 블록 수에 따라 총 6 개의 fine-tuning 적용 전이 학습 그룹이 다음과 같이 설정 하였습니다. fine-tuning을 전혀 하지 않는 그룹 (VGG16-TR0), 마지막 1 블록을 fine-tuning 하는 그룹 (VGG-16-TF1), 마지막 2 블록을 fine-tuning 하는 그룹 (VGG-16-TF2), 마지막 3 개 블록을 fine-tuning하는 그룹 (VGG-16-TF3), 마지막 4 개 블록을 fine-tuning하는 그룹 (VGG-16-TF4) 및 5 개 블록 모두를 fine-tuning하는 그룹 (VGG16-TR5). 실험 결과 최고 성능 모델 은 VGG-16-TF2 였으며, 분류 성능 값의 하나인 AUC 값이 0.858를 달성했습니다. 본 연구를 통하여 학습용 데이터 수에 제한이 있더라도, 전이 학습 및 fine-tuning을 통하여 DPR 이미지를 이용한 골다공증 스크리닝 성능의 개선이 가능함을 보여주었습니다. 또한 gradiant-CAM 기법을 이용하여 성능이 가장 우수한 CNN 모델의 시각적 해석을 통하여, DPR 이미지 상에서 적절한 골다공증의 분류성능은 하악골의 왼쪽 및 오른쪽 하연 경계에있는 이미지에 의존한다는 것을 확인 할 수 있었습니다. 본 결과는 DPR 이미지의 딥 러닝 기반 평가가 골다공증 환자의 자동 선별에 유용하고 신뢰할 수 있음을 시사 하였습니다.