Comparison among bone age assessment methods and development of a Fishman-based skeletal maturity determination system using deep learning in contemporary Korean children and adolescents

Abstract

Purpose Greulich-Pyle (GP), Tanner-Whitehouse 3 (TW3), and Fishman methods are typically employed for bone age assessment from hand-wrist radiographs. This study aimed to compare the Fishman method with the GP and TW3 methods and investigate the reliability of Fishmans skeletal maturity indicators (SMIs) for contemporary healthy Korean children and adolescents, and to develop a new fully-automated SMI-based skeletal maturity determination system using deep neural networks and evaluate the accuracy of the system.

Materials and Methods The left hand-wrist radiographs of 1,617 subjects (706 males and 911 females; 6–17 years of age) taken in 2012–2017 were selected. Bone ages were calculated using the GP, TW3, and Fishman methods, and compared with chronological ages using paired t-test and correlation analysis. For developing a fully-automated deep learning system for skeletal maturity determination using the Fishman method, two skeletal maturity determination systems were developed and their accuracies were compared. A system was trained with an SMI-labeled dataset, and another one was trained with a dataset that was not only labeled with SMIs but was additionally labeled considering the region of interest (ROI) extraction and skeletal maturity determination for each ROI. Two oral and maxillofacial radiologists established a reference standard for the SMIs.

Results The bone ages significantly differed with the chronological ages in the whole group and gender subgroups for all three methods except in the male group for the TW3 method. However, a high degree of correlation was observed between the chronological ages and the bone ages when evaluated by all the methods. For the skeletal maturity determination system that was trained using the dataset labeled with only SMIs, the mean absolute error (MAE) was 0.88 and the within-1 concordance rate was 73.1 %. Conversely, the system consisting of ROI extraction, ROI-based skeletal maturity determination, and final SMI prediction showed much better outcomes; the MAE was 0.34 and the within-1 concordance rate was 93.7 %.

Conclusions In this study, Fishmans SMI was confirmed as a reliable index for the determination of skeletal maturity from hand-wrist radiographs. A developed deep learning system automated the entire process consisting of ROI extraction, skeletal maturity determination for each ROI, and final SMI prediction. The systems accuracy in predicting skeletal maturity was outstanding. Thus, the system presented in this study can be applied effectively to determine the skeletal maturity of contemporary Korean children and adolescents.

목적 수완부방사선영상을 이용한 골령 평가에는 Greulich-Pyle(GP)법, Tanner-Whitehous 3(TW3)법 및 Fishman법이 주로 이용되고 있다. 본 연구에서는 건강한 현대 한국 소아 및 청소년의 수완부방사선영상을 이용해 위의 3가지 골령 평가 방법을 비교하여 Fishman의 골격성숙도지수(skeletal maturity indicator; SMI)의 유용성을 검증하고, SMI를 기반으로 하여 심층 신경망을 이용한 골격 성숙도 측정 딥러닝 시스템을 개발한 후 시스템의 정확도를 평가하고자 하였다.

재료 및 방법 본 연구를 위해 2012-2017년에 촬영된 좌측 수완부방사선영상 1,617매(남: 706, 여: 911; 연령 6-17세)를 수집하였다. GP법, TW3법 및 Fishman법에 따라 측정한 골령과 연대기적 연령의 관계를 대응 표본 t 검정 및 상관관계 분석을 이용하여 비교 평가하였다. 또한 Fishman법에 기반하여 골격 성숙도를 측정하는 완전 자동화 딥러닝 시스템을 개발하고자, SMI만으로 라벨링한 데이터를 이용해 학습을 시행한 시스템과 관심 부위, 관심 부위 별 골격 성숙도 및 SMI로 라벨링한 데이터를 이용해 학습을 시행한 시스템을 각각 개발하여 이들의 정확도를 평가하였다. SMI에 대한 참조 표준은 영상치의학 판독의 2인이 토의하여 작성하였다.

결과 TW3법의 남성 그룹을 제외하고는 3가지 방법에 있어 전체 그룹 및 성별 하위그룹에서 골령과 연대기적 연령 사이에 유의한 차이가 있었다. 그러나 3가지 방법에서 모두 골령과 연대기적 연령 사이에 높은 상관관계가 관찰되었다. SMI만으로 라벨링한 데이터를 이용해 학습을 시행한 시스템의 경우, SMI의 평균 절대 오차 값이 0.88, 1등급 내 일치도는 73.1 %였다. 관심 부위 추출, 관심 부위 별 성숙도 평가 및 최종 SMI 평가로 구성된 시스템의 경우, 보다 우수한 결과를 나타내어 그 값이 각각 0.34, 93.7 %였다.

결론 본 연구에서 Fishman의 SMI는 수완부방사선영상을 이용한 골격 성숙도 측정에 있어 신뢰할 만한 척도로 평가되었다. 또한 본 연구에서 관심 부위 추출, 관심 부위 별 골격 성숙도 측정 및 최종 SMI 예측으로 구성되는 전 과정을 자동화한 딥러닝 시스템이 개발되었으며, 이는 골격 성숙도 측정에 있어 우수한 정확도를 보여주었다. 따라서 개발된 딥러닝 시스템은 현대 한국 아동 및 청소년의 골격 성숙도 측정에 유효하게 사용될 수 있을 것이다.