Automated human identification system via the construction of a database using convolutional neural networks in dental panoramic radiographs

Abstract

2003년 2월에 발생한 대한민국 대구지하철 화재 참사 및 2011년 3월에 발생한 동일본 대지진 등 대형 참사가 발생하였을 때 희생자 개인식별은 법치의학적으로 매우 중요한 주제이다. 인체에서 강도가 높은 조직 중 하나인 치아를 개인식별에 사용하는 것은 잠재적인 후보자를 압축하고 개인식별의 정확도를 높이는데 도움이 된다. 치과 진료가 보편화되면서 한 개인이 평생 동안 한 장 이상의 파노라마방사선영상 기록을 남길 가능성이 매우 높아졌고, 평균 수명과 함께 구강위생수준이 증가함에 따라 잔존 치아수도 증가했다. 이로 인해 개인이 가지는 치과 치료 패턴은 더욱 다양해지고 개별화되어 한 개인을 나타내는 유일무이한 특징점이 될 수 있다. 본 연구에서는 파노라마방사선영상을 이용하여 딥러닝으로 사전 훈련된 객체인식 모델을 이용하여 치아의 변화를 인식 후 개인의 치열에 대한 데이터베이스를 자동으로 구축하고, 개인식별을 자동화하는 새로운 방법을 제안하고자 한다. 2000년 1월 1일부터 2020년 11월 30일까지 서울대학교치과병원에 진료목적으로 내원하여 최소 2장 이상의 파노라마 방사선사진을 촬영한 20-49세 환자 1,029명의 방사선사진 중 최근 및 과거 사진을 각각 사후(postmortem) 및 사전(antemortem) 영상으로 가정하여 쌍을 이루어 영상을 수집하였다. 상기 영상과 중복되지 않는 1,638장의 파노라마방사선영상으로 사전 훈련된 딥러닝 모델을 사용하여 총 2,058장의 영상에서 치아 번호 및 자연치, 보철물, 근관치료가 수행된 근관, 임플란트 정보를 자동으로 탐지하였다. 탐지된 정보는 최종적으로 6가지의 치아 상태를 결정할 수 있도록 수치화되었다. 6개의 상태는 자연치, 처치치(근관치료가 수행되지 않음), 처치치(근관치료가 수행됨), 발치, 가공치, 임플란트이다. 1,029명의 가장 최근 영상과 과거 영상이 각각 촬영된 시점 간 시간 기간을 일수로 계산하여 이 시간 간격에 따른 유사도 점수가 통계학적으로 유의한 차이를 보이는지 Students t-test을 시행하였다. 개인식별 시뮬레이션 과정은 미지의 사후 영상이 제시되었다고 가정하고 이 사후 영상의 치열을 기준으로 총 세 단계로 구성하였다. 첫번째 단계에서는 모든 개인의 사전 치열 정보를 상기 6가지 상태에 근거하여 데이터베이스로 구축하였다. 두번째 단계에서는 미지의 사후 영상과 기존 1,029명의 사전 영상과의 유사도 점수(similarity score)를 계산하였다. 최종 단계에서는 점수화된 유사도를 내림차순으로 정렬하여 상위 20.0%, 10.0%, 5.0% 후보군을 추출하여 미지의 사후 영상과 매칭되는 사전 영상의 순위를 측정한 뒤, 해당 순위의 백분율을 성공률(success rate)로 변환하였다. 또한, 성별군 안에서 각각 동일한 방식으로 성공률을 추가적으로 계산하였다. 한편, 유사도 점수가 통계학적으로 유의미한 차이를 보이는 cut-off value보다 촬영시점 간 기간이 적은 구간을 한정하여 상기 성공률을 동일한 방식으로 도출하였다. 본 연구에 참가한 개인의 성별 분포는 남성 465명(45.19%), 여성 564명(54.81%)이었고 평균 연령은 35.49±15.27세였다. 또한 최근 및 과거 파노라마 방사선사진 촬영시점 간 기간의 평균값은 2,197.5±1,934.7일이었다. 사전 훈련된 객체인식 딥러닝 모델의 성능은 자연치, 보철물, 근관치료가 시행된 근관, 임플란트에 대하여 평균 정밀도(average precision)가 각각 99.1%, 80.6%, 81.2%, 96.8%로 나타났다. 한편 평균 재현율(average recall)은 동일한 항목에 대하여 각각 99.6%, 84.3%, 89.2%, 98.1%로 나타났다. 촬영시점 간 기간에 따른 유사도 점수의 Students t-test 시행 결과 약 17.7년을 기점으로 통계학적으로 유의미한 차이를 나타내었다. 미지의 사후 영상에 대해 매칭된 사전 영상은 상위 20.0% 후보군을 추출하였을 때 83.2%의 성공률을 나타내었으며, 상위 10.0%, 5.0% 후보군을 추출하였을 경우에는 각각 72.1%, 59.4%의 성공률을 보였다. 성공률은 성별 간 차이를 나타내었는데, 남성의 경우 상위 20.0%, 10.0%, 5.0% 후보군 추출시 71.3%, 64.0%, 52.0%의 성공률을 보였고, 여성의 경우 같은 경우에 97.2%, 81.1%, 66.5%의 성공률을 보였다. 한편, 촬영시점 간 기간이 17.7년보다 짧은 구간에 한정하여 동일한 방식으로 성공률을 도출하였다. 상위 20.0% 후보군을 추출하였을 때 84.0%의 성공률을 나타내었으며, 상위 10.0%, 5.0% 후보군을 추출하였을 경우에는 각각 72.7%, 59.4%의 성공률을 보였다. 남성의 경우 상위 20.0%, 10.0%, 5.0% 후보군 추출시 71.3%, 63.6%, 51.8%의 성공률을 보였고, 여성의 경우 같은 경우에 97.8%, 81.8%, 66.9%의 성공률을 보였다. 본 연구에서는 개인의 치열 변화 가능성을 고려한 데이터베이스 검색 알고리즘이 개인식별을 수행하는데 있어서 효과적이며 딥러닝을 통한 자동화가 가능함을 확인하였다.

Purpose: The aim of this study was to construct a database of individuals dentition automatically with dental panoramic radiographs (DPRs), and to propose a novel method to identify individuals by recognizing their dentition changes using a pretrained object detection network which was a convolutional neural network modified by EfficientDet-D3. The feasibility of this method was evaluated by simulating an automated human identification process. Materials and Methods: Among adults aged 20 to 49 years who took DPRs more than two times, recent and past images were assumed to be postmortem (PM) and antemortem (AM), respectively. The dataset contained a total of 2,058 paired DPRs per patient. The simulation algorithm was composed of three phases based on the dentition of unknown PMs. When constructing a database of AM dentition in phase 1, information on each individuals teeth state was distinguished in six different states: natural teeth, treated teeth without canal filling, treated teeth with canal filling, missing teeth, pontics, and implants. In phase 2, the degree of similarity was calculated for every pair of 1,029 individuals. In the final phase 3, the scored similarities were sorted in descending order and a matched AMs rank identical to an unknown PM was measured by extracting the top 20.0%, 10.0%, and 5.0% candidate groups. Finally, the percentage of that rank was calculated as the success rate. Additionally, the values of similarity score were compared to analyze whether the similarity scores according to the imaging time interval showed a statistically significant difference. Results: The similarity showed a statistically significant difference between the two groups based on the period between the date of the most recent DPR and that of the past DPR imaging at 17.7 years. The matched AM was ranked in the candidate group with a success rate of 83.2%, 72.1%, and 59.4% in the entire imaging time interval for extraction of the top 20.0%, 10.0%, and 5.0% candidate group, respectively. On the other hand, the success rate in a group with less than 6,450 days of imaging time interval was 84.0%, 72.7%, and 59.4% for same order, respectively. The success rate was dependent upon the sex. The success rate of the top 20.0%, 10.0% and 5.0% candidate groups in the entire imaging time interval was 71.3%, 64.0% and 52.0%, respectively, among the male subjects, while that of the same candidate groups was 97.2%, 81.1% and 66.5%, respectively, among the female subjects. In the imaging time interval of fewer than 6,450 days, the success rate of the top 20.0%, 10.0% and 5.0% candidate groups was 71.3%, 63.6% and 51.8%, respectively, among the male subjects, while that of the same candidate groups was 97.8%, 81.8% and 66.9%, respectively, among the female subjects. Conclusion: In the forensic human identification process, the developed method was useful for dental professionals, effectively to reduce the size of the AM candidate group to be reviewed. If a large database would be constructed by adding various conditions other than teeth information, the accuracy of human identification would be improved even further.