컴퓨터 보조진단용 딥러닝의 취약성 연구

Abstract

최근 딥러닝 기법의 발전은 고전적인 영상처리 알고리즘에 비해 월등한 성능을 보이면서 의료영상 전문가들의 주목을 받았고, 컴퓨터 보조진단(Computer-Aided Diagnosis, CAD)의 미래 기술로서 각광을 받고 있다. 그러나 딥러닝은 내재적인 불확실성에 대한 우려가 제기되고 있으며, 따라서 임상에 적용하기 전에 세밀하게 조사할 필요가 있다. 적대적 공격은 이러한 딥러닝 모델의 불확실성을 조사하기 위해 이용하는 기법으로서 의도적으로 교란 신호가 부가된 적대적 예제를 만들어 딥러닝에 노출시키고 그에 따른 성능 저하를 평가하는 조사 방법이다. 이 연구는 초보적인 사물 분류 및 CT 폐 결절 검출용 딥러닝 모델을 대상으로 적대적 공격을 가하거나 방어 기법을 적용함으로써 취약성과 견고성을 조사한다.

이 연구는 각 MNIST, CIFAR-10, LIDC-IDRI 데이터세트로 훈련된 세 가지 딥러닝 모델의 취약성 및 방어 기법 적용에 따른 견고성을 평가했다. 앞의 두 가지 딥러닝 모델을 교란하는 적대적 예제를 생성하기 위해 네 가지 최신 적대적 공격 알고리즘과 세 가지 방어 기법을 사용했으며, 이를 통해 CT 폐 결절 검출용 딥러닝 모델의 취약성 및 견고성 평가 실험에 사용하기에 적합한 공격 알고리즘과 방어 기법을 선택하였다.

MNIST 데이터세트로 훈련시킨 딥러닝 모델의 실험 결과, 분류 성능이 네 가지 다른 알고리즘의 적대적 공격 각각 0.98에서 0.70, 0.78, 0.01, 0.02로 하락했으며, 세 가지 다른 방어 기법을 적용한 결과, 대부분 0.98∼0.99 수준으로, 일부 0.7~0.8 수준으로 상승했다. CIFAR-10 데이터세트로 훈련시킨 딥러닝 모델의 성능 또한 공격 전 0.73에서 공격 후 각각 0.11, 0.16, 0.13, 0.02로 하락했으며, 세 가지 다른 방어 기법을 적용한 결과, 대부분 0.60 안팎으로 상승했다.

CT 폐 결절 검출 모델의 성능은 교란 신호의 크기에 따라 점진적으로 감소했다: ROC 곡선 하방 면적(AUROC)이 공격 전 0.912에서 공격 후 0.885, 0.854, 0.848로 하락했고, 민감도가 공격 전 0.929에서 공격 후 0.887, 0.840, 0.778로 하락했다. 방어 기법을 적용한 결과, AUROC가 0.912에서 0.931로 상승했으며, 각 공격에 대해 0.896, 0.894, 0.882로 기존 모델보다 견고한 성능을 보였고, 민감도는 기존 모델보다 다소 낮아졌지만 특이도를 큰 폭으로 상승시켜 성능 개선의 가능성을 보였다.

딥러닝 모델은 미약한 교란 신호가 부가된 적대적 사례에 취약하며, 여러 가지 공격에 대해 다양한 수준의 성능 저하를 보였다. 또한 방어 기법을 통해 딥러닝 모델을 견고하게 만들 잠재적인 가능성을 볼 수 있었다. 교란 신호와 적대적 공격에 대한 취약성 측면에서 CAD 시스템을 위한 딥러닝 모델을 검증할 필요가 있다.