다중입력 딥 네트워크를 이용한 금속 표면 디펙의 디포커스 디블러링에 관한 연구

Abstract

최근 딥러닝의 급속한 발전에 따라 산업계에서는 불량 검출, 불량 분류, 그리고 불량 분석 등 다양한 분야에 딥러닝 기술을 활용하고 있다. 2015년 발표된 ResNet의 경우 이미지 분류 정확도에서 인간을 뛰어 넘는 성능을 보여주었으며 이미지 분류의 기본 모델로 다양하게 사용되고 있다. 이러한 딥러닝의 뛰어난 성능은 대용량 데이터 분석 시 기존 엔지니어(Engineers)와 오퍼레이터(Operators)가 분석할 때보다 빠르고 정확하게 분석할 수 있게 하며 기업의 생산성 향상에 기여하고 있다.

본 논문에서는 광학 검사 중 발생할 수 있는 디포커스 블러(Defocus Blur) 상황에서 흐릿한 이미지를 선명하게 복원하고 복원된 이미지를 얼마나 정확히 분류 할 수 있는가에 대한 문제를 다룬다. 블러 필터(Blur Filter) 크기를 변화시키면서 디포커스 블러 이미지를 다양하게 생성하고 실 상황에서 강인한 분류 성능을 낼 수 있는 방안을 모색한다.

이미지 복원에서 사용되는 UNet 모델을 기초로 디포커스 디블러(Defocus Deblur) 완성도를 평가하며 보다 뛰어난 성능을 위해 새로운 블러 데이터셋을 구축하고 다중입력(Multiple Inputs) UNet (MIUNet)을 제안한다. 디포커스 디블러 성능에 대한 평가는 복원 전과 후의 이미지 분류 정확도를 이용해서 평가하며 이미지 분류 정확도 평가는 분류 성능이 뛰어난 ResNet을 이용한다. 블러 필터로 만들어진 디포커스 블러 디펙 이미지를 MIUNet으로 복원한 후 이미지 분류 정확도가 개선됨을 보인다.

본 연구를 통해 제조 현장에서 디포커스 디블러로 복원된 이미지의 사용 가능성과 디포커스 디블러 성능이 블러 정도에 따라 성능의 편차가 있다는 한계점을 동시에 확인한다. 실제 제조 현장 상황을 가정하여 선명한 이미지와 흐릿한 이미지가 섞인 케이스별로 디포커스 디블러를 적용한 결과 적용하기 전보다 이미지 분류 정확도가 개선됨을 보인다. 본 연구 결과를 제조 현장에 적용함으로써 디포커스 블러로 인해 정확하게 분류하지 못했던 이미지를 정확하게 분류할 수 있을 것으로 기대하며 이는 제조 경쟁력을 확보하는데 기여할 것이다.

With the recent rapid development of deep learning, the industry uses deep learning technology in various fields such as defect detection, defect classification, and defect analysis. In the case of ResNet, published in 2015, it showed performance that surpasses humans in image classification accuracy and is widely used as a basic model for image classification. Such excellent performance of deep learning enables faster and more accurate analysis than existing engineers and operators when analyzing large data, and contributes to the improvement of corporate productivity.

In this paper, we deal with the problem of how to clearly restore a blurred image and classify the restored image in a defocus blur situation that may occur during optical inspection. We create various defocus blur images while changing the blur filter size and research a method that can produce strong classification performance in actual situations.

Based on the UNet model used in image restoration, we evaluate the performance of the defocus deblur, build a new blur dataset for better performance, and propose a multiple inputs UNet (MIUNet). The defocus deblur performance is evaluated using the image classification accuracy before and after restoration, and the high-performance ResNet is used to evaluate the image classification accuracy. It shows that after restoring the defocus blur defect image created by the blur filter to MIUNet, the image classification accuracy improves.

In this study, we simultaneously confirm the usability of the image restored to the defocus deblur at the manufacturing site and the limit point that the defocus deblur performance varies depending on the degree of blurring. As a result of applying the defocus deblurring for each case where a clear image and a blurry image are mixed it is shown that the image classification accuracy is improved as compared with before the defocus deblurring. By applying the results of this research to the manufacturing site, it is expected that images that could not be accurately classified by the defocus blur can be accurately classified, which will contribute to ensuring manufacturing competitiveness.