딥러닝 기반 고광택 표면의 미세 결함 탐지 정확도 향상

Abstract

With the development of technology and the recent establishment of smart factories, various automation cases have been shown in diverse manufacturing industries. They have improved productivity and reduced labor costs through automation and are further advancing performances through deep learning technologies. In particular, with the help of deep-learningbased image recognition methods, various inspection systems are getting improved in their accuracy and efficiency. However, there are still areas where visual inspection by a professional human inspector is still required for reasons such as diverse product shapes, surface properties, and defect states, where automatic inspection reliability is not secured. In order to perform automated inspection through deep learning, a vision system that can obtain a measurable image must be built, and a sufficient amount of data is required for learning to achieve the desired performance. In this research report, we propose an image acquisition method and deep-learning-based vision inspection system for detecting small and atypical defects on a product with a high gloss surface. A typical problem in learning-based visual inspection is the lack of anomaly data for the training, and thus we also propose a new data augmentation method. Specifically, we employ the Poisson image editing method to augment the dataset. To alleviate the difficult light-reflection problem due to the glossy surface, we also introduce new lighting structures and image acquisition processes. We also attempt to find the balances between the metrics, such as Accuracy, Precision, and Recall, such that our method can be effectively applied to industrial applications. To achieve this goal, transfer learning was applied to compensate for the lack of data and improve accuracy. In addition, in order to reduce the failures in feature extraction and recognition due to the small size of the defect compared to the original image, the input image was separated into an effective size for learning, and the model with the best performance was selected by comparing each pre-trained model. The extensive experiments confirmed that our method achieves an accuracy of 99.3% by deriving the optimal conditions by changing the parameters through the DOE.

기술의 발전과 최근 스마트팩토리의 구축과 함께 제조 산업 전반에 자동화가 이루어졌다. 기업은 자동화를 통해 생산성 향상, 인건비 감소의 효과를 얻었으며 딥러닝 기술의 발전으로 그 분야가 더욱 확대되어 가고 있다. 특히 합성곱 신경망을 이용한 영상 인식 분야의 딥러닝 기술의 발전에따라딥러닝기반의다양한검사방법이적용되고있는추세이다.하지만 여전히 제품 형상, 표면과 결함 상태, 자동 검사 신뢰성 미확보 등의 이유로 여전히 전문 인력의 육안 검사가 시행되고 있는 분야도 남아있다. 딥러닝을 통한 자동 검사를 하기 위해서는 측정 가능한 이미지를 얻을 수 있는 비전 시스템이 구축되어 있어야 하며 원하는 성능을 낼 수 있도록 학습에 충분한 양의 데이터가 필요하다. 본 연구 보고서에서는 고광택 표면의 제품 상에 미세하며 비정형 결함에 대한 이미지 취득 방법, 부족한 데이터 문제에 대한 해결 방법과 딥러닝 기반 검출 정확도 향상 방안에 대해 제안한다. 이미지 취득은 가변 조명과 표면 기울기를 측정하여 고광택 표면의 빛 반사에 의한 문제를 해결하였으며 데이터 부족에 대한 문제는 포아송 이미지 편집과 데이터 증량(Data augmentation)을 통해 학습에 충분한 데이터셋을 확보하였다. 또한 산업 현장에 적용할 수 있는 성능 신뢰성 확보를 위하여 정확도(Accuracy), 정밀도(Precision), 재현율(Recall)의 수치를 최대화 하는 것을 목적으로 하였다. 목적의 달성을 위하여 전이 학습(Transfer learning)을 적용하여 데이터 부족의 보완, 정확도 향상을 이루었다. 또한 원본 이미지 대비 결함의 크기가 작아 특징 추출 및 인식이 저하되는 것을 방지하기 위하여 이미지를 학습에 유효한 크기로 분리하여 학습하였으며 사전 학습된 모델 별로 비교하여 가장 성능이 좋은 모델을 선정하였으며 DOE를 통한 매개변수 변경으로 최적 조건을 도출하여 정확도 99.3% 달성을 확인하였다.