딥러닝 기반의 비정형 결함 표면 검사 시스템 구축

Abstract

Image processing technology based on deep learning that incorporates convolutional neural networks (CNNs) has made remarkable progress. It has been applied to various industrial domains with the establishment of smart factories. Although CNNs have achieved high recognition rates in image classification tasks, it is difficult to directly incorporate CNNs in industrial applications. In particular, lack of data is one of the major challenges while incorporating deep learning technology. Furthermore, in the context of image processing, the presence of atypical defects at irregular positions and ambiguity between defects and design traits make it difficult to extract defects as features. The objective of this study is to explore methods of data augmentation and to develop an optimum object detection network for film-coated materials that are used as the surfaces of home appliances. Data augmentation and image synthesis based on Poisson image editing were performed for sufficient data, and the augmented data was employed as a training dataset. The objective function was to maximize the accuracy and minimize the false negative rate. Object detection was subsequently applied for recognizing atypical defects present in a surface having various designs. By comparing and verifying the performances of various architectures, it is observed that a faster R-CNN with ResNet-101 as the feature extractor achieves the highest accuracy and less than 1% false negative rate in singular architectures. Furthermore, to complement each architecture, the ensemble learning method was applied to three models of object detection, and the best performance is found to have an accuracy of 99.6%.

딥러닝 기술의 발전으로 영상 및 이미지 상의 사물을 CNN (합성곱 신경망, Convolutional Neural Networks)을 통해 인식하고 서비스를 제공하는 시장이 커지고 있다. 산업계에서도 스마트 팩토리의 구축과 함께 딥러닝 기술의 적용이 활발하게 시도되고 있고, CNN을 활용한 표면 품질 검사가 확산되고 있다. CNN을 통한 이미지 인식 분야는 높은 인식률과 성능을 보이고 있지만, 충분한 양의 데이터를 전제로 하며 기존 모델을 산업현장에 바로 적용하는 것은 어려움이 있다. 특히, 비전(Vision) 시스템이 갖추어져 있지 않은 산업현장은 결함 이미지에 대한 데이터가 부족하고, 이는 딥러닝 기술을 산업현장에 시도하기에 가장 큰 제약으로 작용한다. 또한 표면 결함이 불규칙적인 위치에 산발적으로 발생하고, 다양한 디자인과 패턴이 있는 제품의 표면에 발생하는 비정형 결함의 경우 결함을 특징으로 추출하는 것이 더욱 어렵다. 본 연구 보고서에서는 가전 표면 소재용 필름의 데이터 부족 문제에 대한 해결 방법과 딥러닝 기반의 비정형 결함 검사 시스템을 제안한다. 데이터 부족 문제는 포아송 이미지 편집 기법을 활용하여 결함 이미지를 합성하고, 데이터 증량(Data Augmentation)을 통해 학습 데이터셋을 설정하였다. 그리고 해당 제품에 가장 최적의 성능을 낼 수 있는 시스템을 구축하기 위해 미탐률(False Negative Rate)을 최소화하고 정확도(Accuracy)를 최대화하는 것을 목적으로 하였다. 이를 위해 제품 본연의 디자인 상부에 발생된 비정형 결함을 특징으로 인식할 수 있도록 객체 검출(Object Detection) 기법을 적용하였다. 다양한 아키텍처의 성능을 비교 검증한 결과 Faster R-CNN에 ResNet-101을 Feature Extractor로 적용한 아키텍처가 단일 모델로는 가장 높은 정확도와 1% 미만의 미탐률을 달성하였다. 그리고 각 아키텍처를 상호 보완하기 위하여 객체 검출의 3개 모델에 앙상블(Ensemble) 학습 기법을 적용한 결과, 정확도 99.6%로 최상의 성능을 확인하였다.