Deep Learning Algorithms for Visual Inspection

Abstract

Automated visual inspection is key to productivity in modern industry. Recently, advances of deep learning technology have brought various data-driven methods to visual inspection and outperform previous rule-based image processing approaches. However, the application of deep learning to visual inspection tasks is hampered by the scarcity of images of defective components, because defects are rare in modern manufacturing, and by a general lack of labeled images, because labeling is expensive. These limitations of data restrict the use of classifiers in visual inspection. In this paper, we propose two novel algorithms of anomaly detection and semi-supervised learning, which are highly related to handling these data limitations in deep learning. First, we introduce a cross-reconstruction based autoencoder (CRAE) to disentangle image features for anomaly detection. An autoencoder learns the latent features of data through reconstructing new data from those features. In anomaly detection, these latent features for reconstruction can also be used for classification, but it is necessary to separate the features which represent attributes shared by a class of data from those which represent variations within that class for finding better latent representations of class determination. Given a pair of images from the normal class, CRAE encodes shared and variation features from each image, switches the variation features between the pair, and reconstructs the images. It then encodes the reconstructed images again to find their latent features, and uses the similarity of their shared features to identify anomalies. CRAE outperformed other classifiers in anomaly detection using the MVTec AD dataset of technical images. It also achieved AUROCs of 0.927 for Fashion-MNIST and 0.666 for CIFAR-10 image datasets, which are better than other state-of-the-art autoencoder based methods. Second, we introduce feature concentration, in which features from annotated images of defective and normal components are separated in feature space by moving them towards cluster centers. We apply feature concentration to consistency regularization in semi-supervised classification, in which only a small proportion of the data is annotated. Results were compared with those from existing approaches for unbalanced and semi-supervised data, using images obtained during inspection of a smartphone component. In a supervised setting, average accuracy increased by around 5%, and in a semi-supervised setting, the improvement varied between 7% and 11%, depending on the supervision ratio. We also applied feature concentration to more general public datasets, where it again outperformed the other methods.

비전 검사는 산업 현장의 생산성을 높이는데 중요한 역할을 하는 공정으로 이를 자동화하고자 하는 노력이 지속적으로 이루어지고 있다. 최근 딥러닝 기술의 발전에 따라 다양한 종류의 데이터 기반 비전 검사가 연구되고 기존의 룰 기반 방법을 대체하고 있다. 하지만 비전 검사는 불량 데이터가 매우 적은 클래스 불균형 문제, 레이블된 데이터를 얻기 힘든 문제가 있다. 딥러닝 기술을 비전 검사에 성공적으로 적용하기 위해서는 이러한 데이터 제약에 대한 고려가 필수적이다. 우리는 본 논문에서 데이터 제약을 다루는 대표적인 접근인 이상치 탐지와 반지도 학습에 기반한 두가지 새로운 알고리즘을 제안한다. 첫번째로 우리는 교차복원에 기반한 오토인코더 구조 (CRAE) 를 통해 영상의 특징을 분류하는 방법을 제안한다. 오토인코더는 입력 영상을 압축하여 잠재 특징을 얻고, 이를 다시 입력 영상에 가깝게 복원하는 과정을 통해 영상을 대표하는 잠재 특징을 배운다. 이상치 탐지에서 이런한 잠재 특징을 분류를 위해 사용할 수 있지만, 클래스의 결정에 영향을 미치는 요소들을 정확하게 표현하기 위해서는 잠재 특징 내의 공유 요소와 변화 요소를 분리할 필요가 있다. CRAE는 두 개의 입력 영상으로부터 공유 특징과 변화 특징을 추출하고, 변화 특징을 서로 바꾼 후, 상대 입력 영상을 복원하는 과정으로 학습된다. 그리고 입력 영상과 출력 영상의 공유 특징의 유사도를 이용해 이상 정도를 정의한다. CRAE는 MVTec AD 데이터셋을 이용한 이상치 탐지 실험에서 다른 분류기보다 좋은 성능을 보였고, Fashion-MNIST와 CIFAR-10 데이터셋에서 각각 0.927, 0.666의 AUROC를 달성함으로써 오토인코더에 기반한 다른 방법들보다 좋은 성능을 달성했다. 두번째로, 우리는 분류기의 특징 공간 상에서 정상과 불량 영상의 특징을 각 특징 군집의 중심으로 이동시키는 feature concentration 방법을 소개한다. Feature concentration을 반지도 학습의 정규화 방법으로 적용함으로써 매우 적은 수의 레이블드 데이터 정보를 이용한 분류를 수행할 수 있다. 우리는 실제 스마트폰 검사 공정의 영상 데이터를 사용한 실험을 통해 제안 방법이 지도 학습에서 5%, 각기 다른 감독 비율을 가지는 반지도 학습에서 7에서 11%의 성능 향상이 있음을 보였으며, 이를 또한 세가지 공개된 데이터셋에 적용하여 성능 향상을 확인하였다.