딥러닝을 활용한 핀 비전 검사 검출력 강화 및 추론 속도 향상에 관한 연구

Abstract

핀 비전 검사는 텔레매틱스(Telematics) 제조 현장에서 차량 하네스(Harness)와 조립되는 메인 커넥터 핀의 이상점 탐지 및 검출을 위해 활용되고 있으며, 규칙 기반(Rule-based)의 알고리즘 기법을 활용하여 인접한 핀(neighbor pin)들 간의 거리 측정 방식을 통해 Bent pin을 감지해내고 있다. 하지만 Bent Pin 이외의 불량 현상들을 검출을 해내지 못하는 한계점이 존재하여 차량 조립 시 불량이 지속 발생하고 있으며 전체 핀의 인식 및 거리 계산을 방식으로 하는 알고리즘의 복잡도로 인해 검사 시간 및 가성 불량이 증가하는 문제점도 안고 있다. 본 연구에서는 딥러닝 기반의 객체 검출(Object Detection) 방법을 활용하여 현재 핀 비전 검사에서 검출해내지 못하는 정형화 된 미세 이물 및 Bent Pin 이외의 핀 변형 불량을 감지하여 불량 검출력을 강화함으로써 제품 출하 이후의 불량률을 개선하고자 한다. 또한 복잡한 알고리즘을 통한 계산 방식이 아닌 특정 객체를 기반으로한 딥러닝 학습 방식을 활용하여 추론 속도를 향상시켜 공정 처리 시간을 단축함으로써 제품의 생산성을 높이는 방법을 제안한다. 정형화 되지 않은 불량이나 모조품 혹은 미승인품들의 경우는 정상 데이터들에서의 특징들을 추출하여 정상이 아닌 데이터가 감지되었을 때 이상점을 판별하는 이상점 탐지(Anomaly Detection) 기법을 통하여 불량을 감지한다. 최종적으로는 객체 검출 기법과 이상점 탐지 방법의 앙상블을 통해 정형화 및 비정형화된 불량을 모두 검출할 수 있는 방법론을 제안한다. 공정 데이터의 고질적인 문제인 데이터 부족 현상은 추가 불량 데이터 제작 및 데이터 증량(Data Augmentation) 기법을 활용한 데이터 증량 방식을 통하여 해결하였으며 추론 시간 최소화를 위해 실시간 객체 검출 방법 중에서 이미지 레벨의 정확도(Accuracy)와 F1 Score를 최대화할 수 있는 모델 중 가장 경량화된 모델을 적용하였고, 이상점 탐지 기법의 경우 이미지 레벨의 검출 AUROC를 최대화 하는 모델 중 가량 경량화된 모델을 적용 가능 하도록 연구하였다.

Pin Vision inspection is used in the Telematics manufacturing industry to detect abnormality of the main connector pin, which is directly connected to the vehicle harness. Currently, a bent pin is detected by calculating the distance between neighbor pins based on rule-based algorithms. However, there is a limitation that various failures, other than the bent pin, cannot be screened out by this conventional method. Specifically, there remain different kinds of failures appearing as NTF (No Trouble Found), and thus we need more sophisticated algorithms requiring more computation time to deal with such false negatives if we still want to use conventional rule-based algorithms. In this regard, this paper presents a new method to reduce detection failure cases by utilizing deep-learning-based Object Detection and Anomaly Detection, which can detect gray-area failures that the conventional methods generally miss, as stated above. This paper also introduces a method to reduce computation time by modifying conventional deep networks to have lightweight structures. Overall, experiments show that the detection rate is enhanced while the detection speed is also increased. To be precise with the proposed algorithm, Anomaly Detection performs their normal/anomaly decision first, where only normal data is used for training, without the need for anomaly data, and then Object Detection finds the parts to be inspected. To overcome lack of failure sample issue, this paper also introduces a new data augmentation method. Hence, there is no burden in preparing a large failure dataset for deep learning. The proposed learning process successfully finds feature maps that can easily differentiate between the normal and anomaly parts. The modified lightweight deep networks are shown to be effective both on GPU and CPU, and it is shown that the proposed method meets the real-time condition in the targeted inspection system. In terms of the accuracy metric, the proposed method is shown to provide the highest accuracy and F1 score among similar variants of the deep networks. The studies and methodologies in this paper can be modified and extended to other various vison-inspection systems.