딥러닝 기반 제조공정 비전 검사 정확도 및 추론 속도 향상

Abstract

영상 인식 분야의 딥러닝(Deep Learning) 기술의 발전에 따라 제조 현장에서의 비전(Vision) 검사도 기존의 규칙 기반(Rule-based) 검사 알고리즘(Algorithm)의 한계를 극복하기 위한 수단으로 딥러닝 기반의 다양한 검사 방법이 도입되어 적용되고 있다. 딥러닝 기반의 객체 검출(Object Detection)은 최근 많은 연구가 이루어 지고 있으며 인간의 인식 수준을 뛰어넘는 높은 정확도(Accuracy)를 보이고 있다. 본 논문에서는 딥러닝 기반의 객체 검출 기법을 적용하여 조명 설계 및 피사체의 촬상을 위한 정밀 위치 보정 장치가 없고 주변 부품에 의한 가려짐(Occlusion)이 발생할 수 있는 제조 현장에서 스크류 조립 누락 검사의 가성 불량(False Negative)을 최소화하고 정확도를 향상시키는 방안을 모색하였다. 실험을 위해 양품 대비 상대적으로 확보가 어려운 불량 이미지 데이터를 영상 증량법(Image Augmentation)을 통해 증대하였고 딥러닝 기반 비전 검사의 문제점으로 부각되는 전체 데이터셋(Dataset)에 대한 수동 레이블링(Labeling)이 요구되는 지도 학습(Supervised Learning) 방식을 준 지도 학습(Semi Supervised Learning)으로 변경하고 자기 훈련(Self-training)을 통해 수동 레이블링의 비율을 최소화하여 작업 효율을 높이는 방안을 검토하였다. 또한 검사 속도 향상을 위해 네트워크 경량화 및 엔비디아 텐서알티 라이브러리(NVIDIA TensorRTTM Library)를 적용하여 경량 하드웨어(Hardware)에서도 현장 적용이 가능한 추론(Inference) 속도를 보이는 최적화 방안을 제안하였고 정확도와 F1 점수(Score)로 성능을 확인하였다.

With the development of deep learning in the field of image recognition, deep learning-based inspections have been introduced and applied for visual inspection in the field of manufacturing to overcome the limitations of the existing rule-based inspection algorithm. In recent years, deep learning-based object detection has been extensively studied and has yielded high levels of accuracy beyond those of human recognition. In this study, the deep learning-based object detection technique was applied. The purpose was to inspect screw assemblies and detect missing screws for quality control at a manufacturing site, even in the event of ambient light changes or partial occlusion of surrounding components. I attempted to minimize false negative and improve accuracy. For these experiments, the image augmentation method was used to increase defective image data, which is more difficult to obtain than good image data, and to decrease manual labeling of the entire dataset, which is a challenge with deep learning-based visual inspection using supervised learning. This study examined ways to improve the work efficiency by minimizing the ratio of manual labeling through self-training, which is an approach of semi-supervised learning. In addition, by applying neural network compression and the NVIDIA TensorRTTM library to improve the inspection speed, I proposed an optimization method that shows inference speed that can be applied in the field of embedded hardware. Additionally, I confirmed an improvement in the performance in terms of accuracy and F1 score.