Point cloud and IR intensity-based end mill state monitoring system using YOLO

Abstract

As adoption of smart-factory system in manufacturing becoming inevitable, autonomous monitoring system in the field of machining has become viral nowadays. Among various methods in autonomous monitoring, vision-based monitoring is the most sought-after. This system uses vision sensors integrated with detection models developed through deep learning. However, the disadvantage of being greatly affected by optical conditions, such as ambient lighting or reflective materials, critically affects the performance in terms of monitoring. Instead of vision sensors, LiDAR, which provides depth map by measuring light returning time using infrared radiation (IR) directly to the object, can be complementary method. The study presents a LiDAR ((Light Detection and Ranging)-based end mill state monitoring system, which renders strengths of both vision and LiDAR detecting. This system uses point cloud and IR intensity data acquired by the LiDAR while object detection algorithm developed based on deep learning is engaged during the detection stage. The point cloud data is used to detect and determine the length of the endmill while the IR intensity is used to detect the wear present on the endmill. Convolutional neural network based You Only Look Once (YOLO) algorithm is selected as an object detection algorithm for real-time monitoring. Also, the quality of point cloud has been improved using data prep-processing method. Finally, it is verified that end mill state has been monitored with high accuracy at the actual machining environment.

제조 분야에서 스마트 팩토리 시스템의 도입으로 인해 가공 과정의 무인 모니터링 시스템이 필연적으로 도입되고 있다. 무인 모니터링의 다양한 방법 중 비전 기반 모니터링이 가장 많이 쓰이고 있다. 해당 비전 기반 시스템의 경우 딥 러닝을 통해 개발된 감지 모델과 통합된 비전 센서를 사용한다. 하지만 주변 조명이나 반사 물질과 같은 광학적 조건에 크게 영향을 받는 단점은 모니터링 측면에서 성능에 치명적인 영향을 미치기에 이를 보완하는 대안이 필요하다. 이 연구에서는 비전 센서 대신 적외선(IR)을 물체에 직접 조사하여 빛의 왕복 시간을 측정하여 깊이 정보를 측정하는 LiDAR를 이용하여 비전 센서의 한계를 보완하는 시스템을 소개한다. 또한 비전과 LiDAR 감지의 장점을 모두 제공하는 LiDAR 기반 엔드밀 상태 모니터링 시스템을 제시한다. 이 시스템은 LiDAR에서 획득한 점 구름 정보 및 IR 강도 데이터를 사용하며, 딥 러닝을 기반으로 개발된 객체 감지 알고리즘은 감지 단계와 엔드밀의 길이를 감지하고 측정하는 데 사용되며 IR 강도는 엔드밀에 존재하는 마모 혹은 파손 정보를 감지하는 데 사용된다. 실시간 모니터링을 위한 객체 감지 알고리즘으로 YOLO(You Only Look Once) 알고리즘을 기반으로 하는 컨볼루션 신경망이 선택되었으며 데이터 전처리를 통해 포인트 클라우드의 품질을 향상시켰다. 마지막으로 실제 가공 환경에서 엔드밀 상태를 높은 정확도로 모니터링하는 과정을 진행하였다.