Sound-based Remote Manufacturing Process Monitoring using Convolutional Neural Network (CNN)

Abstract

Smart factory is the main keyword in the field of manufacturing processes about the fourth industrial revolution. To realize the smart factory, making all pieces of device into smart devices that are connected to the centralized system to enable a real-time exchange of information is essential. Sound can be efficient means to make devices as smart devices because sound can contain the status information of various devices simultaneously, and it can be recorded easily outside of a device using only a microphone. In this study, multi-device operation monitoring system by analyzing sound is developed. Mic arrays for acquiring the sound were installed at the outside the devices and recorded the sounds from several devices simultaneously. By analyzing the recorded sound with log-mel spectrogram and Convolutional Neural Network (CNN), the system could detect the operational status of three devices with an accuracy of 71–92%. To improve the performance, virtual data set was created by composition of individual device operating sounds of different intensities. With this virtual data set, accuracy can be enhanced to 87% ~ 99% accuracy and, required sound data amount could be reduced. Developed system was applied successfully in monitoring experiments in two different environments: a workshop in which hand-operated device was used and a factory with a computer numerical control machine and verifying the performance.

스마트공장은 4차 산업혁명을 주제로 한 제조공정 분야의 주요 키워드다. 스마트 팩토리를 실현하기 위해서는 모든 기기를 중앙집중식 시스템과 연결된 스마트 기기로 만들어 실시간으로 정보를 교환할 수 있도록 하는 것이 필수적이다. 소리는 다양한 장치의 상태 정보를 동시에 담을 수 있고, 마이크만 사용하여 기기 외부에서 쉽게 녹음할 수 있기 때문에 기기를 스마트 기기로 만드는 효율적인 수단이 될 수 있다. 본 연구에서는 소리 분석을 통한 멀티 디바이스 작동 모니터링 시스템을 개발하였다. 소리 획득을 위한 마이크를 기기 외부에 설치하고 여러 기기의 소리를 동시에 녹음했다. 로그멜스펙트로그램과 합성곱 신경망(CNN)으로 녹음된 소리를 분석해 71~92%의 정확도로 3개 장치의 작동 상태를 탐지할 수 있었다. 성능 향상을 위해 강도가 다른 개별 기기 작동 사운드의 구성을 통해 가상 데이터 세트를 생성하여 학습시켰으며, 이를 통해 정확도를 87%~99%까지 높일 수 있으며, 필요한 사운드 데이터 양을 줄일 수 있다. 개발된 시스템은 수작업 장치를 사용한 작업장 및 CNC 기계가 설치된 공장 환경, 알루미늄 주조공장 등에 적용되어 성공적으로 모니터링을 수행하였다.