A Sound-based Real-Time Machine Monitoring System in Edge Computing

Abstract

데이터 활용에 대한 중요성이 대두되면서, 산업현장은 다양한 센서의 유의미한 정보를 통한 스마트 공장화를 지향하고 있다. 스마트 공장화를 위한 첫번째 단계는 공장에서 발생하는 영상, 전류, 소리 등 데이터를 수집하고 이를 통해 기계 장비를 모니터링하는 것이다. 많은 종류의 센서 중, 소리 데이터는 현장의 많은 정보를 담고 있을 뿐 아니라, 쉽게 획득할 수 있는 경제적인 데이터이다. 하지만 소리 데이터 원본은 비교적 용량이 크다는 점과 개인정보 보호의 어려움으로 인해 중앙 데이터 센터에서 다루기에는 제약사항이 많다. 이를 해결하기 위해, 본 연구에서는 에지 컴퓨터를 기반으로 소리 데이터 분석을 통한 실시간 장비 가동 모니터링 시스템을 제안한다. 제안하는 시스템은 에지 컴퓨터 역할을 수행하는 Jetson Nano와 데이터 취득을 위한 마이크 어레이 Respeaker Mic Array v2.0로 구성된다. 이 시스템을 이용하여 공작기계로부터 발생하는 소리를 녹음한 후, 무작위 혼합, 소리의 진폭 조정 등을 통해 데이터를 증강하였으며, 신호 처리 구간에서 모델에 적합한 최적의 파라미터를 선정하였다. 또한, 에지 컴퓨팅을 위해 작지만 빠른 추론이 가능하며, 높은 정확도를 갖는 모델을 개발하였다. 실제 공장에서 발생할 수 있는 노이즈에 대한 영향을 고려하여 Autoencoder 기법이 사용되었다. 이 시스템은 시제품을 제작하는 연구실 장비들을 이용하여 개발되고 검증되었으며, 실제 소품종 대량생산을 하는 제조업체에 적용되었다. 결과적으로 이 시스템은 93%의 정확도와 1.1초의 추론 시간으로 장비들의 작동상태를 모니터링하였다.

As the importance of data utilization increases, manufacturing industries aim to become smart factories through meaningful information from various sensors. The priority is to collect data generated in fields and monitor the machine. Among many types of data, sound is not only easily acquired but also economic data containing much site information. However, there are many restrictions to be addressed in the central data center because sound sources are relatively large and complex to protect privacy. We propose a sound-based machine monitoring system embedded in an edge computer to overcome these limitations. The proposed system consists of Jetson Nano, an edge computer, and a microphone array Respeaker v2.0 for data acquisition. The recorded sounds are augmented with random mixing and amplitude adjustment then optimal parameters are selected. To reduce the computational cost, a model is designed to be small but capable of fast inference and high accuracy. Considering the noise generated in the environment, the model is trained using a dataset generated by an autoencoder network. This system is developed and verified in a lab environment and then demonstrated at a manufacturing site. As a result, this model monitors the operation state of the target machine with an accuracy of 93% and an inference time of 1.1 seconds in a noisy environment.