On the Effects of Image-based Algorithmic Suggestions to Bearing Fault Inspectors

Abstract

With the wide adoption of predictive maintenance in the past decade, visual inspection using imaging devices has become more important in machinery operation and maintenance (O&M). A variety of imaging devices like endoscope and thermal imaging camera are used to check faults in areas invisible or inaccessible to human eyes. These inspections are now becoming the center of general maintenance work and are increasingly being performed by general maintenance engineers who have limited experience in fault diagnosis. However, human-oriented visual inspection has several major shortcomings including variability of accuracy depending on inspectors expertise level and inconsistency of decisions among the inspectors. To address these shortcomings, a plethora of research has been undertaken in computer vision and inspection automation. Recently, several researchers applied deep learning-based solutions to machine fault diagnosis problems and achieved promising performance. A recent survey indicates that predictive maintenance is expected to be one of the first fields where AI-based technologies, such as deep learning, will be put into practice. Accordingly, there is a great interest in understanding how effective the AI-based technologies will be if applied in actual industrial settings. But, previous studies have focused on the isolated performance of deep learning-based solutions and have not measured the full effect of the actual users utilizing them. In the field of medicine, however, computer-assisted diagnostics have already been put into practical use since the late 1990's, and active research has been conducted on the effect on radiologist performance. To the best of our knowledge, this study is the first published research in the field of predictive maintenance that measured the effect of algorithmic suggestion to the human user. We developed a deep learning-based algorithmic suggestion system for bearing fault detection using image data from 138 wind turbines. Then, we performed a user experiment to measure the effect on the technical inspectors with varying expertise level. Thirty-four generalists and twenty specialists participated in the experiment. The results showed that the algorithmic suggestion system had a statistically significant impact on improving the inspectors specificity and time efficiency. In the case of cognitive load, it reduced for the generalists but slightly increased for the specialists. Both groups found the algorithmic suggestion system useful for their task and displayed willingness to reuse it in the future. Also, we have found that the effect varied depending on the level of expertise. The generalists showed greater improvements than the specialists in specificity and time efficiency. As a result, with the algorithmic suggestion system, the generalists improved to a level that was not statistically different from the unaided specialists. The result revealed that each group made different types of mistakes in image classification. The algorithmic suggestion system was able to help in the weak areas of each group and contribute to the correct classification of images in the task.

최근에 예지보전 (Predictive maintenance) 개념이 유지보수 영역(O&M)에 폭넓게 도입되면서, 각종 영상 장비를 이용한 검사가 더욱 중요해 지고 있다. 내시경, 열화상 카메라 등이 사람의 눈에 보이지 않거나 접근할 수 없는 영역의 결함을 확인하기 위해 사용된다. 이러한 고장 검사는 이제는 일반 유지보수 업무의 중심이 되어 가고 있으며, 이에 따라 고장 진단 경험이 부족한 일반 정비 기술자들에 의해 수행되는 경우도 늘어나고 있다. 그러나 사람이 행하는 육안 검사는 검사자의 전문성 수준에 따라 정확도가 달라지는 점, 여러명의 검사자가 있을 경우 진단의 일관성이 떨어지는 점 등 몇 가지 주요 문제가 있다. 이러한 단점을 해결하기 위해 컴퓨터 비전 및 검사 자동화에 분야에서 많은 연구가 수행되었다. 최근 여러 연구자들이 기계 결함 진단 문제에 딥러닝 솔루션 (Deep learning solution) 을 적용하여 매우 높은 정확성을 달성하였다. 기존 연구에서는 예지보전 분야가 딥 러닝 등 인공지능 기반 기술이 가장 먼저 실용화될 분야로 예측된 바 있으며. 이에 따라 실제 산업 현장에서 적용할 경우의 효과에 대한 기대가 있다. 그러나 이전의 연구들은 딥러닝 기반 기반 솔루션의 자체적인 진단 정확성에만 초점을 맞추고 있으며, 실제 사용자가 이를 활용할 경우의 효과까지는 측정한 바가 없다. 이에 반해, 의학 분야에서는 이미 90년대 후반부터 컴퓨터 지원 진단(Computer Aided Diagnostics) 이 실용화되었으며, 영상 의학과 의사의 진단 정확성과 업무 효율성에 미치는 영향에 대한 연구가 활발히 진행되고 있다. 이 연구는 예지 보전 분야에서 알고리즘 기반 진단 지원이 인간 이용자에게 미치는 영향을 측정한 첫 번째 연구다. 138개의 풍력 발전기에서 취득한 내시경 사진 데이터를 사용하여 베어링의 고장 진단을 위한 딥러닝 기반 알고리즘 기반 진단 지원 시스템을 개발했다. 다양한 전문성 수준을 가진 기술자에 대한 영향을 측정하기 위한 사용자 실험을 실시했다. 34명의 일반 기술자와 20명의 고장 진단 전문가들이 이 실험에 참여했다. 실험 결과에 의하면 기술자가 알고리즘 기반 지원을 사용하여 과제를 수행할 경우 특이도과 시간 효율성에 있어서 통계적으로 유의미한 증가가 확인되었다. 인지부하의 경우, 일반 기술자의 경우는 줄었지만 진단 전문가는 소폭 증가했다. 두 그룹 모두 알고리즘 기반 지원의 유용성과 재사용 의도에 대해 긍정적인 반응을 보였다. 효과는 사용자의 전문성 수준에 따라 달라졌다. 일반 기술자 그룹이 진단 전문가 그룹에 비해 더 큰 효과를 보였다. 또한, 알고리즘 기반 지원을 통해서 도움을 받는 영역이 일반 기술자와 진단 전문가가 서로 다름을 확인하였다.