인공지능 머신비전 기반 실시간 감자 카운팅 시스템 개발

Abstract

Potato is one of the world's top four food crops and produce 40 million tons per year. In abroad, Although precedure of potato harvesting is all mechanized from sowing to harvesting, Korea's mechanization rate is still low at 56.3%, and even it is centered on sowing, so there is no mechanization in the harvesting process which requires a lot of labor. In addition, packaging and sorting of potato have become very important due to changes in consumption style, which have brought negative consequences in terms of farm income because of insufficient manpower and increased labor costs. In order to solve the insufficient labor force, the 4th Industrial Revolution is innovating agriculture industry through the convergence of agriculture and ICT, and is rapidly changing the current agriculture system which has relied on worker's experience and manpower. Particularly, deep learning-based machine vision is rapidly changing the agricultural industry, which is in need of labor since it can classify and recognize images obtained through cameras such as crop and pest monitoring, livestock management, and pinotype on behalf of humans. Current studies of potato have attempted to predict the yield of potatoes through X-ray, load cell, satellites, and machine learning-based image-segmentation methods. However, in the case of the above methods, sensors are expensive to apply to actual agriculture, so the researches has conducted in laboratory environments, and also these methods are not perfect to apply in various environments. The deep learning method based on the convolutional neural network (CNN) used in this study can be applied more compatibly in various objects and environments than previous studies as it can learn by itself to find the characteristics and suitable characteristics of the target object for a given problem. In this study, in order to predict potato yield, virtual line was made by using OpenCV, which is able to count a potato when it passes the line. In this experiment, performance comparisons were conducted on two filmed video tests, which were taken manually by following the harvester and by mounting a camera on the harvester. For deep learning, six neural network models that have advantage in object detection accuracy and learning speed in the COCO dataset, which are Fast R-CNN Inception V2, Fast R-CNN ResNet 101, R-FCN ResNet 101, SSD MobileNet V2, and SSD ResNet 50, were selected. As a result of deep learning, SSD ResNet 50 models showed better performance than the other five models in terms of Loss (0.184), mAP (0.7758), and Recall (0.8157) values, and even when applied to real images, potatoes were detected better than others regardless of the surrounding environment. In addition, inference time of images took only 47.87 ms, which was the fastest in inference time compared to the other five models. In video tests, which were taken by humans and by mounting the camera on the harvester, each models performance was different. In the case of when a video taken manually by human, the SSD MobileNet V2 model showed the best performance with an accuracy of about 93%. However, this test had a difficulty on evaluating the accuracy since the virtual line kept moving rather than staying still, which made the line to keep counting potatoes that were staying near the line because of harvester's vibration. It is because the video was filmed manually. However, when the camera was mounted on the harvester, the R-FCN ResNet 101 model showed the best performance with an accuracy of about 96%. This test suggests that in order to count potatoes properly and accurately, it has to be mounted on the harvester since the line should not move. Therefore, the result was reliable than first test. Unlike previous studies, this study has the advantage of being simple as a system that predicts yields only with cameras and computers without additional hardware installations. However, this study has a limitation to creating a yield map due to measuring only the number of potatoes, not the weight measurement of potatoes. In future studies, it needs to predict the weight of potatoes by giving information of the volume to map the yield. Through doing this work, it will contribute to the improvement of precision agricultural technology and outdoor smart farm technology because it will be able to reduce the labor force which is mostly used for packaging and sorting and create a map of the yield of potatoes.

감자는 세계 4대 식량 작물 중의 하나로 연간 4천만 톤이 생산된다. 우리나라의 기계화율은 56.3%로 낮으며 그마저도 파종 중심이기 때문에 노동력이 많이 요구되는 수확 과정에서의 기계화는 전무한 실정이다. 또한, 고령화로 인한 부족한 인력과 증가한 인건비로 농가소득 측면에서 부정적인 결과를 초래하고 있다. 부족한 노동력을 해결하기 위해서 4차 산업혁명은 농업과 ICT 융합을 통하여 농업을 혁신시키고 있다. 특히 딥러닝 기반의 머신 비전은 작물과 해충 모니터링, 가축 관리 그리고 피노타입 등 카메라를 통해 얻은 데이터를 사람을 대신해서 이미지를 분류하고 인식할 수 있어 머신 비전은 노동력이 부족한 농업 산업을 빠르게 변화시키고 있다. 기존 연구에서는 로드셀, 인공위성, 기계 학습 기반의 알고리즘 방식을 통해 감자의 수확량을 예측하려고 하였다. 하지만 위 방법들의 경우에는 소규모 농가에 적용하기에는 센서들의 가격이 비싸고 실험실 환경에서 진행된 연구이며 노지 환경에서 적용하기에는 정확도가 떨어진다는 단점이 있다. 본 연구에서 사용한 CNN(Convolutional Neural Network)을 기반으로 한 딥러닝 방법은 스스로 학습해 주어진 문제에 대한 대상 객체의 특성과 적합한 특징을 찾을 수 있어 기존 연구들보다 다양한 객체와 환경에서 범용성 있게 적용될 수 있다. 영상 속의 감자를 카운팅 하기 위해 OpenCV를 사용하여 영상 속에 가상의 선을 만들었으며 가상의 선을 통과하는 감자를 카운트 하도록 프로그래밍을 하였다. 시험을 위해 수확기를 따라다니며 감자가 수확되는 장면을 촬영한 방법과 수확기에 카메라를 고정하여 사람 없이 감자를 수확하는 장면을 촬영한 영상 사용하여 딥러닝 신경망 간의 성능 비교를 하였다. 딥러닝 학습을 위해 COCO 데이터셋에서 객체 탐지 정확도와 학습 속도에 장점이 있는 6개의 신경망 모델인 Faster R-CNN Inception V2, Faster R-CNN ResNet 101, R-FCN ResNet 101, SSD MobileNet V1, SSD MobileNet V2, SSD ResNet 50을 선정하고 학습을 진행하였다. 딥러닝 학습 결과 SSD ResNet 50 모델이 Loss(0.184), mAP(0.7758), Recall(0.8157) 값에서 다른 다섯 가지 모델들보다 뛰어난 성능을 보여주었으며 실제 이미지에 적용 시에도 주변의 환경과 관계없이 감자를 가장 잘 검출하는 모델로 나왔다. 또한, 이미지 추론을 하는데 걸리는 시간도 47.87ms으로 다른 다섯 가지 모델들보다 추론 속도도 가장 빠른 것으로 나왔다. 동영상에 적용한 시험에서는 사람이 촬영한 결과와 수확기에 카메라를 고정하여 촬영한 결과가 서로 달랐다. 사람이 촬영한 영상의 경우에는 SSD MobileNet V2 모델이 약 93%의 정확도로 가장 좋은 성능을 보여주었다. 하지만 위 시험은 카운팅을 하는 계수선의 위치가 계속 바뀌어 감자를 중복으로 카운트하는 때도 있어 다른 모델들과의 객관적인 성능 평가가 어려운 점이 있었다. 카메라를 수확기에 고정하여 촬영한 경우에는 R-FCN ResNet 101 모델이 약 96%의 정확도로 가장 좋은 성능을 보여주었다. 위 시험은 카메라가 고정되어 있어, 카운트하는 선이 같은 위치에 고정되어 있어 감자를 중복으로 카운트하는 경우가 매우 적어 신뢰성이 높다고 볼 수 있다. 본 연구는 기존 연구들과 다르게 추가적인 하드웨어 설치 없이 저렴하고 간편하다는 장점이 있다. 하지만 감자의 무게 측정이 아닌 개수만을 측정함으로써 수확량 지도를 작성하기에는 한계가 있다. 향후 연구에서는 감자의 개수뿐만 아니라 크기에 대한 정보도 제공하여 감자의 무게 또한 예측하는 연구가 필요할 것으로 보인다. 이를 통해 4차 산업혁명 시대에 요구되는 노동력 절감, 그리고 수확량 지도를 작성할 수 있어 정밀 농업 기술 또는 노지 스마트 농업 기술 향상에 기여할 것이다.