고속대량 피노타이핑 구현을 위한 시설 작물 영상처리 및 딥러닝 응용 기술 개발

Abstract

With the advent of the 4th industrial revolution, various convergence technologies for data acquisition, analyses, and processing have been applied to agriculture, and research on smart farms to improve crop productivity and quality have gained importance. Smart farms produce high-quality, high-density crops regardless of the season or changes in the external environment and aim to increase productivity and efficiency by minimizing interventions from artificial factors. Accordingly, plant phenomics involving the observation and interpretation of entire phenotypes, such as the physiology, morphology, and biochemical characteristics of crops, has emerged as an important field. In this field, as large amounts of data are analyzed at high speeds using nondestructive methods, high-throughput phenotyping has emerged and has been applied to actual agriculture by researchers. Based on precise crop observations, several analysis methods and elementary technologies have been developed. In this study, a system was constructed to analyze and measure the shapes, structures, and stresses of crops using images, and an algorithm was developed and applied to achieve high-throughput phenotyping. Several image systems were constructed to obtain data related to the characteristics of the growth process and stress changes at the seedling stage, and the latest machine learning techniques, represented by deep learning, were fused with the image analysis process. A system was constructed for high-throughput phenotyping via automatic collection and analyses of 2D visible light images of the entire crop cycle, and the indices were presented. Existing analysis systems are expensive and difficult to use; to overcome this, the new system was developed using the inexpensive processor, Raspberry Pi. Image data were acquired, named according to specific conditions, transmitted to the server, and deleted from the processor memory. The images transmitted to the server were stored separately for each processor, and the indices were extracted and analyzed. Using image processing and machine-learning algorithms, phenotyping indices such as the center, length, area, and warpage of the crops were automatically extracted; the algorithm enables acquisition of 10 indices in approximately 2.4 seconds. The extracted indices were configured to be periodically updated upon addition of new image data. All processes from data acquisition to analyses could be freely added, modified, and removed by modularization; further, applicability to various experimental environments was evaluated. For analysis of visible light images, a study was conducted to acquire 3D images that complement the existing method and to develop an analysis algorithm. To utilize high-resolution RGB and depth images, image processing algorithms including upsampling were applied, and high-accuracy 3D crop images were obtained by 3D reconstruction and crop rotation. The acquired 3D images were manually assessed for crop heights and leaf data before comparisons with ground-truth data, and errors of less than 0.3 mm were observed. To complement the manual measurements, an automated algorithm was also implemented for crop extraction and division. Depending on the purpose of the analysis, image extraction was performed using an algorithm combining clustering and vegetation index, and automatic size measurements were performed with coordinate transformation and segmentation algorithms. It was observed that a certain level of analysis automation was possible for normally segmented images. Hyperspectral imaging was also used to diagnose various physiological disorders in crops. Water and nutrient stresses were applied to the crops, and classifications were performed by identifying the spectral characteristics of the leaves. To acquire hyperspectral images of the crops, the environment and hyperspectral system were suitably designed and configured, and corrections were performed. For the water stress analyses, average wavelength data at specific points were used, and machine-learning algorithms were used with the preprocessing methods in the hyperspectral image analyses. For nutritional stress analyses, the 3D hyperspectral images were divided into smaller images and used without preprocessing. Convolutional neural network (CNN), which is a type of deep-learning algorithm, was used for classification, and various hyperparameters were determined and an optimizer was selected to determine the optimal model. The RMSProp and Adam optimizers showed performances exceeding 0.75 for seven types of classifications including prediction; further, the results of these two approaches were complementary, so it was concluded that performance improvements were possible through the model ensemble.

세계적인 인구 증가, 급변하는 기후로 인한 식량 안보 이슈와 농가 인력 감소, 고령화율 증가에 따른 한국 농업의 상황은 스마트 농업에 대한 요구로 이어지고 있다. 사물인터넷, 클라우드 컴퓨팅, 빅데이터를 기반으로한 4차 산업혁명의 등장으로 데이터 획득과 분석, 처리에 대한 다양한 융합 기술이 농업에 적용되었고 작물의 생산성 및 품질 향상을 위한 스마트 팜에 대한 연구가 중요한 부분이 되었다. 스마트 팜은 계절이나 외부 환경 변화에 상관없이 고품질의 작물을 고밀도로 생산하게 되며 인위적인 요소의 개입을 최소로 하여 생산성과 효율성을 높이고자 한다. 이에 따라 작물의 생리, 형태, 생화학적 특성 등 여러 표현형 전체를 관측하고 해석하는 식물 피노믹스 (plant phenomics)의 중요성이 대두되었다. 비파괴적인 방법을 이용하여 많은 데이터를 고속으로 분석하게 됨에 따라 고속대량 피노타이핑 (high-throughput phenotyping)으로 발전되어 학자들을 위한 연구에서 실제 농업에 적용되는 상황에 이르게 되었다. 작물을 어떠한 방식으로 정밀하게 관찰하는지에 따라 여러 분석 방법이 존재하며 이에 대한 다양한 요소 기술이 필요한 상황이다. 본 연구에서는 고속대량 피노타이핑 구현을 위해 여러 영상을 이용하여 작물의 형태, 구조, 스트레스를 분석, 측정하는 시스템을 구성하고 알고리즘을 개발해 적용하였다. 모종 단계에서 성장하는 과정, 스트레스에 대해 나타나는 특징에 관련된 데이터를 확보하기 위해 여러 영상 시스템을 구성하였고, 분석 과정에서 다양한 알고리즘을 적용하였다. 조건에 따라 가시광, 분광 영상을 사용하였으며 적합한 모니터링, 분석 시스템을 구성하였다. 분석을 위해 딥러닝으로 대표되는 여러 최신 머신러닝 기법을 융합하여 활용하였으며 이에 대한 평가를 수행하였다. 작물의 전 주기에 대하여 2차원 가시광 영상을 자동으로 수집하고 분석하는 고속대량 피노타이핑을 위한 분석 시스템을 구성하고 지표를 제시하였다. 기존의 시스템들은 매우 고가로 사용에 어려움이 있기 때문에 라즈베리파이라는 저렴한 프로세서를 기반으로 구성을 수월하게 하였다. 이미지 중앙에 작물이 위치하도록 하여 촬영이 진행되었으며 특정 시간 조건에 따라 데이터를 획득하고 이름을 부여해 로컬 프로세서 공간에 저장하였다. 저장된 이미지 데이터는 연속된 실험과 로컬 저장 공간 확보를 위해 서버로 특정 시간에 전송과 삭제가 수행되었다. 서버로 전송된 이미지는 각 프로세서 별로 보관되며 지표의 추출과 분석이 수행된다. 영상처리와 머신러닝 알고리즘을 통해 중심, 길이, 면적, 뒤틀림 등에 대한 피노타이핑 지표의 추출이 자동으로 실행되며 열가지의 지표를 2.4초의 시간 소요로 획득 가능하다. 추출된 지표는 시스템 내외부에서 분석할 수 있게 저장되며 새로운 영상 데이터의 추가에 따라 주기적으로 업데이트되며 지표를 통한 연속된 분석을 가능하게 하였다. 데이터 획득부터 분석에 이르는 모든 과정은 모듈화를 통해 추가, 수정, 제거가 자유롭게 구성했으며 적용성 파악을 위해 새로운 환경 조건에서 평가를 진행하였다. 가시광 영상의 다양한 분석을 위해 기존의 방식을 보완하는 정교한 3차원 영상을 획득하고 알고리즘을 개발하는 연구를 수행하였다. 고해상도의 RGB 이미지와 깊이 이미지를 이용하기 위해 업샘플링을 비롯한 영상처리 알고리즘을 적용하였고, 작물의 회전을 통한 3차원 복원 기법을 통해 높은 정확도의 3차원 작물 영상을 획득하였다. 획득한 영상은 작물의 높이, 잎의 데이터에 대하여 수동으로 측정하였고 지상 실측 데이터와 비교되어 0.3mm 이하의 오차를 보여주었다. 수동 측정의 문제를 보완하기 위해 작물 추출, 분할에 대한 자동화 알고리즘 구현도 수행하였다. 분석 목적에 따라 클러스터링, 식생 지수 등을 결합한 알고리즘을 이용해 영상 추출이 이루어졌으며 좌표변환과 분할 알고리즘을 통해 자동 크기 측정을 하였다. 정상 분할된 영상에 대하여 일정 수준의 자동 분석이 가능한 것으로 파악되었다. 초분광 영상은 작물에 나타나는 여러 생리장해를 진단하기 위해 사용되었다. 작물에 수분 스트레스와 영양 결핍 조건을 주고 잎에서 나타나는 특징을 파악해 분류를 수행하였다. 작물에 맞는 초분광 영상을 획득하기 위해 환경과 초분광 시스템을 구성하였으며 보정을 진행하였다. 수분 스트레스 분석을 위해 특정 지점의 평균 파장 데이터를 사용하였으며 초분광 영상 분석에 주로 사용되는 전처리 방식과 더불어 머신러닝 알고리즘이 사용되었다. 영양 결핍 진단의 경우 별다른 전처리 없이 작게 자른 3차원의 초분광 영상을 그대로 사용하였다. 분류를 위해 딥러닝 알고리즘인 CNN을 활용하였고 최적의 모델을 찾기 위해 다양한 하이퍼파라미터의 결정과 옵티마이저 선정 과정이 수행되었다. 예찰을 포함한 7개의 분류에 대하여 RMSProp과 Adam 옵티마이저가 0.75 이상의 성능을 보여주었고 두 모델의 결과는 일정부분 상호보완적인 모습으로 나타나 모델 앙상블을 통해 성능 개선이 가능할 것으로 판단되었다.