Generation of 3D paprika (Capsicum annuum L.) leaves with edited traits by using deep generative models

Abstract

Simulation studies using three-dimensional (3D) plant models have been widely used to study the interaction between plant structures and environments. However, the 3D scanned model is more precise than the rule-based model but there is a limit to generate only a static model. The objective of this study was to generate paprika leaves with various morphological traits by using deep generative models and 3D scanned plant models. Paprika (Capsicum annuum L.) leaves at 14, 21, 28, 58 days after transplanting were scanned, preprocessed, and then used to train the deep generative models such as variational autoencoder (VAE), generative adversarial network (GAN), and latent space GAN (L-GAN). The optimal number of latent variables in the model was selected via Jensen-Shannon divergence (JSD). The generated leaves were evaluated with JSD, coverage (COV), and minimum matching distance (MMD) to determine the best model for leaf generation: Chamfer distance (CD) and Earth mover's distance (EMD) were applied to COV and MMD. The best performances were achieved when latent variables were 8, 16, and 8 for VAE, GAN, and L-GAN, respectively. Among the deep generative models, a modified GAN (L-WGAN-EMD) showed the highest performance with JSD = 0.025, MMD-CD = 26.92, MMD-EMD = 14.79, COV-CD = 0.542, and COV-EMD = 0.529. Paprika leaves with various shapes were generated from random latent variables following a normal distribution, and morphological traits of the leaves could be controlled through linear interpolation and simple arithmetic in latent space. The results of this study can be contributed to the applied studies of 3D plant models, such as estimating canopy light interception and photosynthesis, which require detailed but diverse plant structures for realism.

3차원 식물모델을 활용한 시뮬레이션은 식물 구조와 환경과의 상호 작용을 연구하기 위해서 광범위하게 사용되고 있다. 그러나 3차원 스캔된 식물 모델은 규칙 기반의 모델에 비하여 정밀하지만, 정적 모델만을 생성할 수 있는 한계가 있었다. 본 연구의 목적은 3차원 스캔 식물모델과 심층 생성 모델을 활용하여 다양한 형태적 특징을 가진 파프리카 (Capsicum annuum L.) 잎을 생성하는 것이다. 정식 후 14, 21, 28, 58일의 잎을 3차원 스캐너로 스캔 후 전 처리하여 생성 모델(variational autoencoder, VAE; generative adversarial network, GAN; latent space GAN, L-GAN)의 학습데이터로 사용하였다. 모델의 최적 잠재 변수 수는 Jensen-Shannon divergence (JSD)를 이용하여 결정하였다. 각 모델이 생성한 잎에 대해 JSD와 Chamfer distance(CD) 및 Earth movers distance(EMD)를 적용한 coverage(COV) 및 minimum matching distance(MMD)를 평가하여 최적의 심층 생성 모델을 결정하였다. 잠재변수의 수는 VAE 8개, GAN 16개, L-GAN 8개에서 가장 최적의 성능을 보였다. 여러 심층 생성 모델 중 L-WGAN-EMD가 가장 높은 성능(JSD=0.025, MMD-CD=26.92, MMD-EMD=14.79, COV-CD=0.542, COV-EMD=0.529)을 보였다. 학습된 심층 생성 모델은 정규 분포를 따르는 무작위 잠재변수로부터 다양한 형태를 가지는 잎을 생성하였고, 잠재 공간 내 선형 보간 및 간단한 산술 연산을 통해서 잎의 형태적 특징을 조절할 수 있었다. 본 연구 결과는 추후 군락의 수광 분포 및 광합성속도 추정 등 정확하면서도 다양한 형태의 식물구조가 필요한 3차원 식물 모델의 응용 연구에 기여할 것으로 사료된다.