Merging multiple sensing platforms and deep learning empowers individual tree mapping and tree species detection at the city scale

Abstract

Precise estimation of the number of trees and individual tree location with species information all over the city forms solid foundation for enhancing ecosystem service. However, mapping individual trees at the city scale remains challenging due to heterogeneous patterns of urban tree distribution. Here, we present a novel framework for merging multiple sensing platforms with leveraging various deep neural networks to produce a fine-grained urban tree map. We performed mapping trees and detecting species by relying only on RGB images taken by multiple sensing platforms such as airborne, citizens and vehicles, which fueled six deep learning models. We divided the entire process into three steps, since each platform has its own strengths. First, we produced individual tree location maps by converting the central points of the bounding boxes into actual coordinates from airborne imagery. Since many trees were obscured by the shadows of the buildings, we applied Generative Adversarial Network (GAN) to delineate hidden trees from the airborne images. Second, we selected tree bark photos collected by citizen for species mapping in urban parks and forests. Species information of all tree bark photos were automatically classified after non-tree parts of images were segmented. Third, we classified species of roadside trees by using a camera mounted on a car to augment our species mapping framework with street-level tree data. We estimated the distance from a car to street trees from the number of lanes detected from the images. Finally, we assessed our results by comparing it with Light Detection and Ranging (LiDAR), GPS and field data. We estimated over 1.2 million trees existed in the city of 121.04 km² and generated more accurate individual tree positions, outperforming the conventional field survey methods. Among them, we detected the species of more than 63,000 trees. The most frequently detected species was Prunus yedoensis (21.43 %) followed by Ginkgo biloba (19.44 %), Zelkova serrata (18.68 %), Pinus densiflora (7.55 %) and Metasequoia glyptostroboides (5.97 %). Comprehensive experimental results demonstrate that tree bark photos and street-level imagery taken by citizens and vehicles are conducive to delivering accurate and quantitative information on the distribution of urban tree species.

도시 전역에 존재하는 모든 수목의 숫자와 개별 위치, 그리고 수종 분포를 정확하게 파악하는 것은 생태계 서비스를 향상시키기 위한 필수조건이다. 하지만, 도시에서는 수목의 분포가 매우 복잡하기 때문에 개별 수목을 맵핑하는 것은 어려웠다. 본 연구에서는, 여러가지 센싱 플랫폼을 융합함과 동시에 다양한 딥러닝 네트워크들을 활용하여 세밀한 도시 수목 지도를 제작하는 새로운 프레임워크를 제안한다. 우리는 오직 항공사진, 시민, 차량 등의 플랫폼으로부터 수집된 RGB 이미지만을 사용하였으며, 6가지 딥러닝 모델을 활용하여 수목을 맵핑하고 수종을 탐지하였다. 각각의 플랫폼은 저마다의 강점이 있기 때문에 전 과정을 세 가지 스텝으로 구분할 수 있다. 첫째, 우리는 항공사진 상에서 탐지된 수목의 딥러닝 바운딩 박스로부터 중심점을 추출하여 개별 수목의 위치 지도를 제작하였다. 많은 수목이 도시 내 고층 빌딩의 그림자에 의해 가려졌기 때문에, 우리는 생정적 적대적 신경망 (Generative Adversarial Network, GAN)을 통해 항공사진 상에 숨겨진 수목을 그려내고자 하였다. 둘째, 우리는 시민들이 수집한 수목의 수피 사진을 활용하여 도시 공원 및 도시 숲 일대에 수종 정보를 맵핑하였다. 수피 사진으로부터의 수종 정보는 딥러닝 네트워크에 의해 자동으로 분류되었으며, 이 과정에서 이미지 분할 모델 또한 적용되어 딥러닝 분류 모델이 오로지 수피 부분에만 집중할 수 있도록 하였다. 셋째, 우리는 차량에 탑재된 카메라를 활용하여 도로변 가로수의 수종을 탐지하였다. 이 과정에서 차량으로부터 가로수까지의 거리 정보가 필요하였는데, 우리는 이미지 상의 차선 개수로부터 거리를 추정하였다. 마지막으로, 본 연구 결과는 라이다 (Light Detection and Ranging, LiDAR)와 GPS 장비, 그리고 현장 자료에 의해 평가되었다. 우리는 121.04 km² 면적의 대상지 내에 약 130만여 그루의 수목이 존재하는 것을 확인하였으며, 다양한 선행연구보다 높은 정확도의 개별 수목 위치 지도를 제작하였다. 탐지된 모든 수목 중 약 6만 3천여 그루의 수종 정보가 탐지되었으며, 이중 가장 빈번히 탐지된 수목은 왕벚나무 (Prunus yedoensis, 21.43 %)였다. 은행나무 (Ginkgo biloba, 19.44 %), 느티나무 (Zelkova serrata, 18.68 %), 소나무 (Pinus densiflora, 7.55 %), 그리고 메타세쿼이어 (Metasequoia glyptostroboides, 5.97 %) 등이 그 뒤를 이었다. 포괄적인 검증이 수행되었고, 본 연구에서는 시민이 수집한 수피 사진과 차량으로부터 수집된 도로변 이미지는 도시 수종 분포에 대한 정확하고 정량적인 정보를 제공한다는 것을 검증하였다.