Novel Applications and Usability of Wireless Camera Sensor Networks

Abstract

We present a portable personal area situation understanding system called the PASU, a novel application of a smart device using wireless camera sensor networks. The challenging situation of the scene around a user can be categorized into four types: scene understanding, event detection of stationary situations, and short-term, longterm monitoring of dynamic situations. The PASU system, consisting of a wireless camera sensor network and a smart device, such as an iPad, provides a solution to each type of situation. For scene understanding of a stationary situation, PASU reconstructs the scene in 3D based on the images about the scene captured by multiple cameras and enables viewing the scene from various vantage points for better understanding of the environment. Also, PASU watches some selected objects of a stationary situation for event detection, and reports to the user immediately if any event happens, such as a sudden disappearance of an object. A dynamic situation can be monitored for a short-term or long-term duration. For short-term monitoring of a dynamic scene, PASU tracks a moving object in real-time and displays the moving object on the reconstructed 3D scene. PASU collects human activities for long-term monitoring of a dynamic scene and provides a summary of human activities through the smart device interface. This monograph describes the architecture and implementation of the PASU system addressing limitations of wireless camera sensor networks, such as low bandwidth and limited computational capabilities. The capabilities of PASU are validated with extensive experiments. The PASU system demonstrates the potential of a portable system combining a smart device and a wireless camera sensor network for personal area monitoring and situation understanding.

본 연구에서는, 무선 카메라 센서 네트워크를 응용한 `파수'라는 이름의 이동형 상황 인지 시스템을 제안한다. 사용자 주변의 인식 가능한 환경은 크게 네 가지로 분류할 수 있다. (1) 정적인 상황의 이해, (2) 정적인 상황에서의 사건 발생, (3) 짧은 시간 동안의 동적인 상황 감시, 그리고 (4) 긴 시간 동안의 동적인 상황감시로 나눌 수 있다. 파수 시스템은 무선 카메라 센서 네트워크와 아이패드와 같은 스마트 장치로 이루어져 있으며, 이와 같은 각각의 상황을 인지하기 위한 적절한 솔루션을 제공한다. 정적인 상황을 이해하기 위해, 파수 시스템은 여러 대의 카메라로 부터 찍은 이미지를 이용한 3D 영상을 재구성하여 상황의 이해를 돕기 위해 여러 시점에서 볼 수 있도록 도와주는 기능을 제공한다. 또, 정적인 상황에서의 사건 발생 감지를 위해 파수 시스템은 자동 감시 기능을 제공한다. 사용자가 지정한 물체들을 자동으로 감시하며, 물체가 사라지거나 하는 등의 사건이 발생하면 아이패드를 통해 사용자에게 즉시 알려준다. 동적인 상황은 짧은 시간과 긴 시간으로 나눌 수 있다. 짧은 시간의 동적인 상황에서는, 파수 시스템은 실시간으로 움직이는 물체를 추적하여 3D 영상에 표현해주는 기능을 제공한다. 파수 시스템은 오랜 시간 동안 동적인 상황에서 사람들의 행동을 사진을 찍으며, 이것들을 요약하여 아이패드를 통해 짧은 시간 안에 파악할 수 있게 해준다. 이 연구에서는 무선 카메라 센서 네트워크의 느린 전송 속도와 제한된 연산 능력을 극복한 파수 시스템의 구조와 구현에 관해서 다루었다. 파수 시스템의 적용 가능성을 여러 차례 반복된 실험을 통해 증명했으며, 이 시스템을 통해 스마트 장치와 무선 카메라 센서 네트워크의 융합의 개인 상황 인지 서비스에 대한 적용 가능성에 대해 가늠해 볼 수 있었다.