Efficient Control System for Smartphone Sensor-based Applications

Abstract

With the advent of smartphones, mobile devices are equipped with various sensors. Computational capabilities and a variety of sensors enable many new things on mobile devices. In recent years, many researchers have tried to expand the boundary of smartphone applications with previously unavailable media types. For example, acoustic communication using the microphone and speaker of a smart device has been one of the hottest wireless technologies in recent years. Mobile text spotting, interaction with text through a camera sensor, is also one of the active research topics in academia and industry. For the operation of these new attempts in mobile devices, efficiency and practicality are essential issues. In this dissertation, we propose two systems that enable an efficient operation of smartphone interactions with various media: (i) No Entry: Anti-Noise Energy Detector for Chirp-Based Acoustic Communication and (ii) Cameleon: Intelligent Camera Sensor System for Text-spotting Oriented Operation in Mobile Devices. First, No Entry is a novel energy detector (ED) for chirp-based acoustic communication systems. No Entry avoids not only high-energy noises but also a different modulation-based acoustic signal by utilizing the frequency sweeping characteristic of chirp signals. We implement prototype Android applications to evaluate detection accuracy and power consumption. Compared with the state-of-the-art schemes, No Entry reduces energy consumption by 30% while achieving a greater detection performance. Second, we propose a camera sensor control system for deep learning applications in mobile devices. While deep learning model benchmark dataset results promise outstanding performance, in reality, the quality of sensor data has a significant impact on the performance. We design an intelligent text-spotting-oriented camera sensor control system. Unlike the default camera operation that produces images good for the human eye, the proposed camera sensor control system controls the camera sensor optimized for the text spotting task. We implement and validate our design through extensive experiments. Compared to the traditional camera pipeline, Cameleon dramatically recovers performance degradation and maximizes the text-spotting model's performance. In summary, we propose systems that enable the efficient operation of smartphone sensor-based applications. We implement two systems on commercial smartphones. We also verify the performance through extensive real-world experiments. Through this research, we take a step to expand the boundary of smartphones' potential.

스마트폰의 보급과 더불어 다양한 종류의 센서를 장착한 모바일 기기가 늘어나고 있습니다. 하드웨어의 발전과 다양한 종류의 센서는 모바일 기기에서 새로운 많은 것을 가능하게 하였습니다. 최근 몇 년 동안 많은 연구자들은 다양한 센서 기반의 어플리케이션을 제안하고 있습니다. 예를 들어, 스마트 기기의 마이크와 스피커를 이용한 대기중 음파 통신은 최근 많은 관심을 받고 있습니다. 또한, 카메라 센서 기반의 글자 감지 기술 (Mobile Text-Spotting) 역시 학계와 산업계에서 활발한 연구 주제 중 하나입니다. 하지만, 이러한 새로운 기술을 실생활에서 사용하기 위해서는 효율성과 실용성 두 가지 측면에서 접근이 필요합니다. 본 논문에서는 모바일 센서 기반의 스마트폰 어플리케이션의 효율적인 동작을 위한 두 가지 시스템을 제안합니다. 첫째로, No Entry는 처프 기반 음향 통신 시스템을 위한 새로운 에너지 검출기입니다. No Entry는 처프 (Chirp) 신호의 주파수가 변하는 특성을 활용하여 높은 에너지의 실생활 노이즈 뿐만 아니라 다른 변조 기법의 음향 신호또한 감지합니다. 검출 정확도와 전력 소비를 평가하기 위해 Android 프로토타입 어플리케이션을 구현하였고, 최근 제안된 다른 방법들과 비교하여, 제안하는 에너지 검출기는 에너지 소비를 30% 줄이면서도 더 높은 검출 성능을 보여주었습니다. 두번째로, 모바일 기기에서의 딥러닝 어플리케이션을 위한 카메라 센서 컨트롤 시스템을 제안합니다. 딥러닝 모델은 많은 발전을 이루어 왔지만, 데이터셋을 기반으로 동작하는만큼 데이터셋과 상이한 환경에서 동작할 경우 성능이 저하되는 문제가 있습니다. 이를 해결하기 위해 글자 감지 모델의 최적화된 동작을 위한 지능형 카메라 센서 제어 시스템을 설계합니다. 사람 눈에 좋은 이미지를 생성하는 일반적인 카메라 작동과 달리 지능형 카메라 센서 제어 시스템은 환경에 따라 글자 감지 모델에 최적화된 형태로 카메라 센서를 컨트롤합니다. 전체적인 네트워크의 설계와 더불어 학습 방법, 데이터 수집 방법을 제안하였습니다. 또한, 광범위한 실험을 통해 문제가 있음을 확인하였고, 제안하는 시스템이 다양한 환경에서 잘 동작하는것을 확인하였습니다. 본 논문에서는 스마트폰 센서를 활용한 어플리케이션의 효율적인 동작을 위한 시스템을 제안하였습니다. 상용 스마트폰에서 두 가지 시스템을 구현하였고 광범위한 실험을 통해 성능을 검증하였습니다.