Nanomaterial-based unconventional image sensor array inspired by human and aquatic animal

Abstract

Conventional camera technologies have attracted significant attentions over the past decades particularly for image-based applications such as image acquisition and object detection. However, conventional cameras are bulky, heavy, and expensive due to complicated multi-lens optics for focusing the images onto flat image sensors, which cannot meet the requirement in advanced mobile electronics. In this regard, the eyes in nature, biological imaging systems optimized through evolution, have inspired the development of unconventional imaging systems for advanced mobile electronics due to their unique advantages over conventional camera technologies, including the simple and miniaturized optics, wide field-of-view (FoV), highly sensitive and efficient photo-detection, deep depth-of-field (DoF), and facile accommodation. Here, we describe three types of bio-inspired unconventional imaging systems. First, the human-eye-inspired curved image sensor array was fabricated by employing ultrathin soft optoelectronic devices based on MoS2-graphene heterostructure. Such imaging system enabled aberration-free imaging with a single plano-convex lens. In addition, the curved image sensor array was applied to the soft retinal prosthesis with minimal mechanical distortion to the retina due to its ultrathin thickness. Second, the aquatic-vision-inspired imaging system was developed by employing the monocentric-lens and hemispherical silicon nanorod photodiode array. The aquatic-vision-inspired imaging system features aberration-free wide FoV imaging, miniaturized and single lens optics, deep DoF, facile accommodation, and enhanced photodetection. With these attributes, the developed imaging system successfully captured the projected images from wide angular directions. Third, the curved neuromorphic image sensor array (cNISA), inspired by the human vision recognition system, was developed for efficient imagery pattern recognition by conferring neuromorphic functions to image sensors. The cNISA is based on the MoS2-organic heterostructure that exhibits photon-triggered synaptic plasticity (e.g., short-term plasticity and long-term potentiation). Using these neuromorphic functions, the cNISA successfully identified the distinctive patterns from massive optical inputs without redundant data storage, processing, and communications, required in conventional imaging and post-data-processing systems.

종래의 카메라 기술은 사물 감지 및 장애물 회피 등과 같은 이미지 기반 어플리케이션에서 많은 관심을 받아왔다. 하지만 기존의 카메라는 평면형의 이미지 센서에 초점을 맞추기 이하여 여러 개의 렌즈로 구성된 복잡한 광학계를 필요로 하기 때문에, 무겁고 부피가 커서 최근 중요성이 부각되고 있는 모바일 전자제품에 사용되기 힘들다. 이러한 점에서 진화를 통해 최적화된 자연계의 눈들은 다양한 장점들 덕분에 새로운 카메라를 개발하는데 영감을 준다. 다양한 장점은 간소하고 작아진 광학계, 넓은 시야각, 민감하고 효율적인 광측정, 깊은 초점심도, 쉬운 초점조절 방법이 있다. 따라서 이 논문을 통해 자연을 모사한 새로운 이미징 시스템 3개를 소개하고자 한다. 첫번째로 MoS2-graphene 헤테로구조를 이용하여 유연한 광전자 소자를 제작하였고, 이를 이용하여 사람 눈을 모사한 커브드 이미지센서를 개발하였다. 개발된 커브드 이미지 센서는 하나의 렌즈 만으로도 수차 없는 이미징을 할 수 있었다. 또한 망막 보조 장치로도 적용되어, 망막에 기계적 부작용을 주지 않으면서도 망막을 전기적으로 자극할 수 있었다. 두번째로 구형 렌즈와 반구형 이미지센서를 통합하여 수중 생물의 눈을 모사한 이미징 시스템을 개발했다. 개발된 수중 생물 모사 이미징 시스템은 소형화된 단일 렌즈 광학계로 광시야각 이미징을 수차 없이 수행할 수 있었으며, 깊은 초점 심도와 간편한 초점 조절방식을 보였다. 이러한 특징들을 이용하여 넓은 각도에서 입사되는 이미지들을 성공적으로 감지할 수 있었다. 세번째로 이미지 센서에 뉴로몰픽 기능을 부여함으로써 사람의 시각 인식 시스템 전체를 모사한 커브드 뉴로몰픽 이미지 센서를 제작하였다. MoS2-유기물질 헤테로구조에 기반한 뉴로몰픽 이미지 센서는 빛에 반응하는 시냅스 가소성을 보였다. 따라서 불필요한 데이터 저장, 처리, 및 통신 없이도 무수히 많은 광학 입력들로부터 고유한 패턴을 식별해낼 수 있었다.