Hard sample handling using attention ensemble network for single image super-resolution

Abstract

단일 영상 초해상도 문제는 매우 빠르게 발전하고 있지만, 단순히 성능을 높이는 데에 방점을 두고 있다. 그러나 이 문제에서는 각 픽셀 위치의 특성에 따라 에러의 정 도가 다르다. 그러므로 에러가 높은 특정 픽셀들, 즉, 하드 픽셀에 집중하여 접근하는 것이 효과적일 것이다. 하드 픽셀을 다루기 위해서는 추가적인 시스템이 필요하다. 그러나 이 시스템에서도 마찬가지로 기존과 다른 특성의 하드 픽셀을 얻게 된다. 그 러므로 서로의 하드 픽셀을 보완해 주는 구조가 이상적인 시스템이라고 할 수 있다. 앙상블은 쉽게 시스템의 성능을 높일 수 있는 방법이며, 머신러닝에서도 많이 쓰이 고 있다. 앙상블은 각각의 시스템을 서로 보완하게 해준다. 따라서 위 문제를 앙상블 방법으로 접근하여 각 네트워크가 서로의 하드 픽셀을 보완하게 한다. 또한 일반적 인 앙상블과는 달리, 픽셀 별로 난이도가 다르므로 픽셀별 가중치가 달라야 한다. 또한 어떤 픽셀에 집중해야 할지에 대한 정보가 전달되어야 한다. 어텐션 네트워크 는 이 역할에 제격이므로, 앙상블에 어텐션 방법을 추가적으로 적용하였다. 우리는 제안하는 방법을 통해 기존 네트워크보다 높은 성능을 얻었다. 또한 하드 픽셀을 정의하고 이에 대해 정확도를 측정하였다. 그럼으로서 실제로 어텐션 네트워크를 적용했을 때 상호 보완적인지와, 전체 시스템이 하드 픽셀에 특히 강인함을 보였다.

Single image super-resolution is developing very quickly, but it has been focused on simply improving performance for all pixels. However, in this problem, the degree of error varies depending on the characteristics of each pixel position. Therefore, it may be effective to focus on particular pixels with large error. An additional system is needed to handle hard pixels. Because we can get another type of hard pixels from the system, it is ideal system to complement each others hard pixels. An ensemble is a way to easily increase the performance of the system and is also used in machine learning. An ensemble consists of the systems which complement each other. Therefore, the above problem is solved by ensemble method, so that each network can complement each others hard pixels. Also, unlike normal ensemble meth- ods, the difficulty of each pixel is different, so the weight for a pixel must be different. Also, information about which pixels to focus on should be communicated. Since the attention network is well suited to this role, the attention method is additionally applied to the ensemble. We achieved higher performance than the existing algorithm through the proposed method. We also defined the hard pixel and measure their accuracy. It was shown that they are complementary when applying the attention network, and the whole system is particularly robust to hard pixels.