Facial Shape Recovery from a Single Image with General, Unknown Lighting

Abstract

Statistical shape from shading under general light conditions can be thought of as a parameter-fitting problem to a bilinear model, where the parameters are personal attributes and light conditions. In this dissertation, we propose a family of methods that can solve this problem effectively and accurately, by combining the illumination bases of human faces with tensor algebra.

In order to handle general light conditions, spherical harmonics or images rendered under evenly distributed light sources are used as the illumination basis. However, the dimension of the model is too large to perform generic dimension reduction schemes such as principal component analysis (PCA) or singular value decomposition (SVD), and an alternative method is needed. We show that a large scale SVD can be approximately calculated much faster by using tensor decomposition (N-mode SVD) compared to the exact SVD. In this way, we can efficiently reduce the number of elements and make the fitting algorithm faster. We also extend the incremental SVD to N-mode SVD to avoid a possible violation of memory limit. Incremental N-mode SVD can also be used to update the model when new training data arrives. Though it is extended from the incremental SVD, the incremental N-mode SVD is not straightforward because of its high-order structure. We provide a complete derivation of the incremental N-mode SVD in this dissertation.

When a new face image is introduced to reconstruct a 3-D shape, the bilinear model is fitted to extract the image's personal attributes. In this dissertation, two methods are proposed for this purpose. The first one is based on the alternating least squares method, which is commonly used to fit bilinear models. In this procedure, we incorporate prior information on the distribution of personal attributes to enhance the shape recovery performance. The computational complexity for the first method is of O((n_s+n_phi)^2 n_p) for each iteration, where n_s, n_phi, and n_p are the dimensions of the light conditions, personal attributes, and face image features, respectively. The second one is the rank relaxation technique, whose time complexity is of O( n_s n_phi) for each iteration except the initial step, which requires a computational complexity of O(n_s n_phi n_p). This is accomplished by reformulating the problem to a linear least squares problem, with a search space limited to a set of rank-one matrices. The rank-one condition is relaxed for ease of computation and we obtain a solution that may be a full-rank matrix. The algorithm then finds the best rank-one approximation of that matrix. By the Eckart-Young theorem, the best approximation is the outer product of the left and right singular vectors corresponding to the largest singular value. Since only this pair of singular vectors is needed, it is better to use the power iteration method, which has a computational complexity of O( n_s n_phi) for each iteration, than to calculate the full SVD. Both methods provide nearly the same results in accuracy. The first one takes about 200 ms while the second one takes about 50 ms on a PC.

After retrieving the personal attributes, the 3-D surface is reconstructed by one of the two following methods. We either integrate the surface normals corresponding to the personal attributes or transform the personal attributes to the depth map of the face by a pre-computed linear mapping. The integration method uses discrete cosine transform (DCT) for robust reconstruction, and the linear-mapping method utilize the canonical correlation analysis (CCA) to extract robust features. The integration method provide better local details while the linear-mapping method gives better global structure.

In summary, the proposed methods effectively train and fit the bilinear model for statistical shape from shading by incorporating tensor algebra. The proposed methods provide accurate reconstruction results in a very short time, which are good enough for practical applications.

일반적인 조명 조건 하의 한 장의 사진에 대한 통계적 명암기반 형상 복원 문제는 사람의 특성과 조명 조건을 매개변수로 하는 이중선형모형에 대한 매개변수 추정문제로 생각할 수 있다. 본 논문에서는 사람 얼굴의 조명 기저와 텐서 대수를 결합하여 이 문제를 빠르고 정확하게 풀 수 있는 일련의 방법을 제안한다.

본 논문에서는 일반적인 조명 조건을 다루기 위해, 구면조화함수나 균일하게 분포된 광원 하에서 만들어진 가상의 이미지들을 조명 기저로 사용한다. 그런데 모형의 차원이 너무 커서 PCA나 SVD와 같은 일반적인 차원 감소 기법을 적용하기가 어렵기 때문에 대안적인 방법이 필요해진다. 본 논문에서는 텐서분해 (N-모드 SVD)를 이용하면 훨씬 빠르게 큰 규모의 근사적인 SVD를 계산할 수 있다는 것을 보인다. 이러한 방법을 적용함으로써 제안된 방법은 효과적으로 차원을 감소하고 더 빠르게 추정을 수행할 수 있다. 또한 본 논문에서는 증분 SVD를 N-모드 SVD에 확장함으로써 기억 용량의 한계를 넘어서는 위험을 피한다. 증분 N-모드 SVD는 새로운 학습 데이터가 발생하였을 때 모형을 갱신하는 목적으로도 사용될 수 있다. 비록 증분 SVD에서 확장되었으나, 증분 N-모드 SVD는 그것이 가지는 고차의 구조 때문에 그 유도가 자명하지 않다. 본 논문에서는 증분 N-모드 SVD에 대한 완전한 유도를 제공한다.

새로운 얼굴 사진으로부터 형상 복원을 수행할 때, 사람의 특성정보를 얻기 위해 이중선형모형의 매개변수가 추정된다. 본 논문에서는 이 목적으로 위해 두 개의 방법을 제안한다. 하나는 이중선형모형의 추정에 자주 사용되는 교차 최소 제곱법이다. 본 논문은 이 방법의 복원 성능을 향상시키기 위해 사람의 특성 분포에 대한 사전 정보를 도입한다. 첫 번째 방법의 계산 복잡도는 매 반복계산마다 O((n_s+n_phi)^2 n_p)인데, 이때 n_s, n_phi, n_p는 각각 조명 조건, 사람의 특성 정보, 얼굴 사진 특징의 차원수이다. 두 번째 방법은 계수제한완화 기법인데, 매 반복계산마다 O( n_s n_phi)을 필요로 하고 오직 초기 계산으로만 O(n_s n_phi n_p)을 필요로 한다. 이런 계산량의 감소는 문제를 일계수 행렬을 탐색 공간으로 하는 선형 최소제곱 문제로 재정의함으로써 달성된다. 알고리듬은 먼저 계산의 용이성을 위해 일계수 행렬의 계수 제한을 완화함으로써 전계수일 가능성이 있는 해행렬을 구한 뒤, 이에 가장 가까운 일계수 근사를 찾게 된다. Eckart-Young 정리에 의해 최적 근사는 가장 큰 특이값에 대응되는 한 쌍의 특이벡터들의 곱으로 나타난다. 오직 이 특이벡터들만이 필요하므로 SVD를 모두 계산하는 것보다 멱축차법을 이용하는 것이 더 효율적이고, 이 때 필요한 계산복잡도는 반복계산당 O( n_s n_phi)이다. 두 방법 모두 정확한 결과를 보여주며 PC에서 200 ms이내에 수행되는데, 두 번째 방법은 실시간 응용이 가능할 정도로 빠르다.

사람의 특성 정보를 추출하고 난 후, 표면법선벡터를 적분하거나 특성 정보를 바탕으로 미리 구한 선형사상을 계산하여 3차원 표면을 복원한다. 적분 방법은 DCT를 이용하여 강인하게 복원을 수행하고 선형사상 방법은 CCA를 사용하여 강인한 특징을 추출한다. 적분 방법은 세부 복원이 나은데에 비해 선형사상 방법은 전체 구조 복원에 유리하다.

결론적으로, 제안된 방법들은 텐서 대수를 이용하여 한 장의 사진에 대한 통계적 명암기반 형상 복원을 위한 이중선형모형의 학습 및 복원을 효율적으로 수행한다. 제안된 방법들은 매우 짧은 시간 안에 정확한 복원 성능을 보여주며, 현실적인 응용에 적합하다.