Learning Inverse Rendering of Faces from Real-world Videos
https://arxiv.org/abs/2003.12047v1
Learning Inverse Rendering of Faces from Real-world Videos
In this paper we examine the problem of inverse rendering of real face images. Existing methods decompose a face image into three components (albedo, normal, and illumination) by supervised training on synthetic face data. However, due to the domain gap be
arxiv.org
abstract
본 논문은 실제 얼굴 이미지의 역 렌더링 문제를 검토한다.
기존 방법은 합성 얼굴 데이터에 대한 교육을 얼굴 이미지를 세가지 구성(albedo, normal, illumination)으로 분해했으나, 실제 얼굴과 합성 이미지 사이의 도메인 간격으로 인해 일반화가 되지 않았다.
이 문제를 완화하기 위해 다른 프레임에서 albedo, normal의 일관성을 가정하여 실제 얼굴 이미지와 합성 얼굴 이미지와의 간격을 메우기 위해 실제 얼굴 비디오에서 모델을 훈련시키는 weakly supervised training approach를 제안했다.
또한 IlluRes-SfSNet 학습 프레임 워크를 도입하여 잔차 맵을 추가로 추출하여 미세한 세부사항을 조정하는 역할을 했다.
* albedo : 빛의 반사하는 정도를 뜻한다.
* normal : 법선 벡터에 대해 빛과 각도를 재어 빛에 대한 정도를 뜻한다.
* illumination : 조명, 조도