Learning Inverse Rendering of Faces from Real-world Videos

https://arxiv.org/abs/2003.12047v1

Learning Inverse Rendering of Faces from Real-world Videos

abstract

본 논문은 실제 얼굴 이미지의 역 렌더링 문제를 검토한다.

기존 방법은 합성 얼굴 데이터에 대한 교육을 얼굴 이미지를 세가지 구성(albedo, normal, illumination)으로 분해했으나, 실제 얼굴과 합성 이미지 사이의 도메인 간격으로 인해 일반화가 되지 않았다.

 

이 문제를 완화하기 위해 다른 프레임에서 albedo, normal의 일관성을 가정하여 실제 얼굴 이미지와 합성 얼굴 이미지와의 간격을 메우기 위해 실제 얼굴 비디오에서 모델을 훈련시키는 weakly supervised training approach를 제안했다.

또한 IlluRes-SfSNet 학습 프레임 워크를 도입하여 잔차 맵을 추가로 추출하여 미세한 세부사항을 조정하는 역할을 했다.

 

* albedo : 빛의 반사하는 정도를 뜻한다.

* normal : 법선 벡터에 대해 빛과 각도를 재어 빛에 대한 정도를 뜻한다.

* illumination : 조명, 조도