基于模型的3D重建(3DMM)和端到端的3D重建
1,3DMM
文献:《A Morphable Model For The Synthesis Of 3D Faces》
在这个思想的引导下,在1999 年,瑞士巴塞尔大学的科学家Blanz 和Vetter 提出了一种十分具有创新性的方法:三维形变模型(3DMM) 。三维形变模型建立在三维人脸数据库的基础上,以人脸形状和人脸纹理统计为约束,同时考虑到了人脸的姿态和光照因素的影响,因而生成的三维人脸模型精度高。
3DMM模型数据库人脸数据对象的线性组合,在上面3D人脸表示基础上,假设我们建立3D变形的人脸模型由m个人脸模型组成,其中每一个人脸模型都包含相应的Si和Ti两种向量,这样在表示新的3D人脸模型时,我们就可以用以下的方式:
SnewModel=S‾+∑m−1i=1αisi S_{newModel} =\overline{S} + \sum _{i=1}^{m-1} \alpha_is_i
其中S‾ \overline S
表示平均脸部形状模型,si s_is
表示shape的PCA部分,αi \alpha_iα
表示对应系数;文理模型同理。
像这样,一张新的人脸模型就可以由已有的脸部模型线性组合。也就是说,我们可以通过改变系数,在已有人脸基础上生成不同人脸。
二,表情3DMM
初版3DMM虽然解决了人脸变形模型的表达,但其在人脸表情表达上面明显不足,在2014年时,FacewareHouse这篇论文提出并公开了一个人脸表情数据库,使得3DMM有了更强的表现力。从而人脸模型的线性表示可以扩充为:
Ref:
https://blog.csdn.net/u011681952/article/details/82623328
3D重建部分总结代码:
https://blog.csdn.net/qq_35045096/article/details/96498937