唉,为什么回想总结一下呢,本人在结合3D 物体重建和SLAM做一些东西,所以免不了各种2D到3D, 3D到2D. 2D->3D是用相机内参决定的简单的过程,但是重建的3D物体反投影到2D就比较复杂, 主要是2D-3D维度的问题和3D表示的问题。
1. 已知surface的投影问题。 对image上的每一个pix, 将其反投影到3D点, 并且找到它与surface的交点,再转为其深度;
2. 没有surface的情况. 在图片上的每一个pixel,同时打出多条射线,然后对射线碰到的所有点根据这些点深度的分布设一个threshold, 然后再利用这个threshold抹去大部分射线,再对剩下的所有射线取一个pooling,作为其深度值。