最近在研究光流法，看了一些深度学习光流插帧的运算，发现NVIDIA在这个方向投入挺深。看了FlowNet、PWCNet、Super-slomo等算法，发现都是基于UNet做的，而且都是每个关键环节都套用一个Unet，感觉这么处理计算复杂度好高呀。如果，我再把压缩感知弄进入，感觉根本无法收敛。所以，我打算从简化光流计算网络开始，我目前选择多分辨金字塔的模式，在里面插入压缩感知重构的网络，直接从稀疏编码采集的数据中提取我想要的光流信息。目前的假设也不知道合不合适，我觉得video的光流图的细节信息应该是比较少的，也就是说，我们可以把video分为光流和背景两个部分，同时光流的特征结构会比背景简单很多。因此，借助于深度网络的特征表示方式，我们可以压缩感知的采集方式来快速采集我们所希望获得的光流信息，同时舍弃掉我们不怎么感兴趣的背景信息，从而提升我们的采集效率。毕竟，许多时候，我们仅仅只是关系光流结果。希望我的尝试能够成功，这样我就有机会实现下一步计划。