stn网络包含3个部分,如图所示,分别是Localisation net,Grid generator,Sampler。
image.png
上图中的网络输入是U,输出是V,V是由U计算得来的,U和V大小尺寸可以不一致。V根据U中的对应的像素点按照一定的映射规则来计算得到,这样就需要如何解决如下问题:1)由哪些像素点来映射;2)如何映射,映射的参数是什么。上面的3个组件的作用就是解决以上问题的,Localisation net计算映射的参数;Grid generator计算对应的像素点;Sampler根据像素点和参数计算出V的值。
stn可以应用在网络的各个层,一般可以提高网络的性能。