反卷积
- 反卷积计算
假设有一个输入为4x4的矩阵X，和一个3x3的矩阵kernel
当卷积参数为步长为1，填充为0时，输出为Y=2x2
此时我们将X展开为16x1的列向量，Y展开为4x1的列向量，则存在矩阵C，有Y = CX,
C的shape为4x16。稀疏矩阵可以推导出来，从而根据C和Y我们可以求的X。但是这个操作只能恢复X的shape，而不能恢复
它的每个元素的值。
- 反卷积输出的shape
首先对于正向卷积，输出shape计算公式output = (input - kernelsize + 2padding) / strides + 1，举例，input=6x6，kernel=3x3，
stride=2，padding=1，则它的输出shape=3x3
对于反卷积，第一种情况，(output + 2padding - kernel) % s = 0（注意这里的output是卷积的输出），此时的反卷积输出为o = strides(input - 1) - 2padding + kernel，即
此时反卷积输出为5x5.
第二种情况，(output + 2padding - kernel) % s != 0
此时反卷积输出尺寸为o = strides(input - 1) - 2padding + kernel + (output + 2padding - kernel) % s，即对于上述的正向卷积，
做反向卷积是输出为6x6。
- tensorflow实验
反卷积
第一种情况，输出的shape为5x5
import tensorflow as tf
img = tf.Variable(tf.constant([[1.,2,3],[4,5,6],[7,8,9]], shape=[1,3,3,1]))
kernel = tf.Variable(tf.constant([[1.0,0.,0.],[0,1.0,0],[0,0,1.0]],shape=[3,3,1,1]))
conts = tf.nn.conv2d_transpose(img,kernel,[1,5,5,1],strides=[1,2,2,1],padding='SAME')
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print('conts:\n', sess.run(conts))
'''
输出为5x5
1 0 2 0 3
0 6 0 8 0
4 0 5 0 6
0 12 0 14 0
7 0 8 0 9
'''
第二种情况，输出shape为6x6
# 代码同上，conts = tf.nn.conv2d_transpose(img,kernel,[1,5,5,1],strides=[1,2,2,1],padding='SAME')中【1,5,5,1】改为【1,6,6,1】
'''
输出为
1 0 2 0 3 0
0 1 0 2 0 3
4 0 6 0 8 0
0 4 0 5 0 6
7 0 12 0 14 0
0 7 0 8 0 9
'''
- tensorflow计算规则
tensorflow执行反卷积时，会首先根据输入的参数计算卷积结果是否成立，也即shape是否合法。
对于第一种情况，计算时先对输入的矩阵中间补0，每两个元素之间补0的个数由strides确定，即补strides-1个0，对于3x3矩阵，补零之后变为5x5
1 0 2 0 3 1 0 2 0 3
1 2 3 0 0 0 0 0 0 6 0 8 0
4 5 6 -> 4 0 5 0 6 -> 卷积核转置 -> 4 0 5 0 6
7 8 9 0 0 0 0 0 0 12 0 14 0
7 0 8 0 9 7 0 8 0 9
第二种情况，计算时除了对矩阵元素中间补零之外，还在外围填充0（也就是same填充），此时input从3x3变为了5x5，padding=1，但此时通过卷积公式计算
output = (input - kernelsize + 2padding) / strides + 1 = （5 - 3 + 2）/ 1 + 1 = 5，不等于6，所以继续在外围填充0，
tensorflow优先在左侧和上侧填充，此时输出的shape就变为6x6了。
注：这一步有的分析上也说是上下左右都补零，但是输出结果对下方和右方的最后一列进行裁剪操作，但实际上效果是一样的。
