如果拿系统输入补足，会不会有点不好解释为什么这么做？我和学弟对激活函数是仿射函数算了好像不行（下图），我们现在考虑把文章中的gradient看成subgradient能不能处理，不过也碰到一些问题。
在约束误差传播算法里%7D%2C%20%5Ccdots%2C%20%5Cboldsymbol%7Bx%7D_%7B%5Cmathrm%7Bin%7D%5Cleft(i%2C%20k_%7Bi%7D%5Cright)%7D%5Cright)%2C%20i%3D1%2C%20%5Ccdots%2C%20n)
希望同时有%7D%7B%5Cpartial%20x_%7Bi%7D%7D%3DM_%7Bi%7D%20f_%7Bi%7D%5E%7B-1%7D%5Cleft(x_%7Bi%7D%5Cright)--%EF%BC%881%EF%BC%89)
%7D%2C%20%5Ccdots%2C%20%5Cboldsymbol%7Bx%7D_%7B%5Cmathrm%7Bin%7D%5Cleft(i%2C%20k_%7Bi%7D%5Cright)%7D%5Cright))
低维到高维
和%7D%20%5Ccdots%20x_%7Bi%20n(i%2C%20j)%7D%20%5Ccdots%20x_%7Bi%20n%5Cleft(i%2C%20k_%7Bi%7D%5Cright)%7D%5Cright)%7D%7B%5Cpartial%5Cleft(%5Cleft(w_%7Bi%7D%5Cright)%5E%7BT%7D%2C%5Cleft(x_%7Bi%20n(i%2C%201)%7D%5Cright)%5E%7BT%7D%20%5Cldots%5Cleft(x_%7Bi%20n%5Cleft(i%2C%20k_%7Bi%7D%5Cright)%7D%5Cright)%5E%7BT%7D%5Cright)%5E%7BT%7D%7D%3DM_%7Bi%7D%5E%7BT%7D%20f_%7Bi%7D%5Cleft(%5Cboldsymbol%7Bw%7D_%7Bi%7D%2C%20x_%7B%5Ctext%20%7Bin%20%7D(i%2C%201)%7D%2C%20%5Ccdots%2C%20x_%7B%5Ctext%20%7Bin%20%7D%5Cleft(i%2C%20k_%7Bi%7D%5Cright)%7D%5Cright)---%EF%BC%882%EF%BC%89)
%7D%2C%20%5Ccdots%2C%20%5Cboldsymbol%7Bx%7D_%7B%5Cmathrm%7Bin%7D%5Cleft(i%2C%20k_%7Bi%7D%5Cright)%7D%5Cright)%20%5Crightarrow%20x_i)
高维到低维
如果考虑取 f 和LPOM里面一样的形式)
，那么这里对应的f应该是以下映射的复合:
%5Crightarrow%20W%5E%7Bi-1%7DX%5E%7Bi-1%7D%5Crightarrow%20%5Cphi(W%5E%7Bi-1%7DX%5E%7Bi-1%7D))
我们算了下这时候取
是简单的仿射函数也是不行的
我觉得原因是f 定义域空间)
维度太高了，要让一个映射是这上面的一个gradient很难成立
LPOM里面能work的原因大概是它不是直接从所在空间到所在空间的映射，而是从
所在空间到所在空间的映射，而这两个的维度一样。
老师现在的意思应该是既然和
维度不一致，我们应该用一些方法补足缺失的维度，补足后两个都是跟那个大维度是一样的。我觉得补足之后我们可能还要面临”在大维度下一个映射要成为gradient会比较苛刻“这个困难（毕竟对两个不同的方向i j，构造出来的函数应该要 j 分量求偏 i 导和 i 分量求偏 j 导相同，这里有很多方程）。我们可以往这个方向考虑考虑。
