短暂却又很满意的国庆假期，真的很喜欢我的朋友们，又漂亮又可爱，还总能用他们的方式给我帮助，希望接下来能够顺顺利利的度过2021年最后的三个月，然后能和朋友们一起跨年！
论文阅读《ReduNet：A White-box Deep Network from the Principle of Maxinizing Rate Reduction》。
这项工作的目的是提供一个合理的理论框架，旨在从数据压缩和判别性表征原则的角度，来解释现代深度（卷积）网络。
“白盒”神经网络ReduNet。这是一种通过推导最大编码率衰减（MCR2）目标的梯度而自然构建的深度神经网络，网络的每一层都可以用数学运算来解释，并且网络的参数都是通过前向传播逐层明确构建的，无需用反向传播算法进行学习。此外，通过给网络添加平移不变性的特征，卷积算子可以只使用数据和MCR2目标函数来推导，这就使得ReduNet网络设计具有原则性和可解释性。
马毅团队还表示，这种基于原理的方法还有以下好处：揭示了不变深度网络和傅里叶变换之间的基本联系——也就是在谱域中计算的优势；揭示了前向传播算法（优化）和反向传播算法（变分）分别扮演的数学角色。简单来说，这项研究是基于信息论，进行了神经网络可解释性方面的研究。
寻找深度学习的普适理论一直是学界关注的焦点。在深度学习的工作中，我们常常使用许多经验性的方法，例如选择不同的非线性层，样本的归一化，残差链接，卷积操作等等。这样的方法为网络带来了优秀的效果，经验性的理解也为深度学习发展提供了指导。但似乎我们对其理解仅限于此，由于网络的黑盒性质，这些方法究竟从理论上如何工作，为何需要加入网络，我们似乎难以回答。
马毅教授阐述了最大编码率衰减（Maximal Coding Rate Reduction, MCR^2）作为深度模型优化的第一性原理的系列工作。此外，马毅介绍了近期的工作：通过优化 MCR^2 目标，能够直接构造出一种与常用神经网络架构相似的白盒深度模型，其中包括矩阵参数、非线性层、归一化与残差连接，甚至在引入「群不变性」后，可以直接推导出多通道卷积的结构。该网络的计算具有精确直观的解释，受到广泛关注。
马毅教授提出，分类和聚类代表的学习任务，与数据压缩（Compression）有关，而这样的任务，通常是在寻找高维目标的低秩结构，且深度网络能够适应于这样的压缩场景。
我们引入一个假设，在数据处理中，通常面对的是具有低维结构的高维数据。在这样的情况下，学习的目标通常会包含三个基本问题：
Interpolation，我们寻找样本之间的相似关系，这体现为聚类或分类任务；
Extrapolation，当获得第一个阶段任务的信息后，我们就可以对新的样本进行归类，判断未知样本的结构。
Representation，我们能够了解数据的信息，并建模描述它。
深度学习则将上述数据分析的任务“塞”进黑箱运算中。例如在神经网络分类任务中，我们将输入与输出的标签相互对应，然而足够大的深度网络能够拟合任何给定标签。
看不大懂，等以后能看懂再回来看
阅读参考：https://zhuanlan.zhihu.com/p/368296574
