来源：AINLPer微信公众号（点击了解一下吧）
编辑: ShuYini
校稿: ShuYini
时间: 2020-02-23

    2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。

    2020年ICLR会议（Eighth International Conference on Learning Representations）论文接受结果刚刚出来，今年的论文接受情况如下：poster-paper共523篇，Spotlight-paper（焦点论文）共107篇，演讲Talk共48篇，共计接受678篇文章，被拒论文（reject-paper）共计1907篇，接受率为：26.48%。

    下面是ICLR2020给出的今年演讲论文（accpt-talk），共计48篇，欢迎大家Ctrl+F进行搜索查看。

    关注 AINLPer ，回复：ICLR2020 获取会议全部列表PDF，其中一共有四个文件（2020-ICLR-accept-poster.pdf、2020-ICLR-accept-spotlight.pdf、2020-ICLR-accept-talk.pdf、2020-ICLR-reject.pdf）

CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
Author: Rohit Girdhar, Deva Ramanan
link: https://openreview.net/pdf?id=HJgzt2VKPB
Code: None
Abstract: 针对视频图像分析，本文构建了一个具有完全可观察和可控制的对象和场景偏差的视频数据集CATER，它是使用标准3D对象库进行综合渲染的，它测试了识别需要长期推理的对象运动组成的能力。除了具有挑战性的数据集外，CATER还提供了许多诊断工具，可以通过完全可观察和可控制的方式来分析现代时空视频架构。使用CATER，可以洞悉某些最新的深度视频体系结构。

BackPACK: Packing more into Backprop
Author: Felix Dangel, Frederik Kunstner, Philipp Hennig
link: https://openreview.net/pdf?id=BJlrF24twB
Code: https://toiaydcdyywlhzvlob.github.io/backpack/
Abstract: 自动区分框架仅针对一件事进行了优化：计算平均小批量梯度。但从理论上讲，它可以高效地计算其他量，例如小批量梯度的方差或对Hessian的许多近似值。为此本文引入了BackPACK，这是一种基于PyTorch的高效框架，该框架扩展了反向传播算法，可以从一阶和二阶导数中提取其他信息。

GenDICE: Generalized Offline Estimation of Stationary Values
Author: Ruiyi Zhang, Bo Dai, Lihong Li, Dale Schuurmans
link: https://openreview.net/pdf?id=HkxlcnVFwB
Code: None
Abstract:
Keyword: 在强化学习和蒙特卡洛方法中出现的一个重要问题是估计由马尔可夫链的平稳分布定义的数量。在许多实际应用程序中，对基础转换运算符的访问仅限于已收集的固定数据集，而无需与环境进行其他交互。本文表明在这种情况下一致的估计仍然是可能的，并且在重要的应用程序中仍然可以实现有效的估计。本文的方法基于以下估计：从静态分布的基本属性推导得出的比例，该比例可校正静态分布和经验分布之间的差异，并利用基于变分散度最小化的约束重新公式化。生成的算法GenDICE简单有效。

Principled Weight Initialization for Hypernetworks
Author: Oscar Chang, Lampros Flokas, Hod Lipson
link: https://openreview.net/pdf?id=H1lma24tPB
Code: None
Abstract: 超网络是元神经网络，它以端到端的可微分方式为主神经网络生成权重。 尽管有从多任务学习到贝叶斯深度学习的广泛应用，但迄今为止尚未研究优化超网络的问题。本文开发了用于超网中权重初始化的原理技术，并表明它们可导致更稳定的主网权重，更低的训练损失和更快的收敛速度。

On the Convergence of FedAvg on Non-IID Data
Author: Xiang Li, Kaixuan Huang, Wenhao Yang, Shusen Wang, Zhihua Zhang
link: https://openreview.net/pdf?id=HJxNAnVtDS
Code: https://github.com/lx10077/fedavgpy
Abstract: 联合学习使大量边缘计算设备无需数据共享即可共同学习模型。作为此设置中的一种领先算法，联合平均在总设备的一小部分上并行运行随机梯度下降（SGD），并且偶尔仅对序列进行一次平均。尽管它很简单，但在现实环境下缺乏理论上的保证。在本文中，我们分析了非文本数据上联合平均的收敛性，并针对强凸和光滑问题建立了收敛速度。重要的是，我们的bound表明了通信效率和收敛速度之间的权衡。

Data-dependent Gaussian Prior Objective for Language Generation
Author: Zuchao Li, Rui Wang, Kehai Chen, Masso Utiyama, Eiichiro Sumita, Zhuosheng Zhang, Hai Zhao
link: https://openreview.net/pdf?id=S1efxTVYDr
Code: https://drive.google.com/file/d/1q8PqhF9eOLOHOcOCGVKXtA_OlP6qq2mn
Abstract: 针对语言生成之类的典型序列预测问题，MLE专注于预测序列与黄金标准之间的一次全部匹配，因此将所有不正确的预测都视为同样不正确。在本文中，将所有不正确的预测均等地对待会不公平地淡化这些序列的详细令牌方式结构的细微差别。为了解决这个问题，这里通过引入额外的Kullback-Leibler发散项来增加MLE损失，该项通过比较数据相关的高斯先验和详细的训练预测而得出。所提出的数据相关的高斯先验目标（D2GPo）是根据令牌的先验拓扑顺序定义的，与通常在平滑MLE训练中采用的数据无关的高斯先验（L2正则化）相距甚远。实验结果表明，该方法有效地利用了数据中更详细的先验信息，并且在典型的语言生成任务（包括有监督和无监督的机器翻译，文本摘要，讲故事和图像字幕）中提高了性能。

Contrastive Learning of Structured World Models
Author: Thomas Kipf, Elise van der Pol, Max Welling
link: https://openreview.net/pdf?id=H1gax6VtDB
Code: https://github.com/tkipf/c-swm
Abstract: 本文引入了对比训练的结构化世界模型（C-SWM）。 C-SWM利用对比方法在具有组成结构的环境中进行表示学习。我们将每个状态嵌入构造为一组对象表示及其关系，并通过图神经网络进行建模。我们在包含多个交互对象的合成环境上评估C-SWM，并且这些交互对象可以由代理，简单的Atari游戏和多对象物理模拟进行独立操作。我们的实验表明，C-SWM可以克服基于像素重构的模型的局限性，并在高度结构化的环境中胜过此类模型的典型代表，同时学习可解释的基于对象的表示形式。

Neural Network Branching for Neural Network Verification **
Author: Jingyue Lu, M. Pawan Kumar
link: https://openreview.net/pdf?id=B1evfa4tPB
Code: None
Abstract: 为了实现对神经网络的部署验证，我们提出了一个新颖的框架，用于设计BaB的有效分支策略**。具体来说，我们学习图神经网络（GNN）来模仿强分支启发式行为。我们的框架与以前的学习分支方法不同，主要有两个方面。首先，我们的框架将要验证的神经网络直接视为GNN的图形输入。其次，我们制定了直观的向前和向后嵌入更新时间表。此外，我们证明了我们的GNN模型具有水平和垂直转移能力。在水平方向上，经过简单属性训练的模型在难度级别增加的属性上表现良好。垂直而言，在小型神经网络上训练的模型在大型神经网络上实现了相似的性能。

Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity
Author: Jingzhao Zhang, Tianxing He, Suvrit Sra, Ali Jadbabaie
link: https://openreview.net/pdf?id=BJgnXpVYwS
Code: https://github.com/JingzhaoZhang/why-clipping-accelerates
Abstract: 本文提供了梯度裁剪在训练深度神经网络中的有效性的理论解释。关键因素是从实际的神经网络训练示例中得出的新的平滑度条件。之前的一些算法主要依赖于平滑度的固定界限。这些观察促使我们引入一种新的梯度平滑度松弛，该松弛度比常用的Lipschitz平滑度假设弱。在新的条件下，我们证明了梯度剪切和归一化梯度这两种流行的方法比固定步长的梯度下降任意收敛更快。我们进一步解释了为什么这样的自适应缩放梯度方法可以加速经验收敛，并在流行的神经网络训练环境中凭经验验证我们的结果。

Posterior sampling for multi-agent reinforcement learning: solving extensive games with imperfect information
Author: Yichi Zhou, Jialian Li, Jun Zhu
link: https://openreview.net/pdf?id=Syg-ET4FPS
Code: None
Abstract: 尽管强化学习的后验采样（PSRL）在单主体强化学习问题上表现良好，但是如何将PSRL应用于多主体强化学习问题却尚未得到研究。 在这项工作中，我们将PSRL扩展到具有不完善信息（TEGI）的两人零和博弈，这是一类多代理系统。 更具体地说，我们将PSRL与反事实后悔最小化（CFR）结合使用，后者是TEGI在已知环境下的领先算法。

Mogrifier LSTM
Author: Gábor Melis, Tomáš Kočiský, Phil Blunsom
link: https://openreview.net/pdf?id=SJe5P6EYvS
Code: None
Abstract: 自然语言处理循环网络已经取得了一定的成功，但仍然缺乏建模语言最终所需的概括性和系统性，为此本文提出了对古老的长期短期记忆的扩展，其形式是当前输入和先前输出的相互选通。这种机制提供了对输入及其上下文之间交互的更丰富空间的建模。等效地，我们的模型可以看作是使LSTM上下文给定的转换函数相关。实验表明，除了Enwik8之外，我们在所有数据集上都建立了新的技术水平，这消除了LSTM和Transformer模型之间的巨大空白。

Learning Hierarchical Discrete Linguistic Units from Visually-Grounded Speech
Author: David Harwath, Wei-Ning Hsu, James Glass
link: https://openreview.net/pdf?id=B1elCp4KwH
Code: None
Abstract: 在本文中，我们提出了一种通过将矢量量化层合并到视听语音的神经模型中来学习离散语言单元的方法。我们证明了我们的方法能够捕获单词级和子单词单元，具体取决于其配置方式。本文与语音单元学习先前工作的区别在于训练目标的选择。而不是使用基于重建的损失，我们使用判别性的多峰接地物镜，该物镜强制学习的单元对于语义图像检索很有用。我们评估了ZeroSpeech 2019挑战赛的子单词单位，与表现最好的提交相比，ABX错误率降低了27.3％，同时保持比特率大致相同。

Mirror-Generative Neural Machine Translation
Author: Zaixiang Zheng, Hao Zhou, Shujian Huang, Lei Li, Xin-Yu Dai, Jiajun Chen
link: https://openreview.net/pdf?id=HkxQRTNYPH
Code: None
Abstract: 训练神经机器翻译模型（NMT）需要大量的并行语料库，这对于许多语言对来说都是稀缺的。 在本文中，我们提出了镜像生成NMT（MGNMT），它是一个单一的统一体系结构，该体系结构同时集成了源到目标翻译模型，目标到源翻译模型以及两种语言模型。 翻译模型和语言模型都共享相同的潜在语义空间，因此两个翻译方向都可以更有效地从非并行数据中学习。

Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning
Author: Ruqi Zhang, Chunyuan Li, Jianyi Zhang, Changyou Chen, Andrew Gordon Wilson
link: https://openreview.net/pdf?id=rkeS1RVtPS
Code: None
Abstract: 神经网络权重的后验是高维和多峰的。 每种模式通常表征数据的有意义的不同表示。 我们开发了周期性随机梯度MCMC（SG-MCMC）以自动探索此类分布。 特别是，我们提出了一个周期性的步长调度表，其中较大的步长会发现新的模式，而较小的步长会表征每种模式。 我们证明了所提出算法的非渐近收敛理论。 此外，我们提供了包括ImageNet在内的广泛实验结果，以证明循环SG-MCMC在学习复杂的多峰分布中的有效性，特别是对于利用现代深度神经网络进行的完全贝叶斯推理而言。

Your classifier is secretly an energy based model and you should treat it like one
Author: Will Grathwohl, Kuan-Chieh Wang, Joern-Henrik Jacobsen, David Duvenaud, Mohammad Norouzi, Kevin Swersky
link: https://openreview.net/pdf?id=Hkxzx0NtDB
Code: https://wgrathwohl.github.io/JEM/
Abstract: 本文提出将p（y | x）的标准判别分类器重新解释为联合分布p（x，y）的基于能量的模型。 在此设置下，我们改进了最近提出的用于扩展基于能量的模型训练的技术，并提出了一种与标准分类训练相比几乎不增加开销的方法。 我们的方法是第一个在一个混合模型中在生成性学习和判别性学习上达到与最新技术相媲美的性能的方法。

Dynamics-Aware Unsupervised Skill Discovery
Author: Archit Sharma, Shixiang Gu, Sergey Levine, Vikash Kumar, Karol Hausman
link: https://openreview.net/pdf?id=HJgLZR4KvH
Code: None
Abstract: 传统上，基于模型的强化学习（MBRL）旨在学习环境动力学的全局模型。要为复杂的动力学系统学习准确的模型仍然很困难。在本文中，我们将基于模型的学习与对原语的无模型学习结合在一起，从而简化了基于模型的计划。从理论上讲，我们的方法可以利用连续的技能空间，即使对于高维状态空间，我们也可以无限学习许多行为。我们证明，在学习的潜在空间中的零散规划显着优于标准MBRL和无模型目标条件的RL，可以处理稀疏奖励任务，并大大改善了用于无监督技能发现的现有分层RL方法。

Optimal Strategies Against Generative Attacks
Author: Roy Mor, Erez Peterfreund, Matan Gavish, Amir Globerson
link: https://openreview.net/pdf?id=BkgzMCVtPB
Code: https://github.com/roymor1/OptimalStrategiesAgainstGenerativeAttacks
Abstract:生成神经模型（NLG）最近得到了极大的改进。随着这一进展，存在这样的风险，即这种模型将用于攻击依赖于传感器数据进行身份验证和异常检测的系统。许多这样的学习系统已在全球范围内安装，以保护关键基础架构或私有数据免受故障和网络攻击。我们拟定了一种面向生成假冒攻击的身份验证系统的方案，从理论角度对其进行表征，并探讨其实际意义。将问题视作极大值博弈，针对一般情况下的攻击者和身份验证者描述最优策略，并针对高斯源分布情况以封闭形式提供最优策略。基于这些见解，我们设计了实用的学习方法，并表明它们所产生的模型对于针对现实世界数据的各种攻击具有更强的鲁棒性。

GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding
Author: Chenhui Deng, Zhiqiang Zhao, Yongyu Wang, Zhiru Zhang, Zhuo Feng
link: https://openreview.net/pdf?id=r1lGO0EKDH
Code: https://github.com/cornell-zhang/GraphZoom
Abstract:现有的图形嵌入模型或者在训练期间不能合并节点属性信息，或者遭受节点属性噪声的困扰，这损害了准确性。此外，由于它们的高计算复杂性和内存使用量，它们中的极少数可以缩放到大图。在本文中，我们提出了GraphZoom，这是一种用于提高无监督图嵌入算法的准确性和可伸缩性的多层框架。 实验表明，与最新的无监督嵌入方法相比，GraphZoom可以显着提高分类精度，并显着加速整个图形嵌入过程。

Harnessing Structures for Value-Based Planning and Reinforcement Learning
Author: Yuzhe Yang, Guo Zhang, Zhi Xu, Dina Katabi
link: https://openreview.net/pdf?id=rklHqRVKvH
Code: https://github.com/YyzHarry/SV-RL
Abstract: 基于价值的方法构成了计划和深度强化学习（RL）的基本方法。在本文中，我们提出为计划和深度RL开发状态作用值函数（即Q函数）的基础结构。我们在控制和深度RL任务的上下文中凭经验验证了低秩Q函数的存在。通过利用矩阵估计（ME）技术，我们提出了一个通用框架来利用Q函数中的底层低秩结构。这导致经典控制的计划程序效率更高，此外，可以将简单方案应用于基于值的RL技术，以在“低级”任务上始终获得更好的性能。关于控制任务和Atari游戏的大量实验证实了我们方法的有效性。

Comparing Fine-tuning and Rewinding in Neural Network Pruning
Author: Alex Renda, Jonathan Frankle, Michael Carbin
link: https://openreview.net/pdf?id=S1gSj0NKvB
Code: https://github.com/comparing-rewinding-finetuning/code
Abstract: 神经网络修剪是一种流行的技术，可以通过从网络中删除连接，神经元或其他结构来降低推理成本。在本文中，我们探索了一种微调方法：倒带。与其继续训练所得的修剪后的网络（微调），不如将剩余的权重从训练初期的值倒回到它们的值，然后对原始训练过程的其余部分进行训练。我们发现该程序改变了Frankle等人提出的寻找彩票的策略。在给定目标精度的前提下，将权重倒数到合适的程度，可以对网络进行进一步的修剪，而不是通过微调来修剪网络。我们还发现，与在所有测试网络中进行微调相比，有许多合适的倒带点可实现更高的精度。基于这些结果，我们认为从业者应该探索重绕作为神经网络修剪微调的替代方法。

Meta-Q-Learning
Author: Rasool Fakoor, Pratik Chaudhari, Stefano Soatto, Alexander J. Smola
link: https://openreview.net/pdf?id=SJeD3CEFPH
Code: None
Abstract: 本文介绍了Meta-Q-Learning（MQL），这是一种用于元强化学习（meta-RL）的新的非策略算法。 MQL基于三个简单的想法。 首先，我们表明，如果可以访问表示过去轨迹的上下文变量，则Q学习与最新的元RL算法相比具有竞争优势。 其次，在训练任务中最大化平均奖励的多任务目标是对RL策略进行元训练的有效方法。 第三，可以从元训练重播缓冲区中回收过去的数据，以使用非策略更新来适应新任务的策略。 MQL借鉴了倾向估计中的想法，从而扩大了可用于适应的可用数据量。 在标准连续控制基准上进行的实验表明，MQL与meta-RL中的最新技术相比具有优势。

Mathematical Reasoning in Latent Space
Author: Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal
link: https://openreview.net/pdf?id=Ske31kBtPr
Code: None
Abstract: 本文设计并进行了一个简单的实验，以研究神经网络是否可以在固定维度的潜在空间中执行近似推理的多个步骤。可以成功地对语句执行的一组重写（即转换）表示该语句的基本语义特征。我们可以通过将公式嵌入向量空间中来压缩此信息，以便与语句关联的向量可用于预测语句是否可以被其他定理重写。预测由某个重写规则生成的公式的嵌入自然被视为潜在空间中的近似推理。为了衡量这种推理的有效性，我们在潜在空间中执行了近似的演绎序列，并使用所得的嵌入通知相应形式声明的语义特征（这是通过使用实式执行相应的重写序列而获得的）。我们的实验表明，图神经网络可以对语句的重写成功做出非平凡的预测，即使它们将预测的潜在表示传播了多个步骤也是如此。由于我们的数学公式集涵盖了各种各样的数学学科，因此该实验通常可以推断出潜在空间的推论的可行性。

A Theory of Usable Information under Computational Constraints
Author: Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon
link: https://openreview.net/pdf?id=r1eBeyHFDH
Code: None
Abstract: 我们提出了一个用于推理复杂系统中信息的新框架。本框架基于Shannon信息理论的变体扩展，其中考虑了观察者的建模能力和计算约束。所得的预测信息包含相互信息和其他信息性概念，例如确定系数。与Shannon的相互信息不同，并且不违反数据处理不平等的情况，可以通过计算来创建信息。这与深度神经网络在表示学习中提取具有更多信息特征的层次结构相一致。此外，我们表明，通过合并计算约束，即使使用PAC样式的保证，即使在高维中，也可以从数据可靠地估计V信息。从经验上，我们证明预测性V信息比相互信息对结构学习和公平表示学习更有效。

Geometric Analysis of Nonconvex Optimization Landscapes for Overcomplete Learning
Author: Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang, Zhihui Zhu
link: https://openreview.net/pdf?id=rygixkHKDH
Code: None
Abstract: 学习过完备的表示法会在机器学习和数据分析中找到许多应用。 本文为几个重要的表示学习问题提供了新的理论见解：学习（i）稀疏使用的不完全词典和（ii）卷积词典。 我们将这些问题公式化为球面上的范数优化问题，并研究其非凸优化景观的几何性质。 对于这两个问题，我们表明非凸目标具有良性（全局）几何结构，这使开发能够找到目标解决方案的有效优化方法成为可能。 最后，我们的理论结果通过数值模拟得到了证明。

Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds
Author: Jordan T. Ash, Chicheng Zhang, Akshay Krishnamurthy, John Langford, Alekh Agarwal
link: https://openreview.net/pdf?id=ryghZJBKPS
Code: None
Abstract: 我们使用深度神经网络模型设计了一种用于批处理主动学习的新算法。 我们的算法是通过多样梯度嵌入（BADGE）进行批处理主动学习，对在hallucinated梯度空间中表示的离散和高幅值的点进行采样，该策略旨在将预测不确定性和样本多样性纳入每个选定的批处理中。 至关重要的是，BADGE可以在多样性和不确定性之间进行权衡，而无需任何手动调整的超参数。

Understanding and Robustifying Differentiable Architecture Search
Author: Arber Zela, Thomas Elsken, Tonmoy Saikia, Yassine Marrakchi, Thomas Brox, Frank Hutter
link: https://openreview.net/pdf?id=H1gDNyrKDS
Code: https://github.com/automl/RobustDARTS
Abstract: 由于可简化架构搜索（DARTS）的简单性以及通过不断放松和近似得出的双层优化问题而获得的少量搜索成本，因此吸引了很多关注。但是，DARTS对于新问题并不能很好地发挥作用：我们确定了广泛的搜索空间，DARTS可以针对这些搜索空间生成简陋的架构，并且测试性能非常差。我们研究了这种故障模式，并表明，尽管DARTS成功地将验证损失最小化，但当发现的解决方案与架构空间中的高验证损失曲率相吻合时，发现的解决方案的推广效果很差。我们表明，通过添加各种类型的正则化之一，我们可以使DARTS鲁棒化，以找到曲率较小且泛化性能更好的解决方案。基于这些观察，我们提出了DARTS的几种简单变体，它们在实践中表现得更加强大。

A Closer Look at Deep Policy Gradients
Author: Andrew Ilyas, Logan Engstrom, Shibani Santurkar, Dimitris Tsipras, Firdaus Janoos, Larry Rudolph, Aleksander Madry
link: https://openreview.net/pdf?id=ryxdEkHtPS
Code: None
Abstract: 我们研究深度策略梯度算法的行为如何反映激励其发展的概念框架。 为此，我们基于该框架的关键元素（梯度估计，值预测和优化环境）提出了一种最新技术的细粒度分析。 我们的结果表明，深层策略梯度算法的行为通常会偏离其激励框架的预测：替代奖励与真实奖励格局不符，学习的价值估算器无法满足真实价值函数，并且梯度估算与“ 真”渐变。 我们发现的预测行为和经验行为之间的不匹配，凸显了我们对当前方法的理解不足，并表明需要超越当前以基准为中心的评估方法。

Implementation Matters in Deep RL: A Case Study on PPO and TRPO
Author: Logan Engstrom, Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Firdaus Janoos, Larry Rudolph, Aleksander Madry
link: https://openreview.net/pdf?id=r1etN1rtPB
Code: https://github.com/implementation-matters/code-for-paper
Abstract: 通过对两个流行算法（近端策略优化和信任区域策略优化）的案例研究，研究了深度策略梯度算法中算法进步的根源。 我们研究“代码级优化”的后果：仅在实现中发现或被描述为核心算法的辅助细节的算法增强。 似乎次要的是，此类优化对代理行为具有重大影响。 我们的结果表明，他们（a）负责PPO积累的大部分收益超过TRPO，并且（b）从根本上改变RL方法的功能。 这些见解表明了在深度强化学习中归因于绩效提升的困难和重要性。

Fast Task Inference with Variational Intrinsic Successor Features
Author: Steven Hansen, Will Dabney, Andre Barreto, David Warde-Farley, Tom Van de Wiele, Volodymyr Mnih
link: https://openreview.net/pdf?id=BJeAHkrYDS
Code: None
Abstract: 已经确定，可以通过奖励与其他策略可区分的策略来训练跨越马尔可夫决策过程的可控子空间的各种行为。但是，这种表述的一个局限性是难以推广到超出明确学习的有限行为集的范围，这在后续任务中可能是必需的。后继特征为该泛化问题提供了一种有吸引力的解决方案，但需要在某些基础特征空间中将奖励函数定义为线性。在本文中，我们表明可以将这两种技术结合起来，并且每种方法都可以解决彼此的主要局限性。为此，我们引入了变种内在后继特征（VISR），这是一种新颖的算法，可学习可控特征，可通过后继特征框架利用可控特征来提供增强的泛化能力和快速的任务推断。我们以新颖的设置对整个Atari套件上的VISR进行了经验验证，其中的奖励仅是在漫长的无人监督阶段之后才短暂暴露出来的。我们相信，在12场比赛中达到人类水平的表现并超过所有基准时，我们认为VISR代表了朝着能够从有限的反馈中快速学习的代理商迈出的一步。

Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks
Author: Hae Beom Lee, Hayeon Lee, Donghyun Na, Saehoon Kim, Minseop Park, Eunho Yang, Sung Ju Hwang
link: https://openreview.net/pdf?id=rkeZIJBYvr
Code: https://github.com/haebeom-lee/l2b
Abstract: 虽然在现实环境中，任务的实例和类的数量可能会发生变化，但是现有的元学习方法用于少镜头分类时，假设每个任务和类的实例数量是固定的。由于这样的限制，即使每个任务和类的实例数量有很大差异，他们也要学习在所有任务之间平等地利用元知识。此外，他们没有考虑看不见的任务的分配差异，而元知识的有用性取决于任务的关联性。为了克服这些局限性，我们提出了一个新的元学习模型，自适应地平衡元学习和任务特定学习在每个任务中的效果。通过对平衡变量的学习，我们可以决定是依靠元知识还是任务特定学习来获得解决方案。我们将这个目标用一个贝叶斯推理框架来表示，并使用变分推理来解决它。我们在两个现实的任务和类不平衡的数据集上验证了我们的贝叶斯任务自适应元学习(Bayesian TAML)，该方法在这两个数据集上显著优于现有的元学习方法。进一步的消融研究证实了各平衡分量和贝叶斯学习框架的有效性。

RNA Secondary Structure Prediction By Learning Unrolled Algorithms
Author: Xinshi Chen, Yu Li, Ramzan Umarov, Xin Gao, Le Song
link: https://openreview.net/pdf?id=S1eALyrYDH
Code: https://github.com/ml4bio/e2efold
Abstract: 在这篇论文中，我们提出了一个端到端的深度学习模型，称为e2，用于RNA二级结构预测，它可以有效地考虑到问题的内在约束。E2Efold的关键思想是直接预测RNA碱基配对矩阵，并使用约束编程的展开算法作为深入体系结构的模板来实施约束。通过对基准数据集的综合实验，我们证明了E2Efold的优越性能:与以前的SOTA相比，它可以显著地预测更好的结构(特别是对于伪打结结构)，同时在推理时间方面与最快的算法一样高效。

Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search
Author: Anji Liu, Jianshu Chen, Mingze Yu, Yu Zhai, Xuewen Zhou, Ji Liu
link: https://openreview.net/pdf?id=BJlQtJSKDB
Code: None
Abstract: 蒙特卡罗树搜索(MCTS)算法在许多具有挑战性的基准测试(如计算机围棋)上取得了巨大的成功。然而，它们通常需要大量的滚动，这使得它们的应用程序非常昂贵。此外，由于MCTS的固有的顺序性，并行化MCTS也极具挑战性:每次推出都严重依赖于从以前的模拟中估计的统计数据(例如节点访问计数)来实现有效的探索-利用权衡。尽管有这些困难，我们开发了一个算法，WU-UCT，以有效地并行化MCTS，实现线性加速，并显示有限的性能损失与越来越多的工人。WU-UCT的关键思想是引入一组统计数据来跟踪进行中但不完整的模拟查询(称为未观察样本)的数量。当我们并行化最耗时的扩展和模拟步骤时，这些统计数据被用来以有原则的方式修改选择步骤中的UCT树策略，以保留有效的探索-利用权衡。在专用基准测试和雅达利游戏基准测试上的实验表明，与现有技术相比，WU-UCT具有线性加速和优越的性能。

Target-Embedding Autoencoders for Supervised Representation Learning
Author: Daniel Jarrett, Mihaela van der Schaar
link: https://openreview.net/pdf?id=BygXFkSYDH
Code: None
Abstract: 基于自编码的学习已经成为在无监督和半监督环境下训练表征的主要手段。本文分析了在纯监督环境下，目标空间是高维的情况下，改进泛化的一个框架。我们激励和形式化的一般框架目标接入autoencoders(茶)监督预测,学习中间潜伏表示共同优化既可预测的特性以及预测的目标——编码之前,目标的变化是由一组简洁的潜在因素。作为我们的理论贡献，我们通过展示一致的稳定性，将辅助重建任务的好处解释为正则化的一种形式，为线性茶叶的泛化提供了保证。作为我们的经验贡献，我们将该方法的验证从现有的静态分类应用扩展到多元序列预测，验证了它们在线性和非线性递归架构上的优势——从而强调了该框架在前馈实例化之外的进一步通用性。

Reformer: The Efficient Transformer
Author: Nikita Kitaev, Lukasz Kaiser, Anselm Levskaya
link: https://openreview.net/pdf?id=rkgNKkHtvB
Code: https://github.com/google/trax/tree/master/trax/models/reformer
Abstract: 大型Transform模型通常可以达到最先进的结果有很多任务，但训练这些模型的成本可能高得令人望而却步，特别是长序列。我们介绍两种技术来改进Transform的效率。其一，我们取代了对网络产品的关注一个使用位置敏感的哈希，改变了它的复杂性
从O(L^2)到O(L /log L)，其中L是序列的长度。此外，我们使用可逆剩余层代替标准残差，只允许在训练中存储激活一次处理而不是N次，其中N是层数。得到的模型，其性能与Transform模型相当同时在长序列上存储效率更高，速度更快。

Rotation-invariant clustering of neuronal responses in primary visual cortex
Author: Ivan Ustyuzhaninov, Santiago A. Cadena, Emmanouil Froudarakis, Paul G. Fahey, Edgar Y. Walker, Erick Cobos, Jacob Reimer, Fabian H. Sinz, Andreas S. Tolias, Matthias Bethge, Alexander S. Ecker
link: https://openreview.net/pdf?id=rklr9kHFDB
Code: None
Abstract: 类似于卷积神经网络(CNN)，哺乳动物的视网膜将视觉信息编码成几十个非线性特征图，每个特征图由一种神经节细胞类型构成，神经节细胞类型以一种近似平移等变的方式平铺视觉空间。这种形成不同细胞类型的组织是否维持在皮层图像处理的水平是一个悬而未决的问题。建立在卷积特征上的预测模型已经被证明提供了最先进的性能，并且最近被扩展到包括旋转等方差，以考虑V1神经元的定向选择性。然而，在这些模型中，CNN feature maps与单个神经元群之间通常没有直接的对应关系，因此V1神经元是否形成不同的功能簇还是一个悬而未决的问题。在此，我们建立了基于cnn的V1模型的旋转等变表示，并提出了一种方法来聚类该模型中神经元的表示，以找到与神经元的首选方向无关的功能细胞类型。我们将此方法应用于6000个神经元的数据集，并将结果簇的首选刺激可视化。我们的结果突出了鼠标V1中非线性计算的范围。

Causal Discovery with Reinforcement Learning
Author: Shengyu Zhu, Ignavier Ng, Zhitang Chen
link: https://openreview.net/pdf?id=S1g2skStPB
Code: None
Abstract: 发现一组变量之间的因果结构是许多经验科学中的一个基本问题。传统的基于分数的临时发现方法依赖于各种局部启发，根据预定义的分数函数搜索有向无环图(DAG)。虽然这些方法，如贪心等价搜索，对于无限样本和一定的模型假设，可能会得到有吸引力的结果，但在实践中，由于数据有限，且可能违反假设，这些方法并不太令人满意。基于神经组合优化的最新进展，我们建议使用强化学习(RL)来寻找得分最高的DAG。该模型以可观测数据为输入，生成用于计算奖励的图邻接矩阵。该奖励包含了预先定义的分数函数和两个强制不对称的惩罚条件。与典型的以学习策略为目标的RL应用程序相比，我们使用RL作为搜索策略，我们的最终输出将是图，在训练期间生成的所有图中，它将获得最好的回报。我们对合成数据集和真实数据集进行了实验，结果表明，该方法不仅具有较强的搜索能力，而且在无环度约束下具有较强的灵活性。

Intrinsically Motivated Discovery of Diverse Patterns in Self-Organizing Systems
Author: Chris Reinke, Mayalen Etcheverry, Pierre-Yves Oudeyer
link: https://openreview.net/pdf?id=rkg6sJHYDr
Code: https://automated-discovery.github.io/
Abstract: 在许多复杂的动态系统中，无论是人工的还是自然的，人们都可以观察到从局部规则中出现的模式的自组织。细胞自动机和生命游戏(GOL)一样，被广泛用作抽象模型，用于研究自组织和形态形成的各个方面，如空间局域模式的出现。然而，自组织模式在这些模型中的发现到目前为止都依赖于参数和初始状态的手动调优，以及用肉眼来识别有趣的模式。在这篇论文中，我们阐述了在这样的高维复杂动力系统中各种自组织模式的自动发现问题，以及一个用于实验和评估的框架。使用一个连续的GOL作为测试平台，我们表明，最近的内在动机的机器学习算法(POP-IMGEPs)，最初是为学习机器人逆模型而开发的，可以被调换并用于这个新的应用领域。这些算法结合了内在动机的目标探索和目标空间表示的无监督学习。目标空间表示描述了模式的有趣特性，应该发现模式的各种变化。特别是，我们从发现不同的空间本地化模式的角度，比较了定义和学习目标空间表示的各种方法。此外，我们还介绍了最先进的POP-IMGEP算法的扩展，该算法使用深度自动编码器逐步学习目标表示，并使用CPPN原语生成初始化参数。我们证明了它比几个基线更有效，并且作为一个在由人类专家识别的手工模式数据库上预先训练的系统，它的效率是一样的。

Restricting the Flow: Information Bottlenecks for Attribution
Author: Karl Schulz, Leon Sixt, Federico Tombari, Tim Landgraf
link: https://openreview.net/pdf?id=S1xWh1rYwB
Code: https://github.com/BioroboticsLab/IBA-paper-code
Abstract: 归因方法为人工神经网络等机器学习模型的决策提供了洞察。对于给定的输入样本，它们为每个单独的输入变量(如图像的像素)分配一个相关分数。在这项工作中，我们采用信息瓶颈的概念进行归因。通过在中间特征图中加入噪声，我们限制了信息的流动，并且可以量化(以比特为单位)图像区域提供了多少信息。我们使用VGG-16和ResNet-50上的三个不同指标，将我们的方法与10个基线进行比较，发现我们的方法在6个设置中有5个优于所有基线。该方法的信息理论基础为属性值(bits)提供了一个绝对的参考框架，并保证得分接近零的区域对于网络的决策是不必要的。

Building Deep Equivariant Capsule Networks
Author: Sai Raam Venkataraman, S. Balasubramanian, R. Raghunatha Sarma
link: https://openreview.net/pdf?id=BJgNJgSFPS
Code: https://github.com/AnonymousCapsuleSOVNET/SOVNET
Abstract: 胶囊网络受到其层的参数昂贵性和普遍缺乏可证明的等方差保证的限制。我们提出了一个胶囊网络的变种，旨在弥补这一点。我们发现，学习连续层的胶囊之间所有成对的部分-整体关系是低效的。此外，我们也认识到预测网络的选择和路由机制都是等方差的关键。在此基础上，我们提出了一种可选的胶囊网络框架，该框架可以学习对每一层的每个胶囊类型的位置变化(称为变异空间)进行投影编码。这是通过使用一个可训练的等变函数来完成的，该函数定义在一个组变换的网格上。因此，路由的预测阶段包括使用相应的函数将数据投影到更深的胶囊的SOV中。作为这一思想的一个具体实例，同时也是为了获得增加参数共享的好处，我们在这个阶段使用了浅胶囊的类型同构组等变卷积。提出了一种基于度中心性的等变路由机制。我们证明了一般模型的这个特殊实例是等变的，因此在变换下保持了输入的成分表示。我们在标准的对象分类数据集上进行了几次实验，这些数据集展示了我们的模型向几个胶囊基线增强的转换鲁棒性和一般性能。

A Generalized Training Approach for Multiagent Learning
Author: Paul Muller, Shayegan Omidshafiei, Mark Rowland, Karl Tuyls, Julien Perolat, Siqi Liu, Daniel Hennes, Luke Marris, Marc Lanctot, Edward Hughes, Zhe Wang, Guy Lever, Nicolas Heess, Thore Graepel, Remi Munos
link: https://openreview.net/pdf?id=Bkl5kxrKDr
Code: None
Abstract: 本文研究了一种基于博弈论原理的基于群体的训练机制——策略间隔反应神谕(PSRO)。PSRO是通用的，因为它(1)包含了一些众所周知的算法，如作为特殊情况的虚拟游戏和双oracle，(2)原则上适用于一般和、多人游戏。尽管如此，先前对PSRO的研究主要集中在两方零和博弈上，这是一种纳什均衡可追踪计算的机制。从二人零和博弈过渡到更一般的情形，纳什均衡的计算很快变得不可行的。这里,我们延长PSRO的理论基础,通过考虑一个替代解决方案的概念,α-Rank,这是独一无二的(因此面临不平衡选择问题,不像纳什),容易适用于general-sum many-player设置。我们建立收敛担保在几个游戏类和识别纳什均衡和α-Rank之间的联系。我们将演示的竞争性能α-Rank-based PSRO反对一个精确的纳什solver-based PSRO双人库恩和爱扑克。然后我们超越之前的PSRO应用程序通过考虑3 - 1个扑克游戏,收益率情况比近似解决纳什α-Rank达到更快的收敛,从而建立良好的通用游戏解决。我们还进行了初步的实证验证，在MuJoCo足球，说明了该方法的可行性，在另一个复杂的领域。

High Fidelity Speech Synthesis with Adversarial Networks
Author: Mikołaj Bińkowski, Jeff Donahue, Sander Dieleman, Aidan Clark, Erich Elsen, Norman Casagrande, Luis C. Cobo, Karen Simonyan
link: https://openreview.net/pdf?id=r1gfQgSFDr
Code: https://github.com/mbinkowski/DeepSpeechDistances
Abstract: 生成式对抗网络近年来发展迅速，并导致图像生成建模的显著改进。然而，它们在音频领域的应用受到的关注有限，自回归模型，如WaveNet，仍然是音频信号生成建模的艺术状态，如人类语言。为了解决这一不足，我们引入了GAN-TTS，一种用于文本-语音转换的生成式对抗网络。我们的架构是由一个产生原始语音音频的条件前馈发生器和一个运行在不同大小随机窗口上的鉴别器组成。鉴别器分析音频的一般现实主义，以及如何音频对应的话语，应该被发音。为了度量GAN-TTS的性能，我们使用了主观的人类评价(MOS - Mean Opinion Score)和新的定量度量(Frechet DeepSpeech Distance和Kernel DeepSpeech Distance)，我们发现它们与MOS有很好的相关性。我们证明，GAN-TTS能够生成高保真度的语音，其自然度可与最先进的模型相媲美，而且与自回归模型不同，由于使用了高效的前馈发电机，GAN-TTS具有高度的并行性。

SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference
Author: Lasse Espeholt, Raphaël Marinier, Piotr Stanczyk, Ke Wang, Marcin Michalski‎
link: https://openreview.net/pdf?id=rkgvXlrKwH
Code: https://drive.google.com/file/d/144yp7PQf486dmctE2oS2md_qmNBTFbez/view?usp=sharing
Abstract: 本文提出了一种新型的可扩展增强学习代理——种子(一种可扩展的、高效的Deep-RL)。通过有效地利用现代加速器，证明了不仅可以在每秒数百万帧的情况下进行训练，而且可以降低成本。实验结果与现有方法进行了比较。我们通过一个简单的架构实现了这一点，该架构的特点是集中式推理和优化的通信层。SEED采用了两种最先进的分布式算法IMPALA/V-trace (policy gradients)和R2D2 (Q-learning)，并在Atari-57、DeepMind Lab和谷歌Research Football上进行了评估。我们提高了足球的技术水平，并且能够在世界记录中以两倍的速度达到Atari--57的技术水平。对于我们考虑的场景，运行实验的成本降低了40%到80%。与实验一起实现的是开源的，因此可以复制结果并尝试新的想法。

Meta-Learning with Warped Gradient Descent
Author: Sebastian Flennerhag, Andrei A. Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, Raia Hadsell
link: https://openreview.net/pdf?id=rkeiQlBFPB
Code: https://github.com/flennerhag/warpgrad
Abstract: 从数据中学习有效的更新规则可以促进从相同的分布中快速学习新任务，这在元学习中仍然是一个开放的问题。通常，以前的工作都是通过尝试训练一个直接产生更新的神经网络，或者尝试学习一个基于梯度的更新规则的更好的初始化或缩放因子来解决这个问题。这两种方法都带来了挑战。一方面，直接产生更新会放弃有用的归纳偏差，很容易导致不收敛的行为。另一方面，试图控制基于梯度的更新规则的方法通常通过学习过程使用计算梯度来获得它们的元梯度，导致方法不能扩展到超出少镜头任务适应的范围。在这项工作中，我们提出了翘曲梯度下降(WarpGrad)，一种交叉这些方法，以减轻其局限性的方法。WarpGrad元学习一个有效的参数化预处理矩阵，它有助于在整个任务分布中实现梯度下降。预处理是通过在任务-学习者的各层之间交叉放置非线性层(称为翘曲层)而产生的。翘曲层是元学习的，不需要通过任务训练过程以类似于学习直接生成更新的方法进行反向传播。WarpGrad的计算效率高，易于实现，并且可以扩展到任意大的元学习问题。我们提供了一个几何解释的方法，并评估其有效性在各种设置，包括少镜头，标准监督，连续和强化学习。

Convolutional Conditional Neural Processes
Author: Jonathan Gordon, Wessel P. Bruinsma, Andrew Y. K. Foong, James Requeima, Yann Dubois, Richard E. Turner
link: https://openreview.net/pdf?id=Skey4eBYPS
Code: https://github.com/cambridge-mlg/convcnp
Abstract: 本文介绍了卷积条件神经过程(ConvCNP)，它是对数据平移等方差进行建模的神经过程家族中的新成员。翻译等方差是许多学习问题的重要归纳偏差，包括时间序列建模、空间数据和图像。该模型将数据集嵌入到一个无限维的函数空间中，而不是有限维的向量空间。为了形式化这一概念，我们扩展了集合的神经表示理论以包含功能表示，并证明任何平移等变嵌入都可以用卷积深集表示。我们在几种情况下对ConvCNPs进行了评估，结果表明，与现有的NPs相比，它们具有最先进的性能。我们证明，在翻译等方差的建设，使零枪概化具有挑战性，领域外的任务。

Gradient Descent Maximizes the Margin of Homogeneous Neural Networks
Author: Kaifeng Lyu, Jian Li
link: https://openreview.net/pdf?id=SJeLIgBKPS
Code: https://github.com/vfleaking/max-margin
Abstract: 本文研究了齐次神经网络中梯度下降算法的隐式正则化问题，包括具有ReLU或LeakyReLU激活的全连通和卷积神经网络。特别地，我们研究了梯度下降或梯度流动。对任意齐次模型(可能是非光滑的)的逻辑损失或交叉熵损失进行了优化，结果表明，如果训练损失降低到一定的阈值以下，那么我们可以定义一个随时间增加的归一化边缘的平滑版本。我们还建立了一个与边际最大化相关的自然约束优化问题，并证明了标准化边际及其平滑版本在最优化问题的KKT点上均收敛于目标值。我们的结果推广了已有的单层或多层线性网络的逻辑回归结果，并在假设较弱的情况下给出了更多的均匀光滑神经网络的定量收敛结果。我们在MNIST和CIFAR-10数据集上进行了几个实验来证明我们的理论发现。最后，由于裕度与稳健性密切相关，我们讨论了延长训练时间以提高模型稳健性的潜在好处。

Adversarial Training and Provable Defenses: Bridging the Gap
Author: Mislav Balunovic, Martin Vechev
link: https://openreview.net/pdf?id=SJxSDxrKDr
Code: None
Abstract: 提出了一种基于对抗训练和可证明防御相结合的神经网络训练新方法——COLT。其核心思想是将神经网络训练建模为一个包含验证者和对手的过程。在每次迭代中，验证者的目标是使用凸松弛来验证网络，而对手试图在凸松弛中寻找导致验证失败的输入。我们实验证明这种训练方法,名叫凸layerwise对抗训练(小马),承诺和达到两全其美——它产生60.5%的最先进的神经网络与认证的鲁棒性和准确性78.4%挑战CIFAR-10 2/255 L-infinity扰动数据集。这显著地改进了54.0%认证的稳健性和71.5%的准确性的最佳并发结果。

Differentiable Reasoning over a Virtual Knowledge Base
Author: Bhuwan Dhingra, Manzil Zaheer, Vidhisha Balachandran, Graham Neubig, Ruslan Salakhutdinov, William W. Cohen
link: https://openreview.net/pdf?id=SJxstlHFPH
Code: http://www.cs.cmu.edu/~bdhingra/pages/drkit.html
Abstract: 考虑使用语料库作为虚拟知识库来回答复杂的多跳问题。特别地，我们描述了一个神经模块，DrKIT，它像一个知识库一样遍历文本数据，温柔地遵循语料库中提到的实体之间的关系路径。在每个步骤中，该模块使用稀疏矩阵TFIDF索引和最大内积搜索(MIPS)的组合，在提及的上下文表示的特殊索引上。该模块是可微的，因此整个系统可以从自然语言输入开始，使用基于梯度的方法进行端到端的训练。我们也描述了一个上下文表示编码器的前训练方案，通过使用现有的知识库生成硬的负面例子。我们发现，在MetaQA数据集中，DrKIT在3-hop问题上的准确率提高了9个百分点，将基于文本和基于kbk的艺术水平之间的差距缩小了70%。在HotpotQA上，DrKIT在检索回答问题所需的相关段落方面比基于bert的重新排序方法提高了10%。DrKIT也非常高效，每秒处理的查询比现有的多跳系统多10倍。

Federated Learning with Matched Averaging
Author: Hongyi Wang, Mikhail Yurochkin, Yuekai Sun, Dimitris Papailiopoulos, Yasaman Khazaeni
link: https://openreview.net/pdf?id=BkluqlSFDS
Code: https://github.com/IBM/FedMA
Abstract: 联合学习允许边缘设备在将培训数据保存在设备上的同时，协作学习共享模型，从而将进行模型培训的能力与将数据存储在云中的需求分离开来。我们提出了联邦匹配平均(FedMA)算法，用于现代神经网络体系结构的联邦学习，如卷积神经网络(CNNs)和LSTMs。FedMA通过匹配和平均隐藏元素(即卷积层的通道;LSTM的隐藏状态;具有类似特征提取特征的神经元。我们的实验表明，FedMA不仅在深度CNN和基于真实数据集的LSTM架构上优于当前流行的联邦学习算法，而且降低了整体通信负担。

往期回顾

入门基础
「自然语言处理（NLP）」入门系列（一）初识NLP
「自然语言处理（NLP）」入门系列（二）什么才是深度学习？
「自然语言处理（NLP）」入门系列（三）单词表示、损失优化、文本标记化
「自然语言处理（NLP）」入门系列（四）如何训练word2vec ！！

论文阅读

「自然语言处理（NLP）」【爱丁堡大学】基于实体模型的数据文本生成！！
「自然语言处理（NLP）」【Borealis AI】跨域文本连贯生成神经网络模型！！
「自然语言处理（NLP）」CTRL：16.3亿个参数的条件转换语言模型
无情！「自然语言处理(NLP)」统一预训练UniLM模型(NLU+NLG)

学术圈

「自然语言处理（NLP）」你必须要知道的八个国际顶级会议！
「重磅！！」深度学习十年技术“进化史”
【圣诞福利】ICLR2020开源代码的paper集合（共计198篇）
收藏！「自然语言处理（NLP）」全球学术界”巨佬“信息大盘点（一）！

Attention

更多自然语言处理相关知识，还请关注AINLPer公众号，极品干货即刻送达。