Adversarially Robust Few-Shot Learning: A Meta-Learning Approach
方向:图像分类,对抗性鲁棒
问题:现有方法需要大量的训练集和计算昂贵的训练程序,而少样本学习对于对抗样本的攻击非常脆弱。目标是既可以在少样本分类任务中表现良好,又同时对于对抗样本鲁棒的网络。
方法:对抗性查询算法,产生对抗性鲁棒的元学习器,并深入研究了对抗脆弱性的原因。
Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels
方向:少样本分类任务
方法:认识到元学习是在多层模型上的执行学习,提出通过使用深度核对于元学习内环的贝叶斯处理。深度核迁移,学习一个核迁移到新任务。
优点:可以直接作为单个优化器实现,提供不确定性量化,并且不需要估算特定于任务的参数。得出复杂的元学习程序可以被一个简单的贝叶斯模型代替,而不损失准确性。
CrossTransformers: spatially-aware few-shot transfer
方向:图像分类
问题:训练过程中丢失了执行特定任务所不必要的信息,包括传输到新任务或者新域所必需的信息。
方法:自监督学习,CrossTransformers计算空间对应特征之间的距离。
Few-shot Image Generation with Elastic Weight Consolidation
方向:少样本图像生成
方法:调整预训练生成模型的权重
Few-shot Visual Reasoning with Meta-analogical Contrastive Learning
方向:抽象视觉推理,预测九宫格图形缺失的图案
方法:类比对比学习,构造样本的类比和非类比训练对,使类比对尽可能相似,使非类比对的相似度最小化。
Transductive Information Maximization For Few-Shot Learning
方法:转导推理,查询特征和标签预测之间的交互信息最大化,提出交替方向求解器求损失函数。
Interventional Few-Shot Learning
方向:图像分类,因果推理
问题:预训练知识的不良影响,使更强的预训练模型降低了支持集和查询集不相似类别的准确度。
方法:基于结构因果模型,提出介入小样本学习和三个算法实现。
Language Models are Few-Shot Learners
方向:少样本语言模型
问题:证明了扩展语言模型可以极大地提高任务无关性和少样本的性能,有时甚至可以与现有最先进的微调方法相竞争。
方法:训练了具有1,750亿个参数的自然语言深度学习模型GPT-3,在不进行微调的情况下,在多个NLP基准上达到最先进的性能。
Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction
方向:知识图谱补全,多关系图,图神经网络
问题:少样本图外链路预测问题
方法:图外推网络,归纳推理的节点嵌入网络和转导推理的链接预测网络。
Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding
问题:少样本新标签图节点分类问题
方法:元变换网络嵌入框架
One Solution is Not All You Need: Few-Shot Extrapolation via Structured MaxEnt RL
方向:强化学习
OOD-MAML: Meta-Learning for Few-Shot Out-of-Distribution Detection and Classification
问题:分布外样本检测与分类
方法:模型无关的元学习的扩展,另外学习合成的假样本。
Restoring Negative Information in Few-Shot Object Detection
方向:目标检测
问题:模拟分类场景时,仅使用图像中某个目标类别的正例,丢弃了该类别的负例。
方法:基于正负表示方法的学习框架和推理模式,恢复了少样本目标检测中的负信息。
Self-Supervised Few-Shot Learning on Point Clouds
方向:点云
方法:自监督预训练
Uncertainty-aware Self-training for Few-shot Text Classification
方向:文本分类
方法:自训练(一种半监督学习方法)