这篇文章最大的贡献就是有效降低了vision transformer的训练成本(时间以及数据),提高了ViT实验的可复现性,本文所提出的DeiT只需要在8块gpu上训练不到3...
这篇文章最大的贡献就是有效降低了vision transformer的训练成本(时间以及数据),提高了ViT实验的可复现性,本文所提出的DeiT只需要在8块gpu上训练不到3...
谷歌和伯克利一起提出的Bottleneck Transformer(BoT)属于一种hybrid network,将cnn和transformer结合起来,以期达到比二者单独...
(可能)是第一次大规模的采用纯transformer做cv任务的文章,验证了transformer在cv领域的有效性,大大的挖坑之作。 ViT的网络结构其实很简单,就是一个普...
我发现,手写损失函数一般都会运用到很多稍微复杂一些的张量操作,很适合用来学习pytorch张量操作,所以这里分析几个常用损失函数练习一下。 1. Binary Cross E...
最近在写tensorflow代码,几天前写双向lstm的时候,就不明不白出现了一次梯度是NoneType的问题,因为当时比较赶时间就放弃了双向lstm。今天,在写transf...
利用densecrf进行分割结果的处理,可以对边缘起到一定的平滑作用,如果对网络实时性没有要求的话,加上crf处理会让结果好看很多.工具: numpy, pydensecrf...
写在前面的话:本文来自于本人的一次课程作业综述,当时还是写了很久的,不想交上去就完了,所以发上来留个纪念。 摘要 将注意力机制用在计算机视觉任务上,可以有效捕捉图片中有用的区...
在 Python 中要将某一类型的变量或者常量转换为字符串对象通常有两种方法,即 str() 或者 repr() 。 但是这二者之间有什么区别呢?因为提供两个功能完全相同的内...
2019.01.25 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKSThomas N. Ki...