相关基础:之前的理论知识
Attention 详解
seq2seq
BERT
- 什么是 Google 开源的 BERT ?- 产品经理的人工智能学习库 (easyai.tech) 这里主要学习下 BERT 是怎么使用 Transformer 的,ViT 就是借鉴的该方法
Base Transformer
- 熬了一晚上,我从零实现了Transformer模型,把代码讲给你听 - 知乎 (zhihu.com)
- Transformer - 云+社区 - 腾讯云 (tencent.com)
- Transformer - Attention is all you need - 知乎 (zhihu.com)
Deformerable Transformer: Multi-scale (FPN 的思想)
Vision Transformer
ViT
- 从零搭建Pytorch模型教程(三)搭建Transformer网络 - 知乎 (zhihu.com)
- vit-pytorch/README.md at main · lucidrains/vit-pytorch (github.com)
- VIT代码解析 - 知乎 (zhihu.com)
- ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili