本文整理、总结了常见softmax（如A-Softmax,AM-Softmax,ArcFace）的公式、论文出处等。
先总结几个重要的点：
- L-Softmax 提出了angular margin的概念，重新思考
，引入cos角，认为各类之间的夹角需要有个margin。
- A-Softmax将weight归一化，使得特征上的点映射到单位超球面上。
- AM-Softmax将角度上的倍数关系改为cos值的比较。
- Arcface将margin由cos值改为
值的比较。（和AM-Softmax比较下，两者的m前面的符号是不同的）
| Name | Loss公式 | 权重/特征归一 | 论文 |
|---|---|---|---|
| softmax | N/N | ||
| NormFace | 同softmax | Y/Y | arxiv ACMMM 2017 |
| L softmax |
|
N/N | arxiv ICML 2016 |
| A softmax |
|
Y/N | arxiv CVPR 2017 |
| AM softmax |
|
Y/Y | arxiv ICLRw 2018 |
| CosFace | 同AM-Softmax，和AM-Softmax接近同时发布 | Y/Y | arxiv CVPR 2018 |
| ArcFace |
|
Y/Y | arxiv CVPR 2019 |
| Adaptive Face |
|
Y/Y | pdf CVPR 2019 |
todo Decision Boundary
