Sampled softmax
原文：https://www.tensorflow.org/extras/candidate_sampling.pdf
假设有一个单分类问题。训练集中的每个样本)
包含一个上下文和一个目标类。将给定上下文
时，目标类为
写作概率)
我们使用函数)
产生softmax logits，即对数化的概率：
%20%5Cleftarrow%20%5Clog%20(P(y%20%7C%20x))%2BK(x))
其中)
是一个不依赖的函数。
在完整的softmax训练中，对于每个训练样本，都需要对所有的分类
计算)
。如果分类集L非常大，该操作将变得非常昂贵。
而在“Sampled Softmax”中，对于每个训练样本，我们根据一个选定的抽样函数)
来选择一个小的采样分类集
，其中的每一个分类都以概率)
独立的存在：
%3D%5Cprod_%7By%20%5Cin%20S%7D%20Q%5Cleft(y%20%7C%20x_%7Bi%7D%5Cright)%20%5Cprod_%7By%20%5Cin(L-S)%7D%5Cleft(1-Q%5Cleft(y%20%7C%20x_%7Bi%7D%5Cright)%5Cright))
我们创建一个候选集
，联合了目标分类和采样的分类集：
我们的训练任务是计算出，在给定候选集的条件下，中的哪一个分类是目标分类。
对于中的每一个分类，我们想要计算出当给定
和时，的后验概率，记作)
:
应用贝叶斯法则：
%20%5C%5C%20%3D%20%5Cfrac%7BP%5Cleft(t_%7Bi%7D%3Dy%2C%20C_%7Bi%7D%20%7C%20x_%7Bi%7D%5Cright)%7D%7BP%5Cleft(C_%7Bi%7D%20%7C%20x_%7Bi%7D%5Cright)%7D%20%5C%5C%20%7B%3D%20%5Cfrac%7BP%5Cleft(t_%7Bi%7D%3Dy%20%7C%20x_%7Bi%7D%5Cright)%20P%5Cleft(C_%7Bi%7D%20%7C%20t_%7Bi%7D%3Dy%2C%20x_%7Bi%7D%5Cright)%7D%7BP%5Cleft(C_%7Bi%7D%20%7C%20x_%7Bi%7D%5Cright)%7D%20%7D%20%5C%5C%20%3D%20%5Cfrac%7BP%5Cleft(y%20%7C%20x_%7Bi%7D%5Cright)%20P%5Cleft(C_%7Bi%7D%20%7C%20t_%7Bi%7D%3Dy%2C%20x_%7Bi%7D%5Cright)%7D%7BP%5Cleft(C_%7Bi%7D%20%7C%20x_%7Bi%7D%5Cright)%7D%20%5Cend%7Barray%7D)
现在，来计算)
，我们注意到要使这发生，可能在也可能不在
中，一定包含中所有的其它（除外）元素，并且不包含任何不在中的元素，
因此：
%20%5C%5C%20%3D%5Cprod_%7By%5E%7B%5Cprime%7D%20%5Cin%20C_%7Bi%7D-%5C%7By%5C%7D%7D%20Q%5Cleft(y%5E%7B%5Cprime%7D%20%7C%20x_%7Bi%7D%5Cright)%20%5Cprod_%7By%5E%7B%5Cprime%7D%20%5Cin%5Cleft(L-C_%7Bi%7D%5Cright)%7D%5Cleft(1-Q%5Cleft(y%5E%7B%5Cprime%7D%20%7C%20x_%7Bi%7D%5Cright)%5Cright)%20%5C%5C%20%3D%20%5Cfrac%7B1%7D%7BQ(y%7Cx_i)%7D%20%5Cprod_%7By%5E%7B%5Cprime%7D%20%5Cin%20C_%7Bi%7D%7D%20Q%5Cleft(y%5E%7B%5Cprime%7D%20%7C%20x_%7Bi%7D%5Cright)%20%5Cprod_%7By%5E%7B%5Cprime%7D%20%5Cin%5Cleft(L-C_%7Bi%7D%5Cright)%7D%5Cleft(1-Q%5Cleft(y%5E%7B%5Cprime%7D%20%7C%20x_%7Bi%7D%5Cright)%5Cright)%20%5Cend%7Barray%7D)
%20%5C%5C%20%3D%20%5Cfrac%7BP%5Cleft(y%20%7C%20x_%7Bi%7D%5Cright)%20P%5Cleft(C_%7Bi%7D%20%7C%20t_%7Bi%7D%3Dy%2C%20x_%7Bi%7D%5Cright)%7D%7BP%5Cleft(C_%7Bi%7D%20%7C%20x_%7Bi%7D%5Cright)%7D%20%5C%5C%20%3D%20%5Cfrac%7BP(y%7Cx_i)%7D%7BQ(y%7Cx_i)%7D%20%5Cprod_%7By%5E%7B%5Cprime%7D%20%5Cin%20C_%7Bi%7D%7D%20Q%5Cleft(y%5E%7B%5Cprime%7D%20%7C%20x_%7Bi%7D%5Cright)%20%5Cprod_%7By%5E%7B%5Cprime%7D%20%5Cin%5Cleft(L-C_%7Bi%7D%5Cright)%7D%5Cleft(1-Q%5Cleft(y%5E%7B%5Cprime%7D%20%7C%20x_%7Bi%7D%5Cright)%5Cright)%20%2F%20P(C_i%7Cx_i)%20%5C%5C%20%3D%20%5Cfrac%7BP(y%7Cx_i)%7D%7BQ(y%7Cx_i)%7D%20%2F%20K(x_i%2C%20C_i)%20%5Cend%7Barray%7D)
)
是一个不依赖于y的函数，所以：
%5Cright)%3D%5Clog%20%5Cleft(P%5Cleft(y%20%7C%20x_%7Bi%7D%5Cright)%5Cright)-%5Clog%20%5Cleft(Q%5Cleft(y%20%7C%20x_%7Bi%7D%5Cright)%5Cright)%2BK%5E%7B%5Cprime%7D%5Cleft(x_%7Bi%7D%2C%20C_%7Bi%7D%5Cright))
这些是应该输入softmax分类器的相对logits，用于预测中的哪一个候选类才是真正的分类。
既然我们试图训练函数)
来拟合))
，我们用神经网络中的层输出表示，然后减去))
，将结果传入一个softmax分类器来预测哪个候选是真正的分类。
-%5Clog%20(Q(y%20%7C%20x))
从分类输出中反向传播梯度到F，这就是我们所要的。
