- 模型加载参数不匹配
size mismatch for roberta.embeddings.token_type_embeddings.weight: copying a param with shape torch.Size([1, 768]) from checkpoint, the shape in current model is torch.Size([2, 768]).
出现场景，使用transformers包的预训练模型 from_pretrained加载huggingface 模型，然后在这基础上继续训练，由于模型参数和当前输入数据维度不匹配造成，比如这里，模型原本的 type_vocab_size 为1，所以token_type_embeddings维度为[1,768]，而我之后的 type_vocab_size 为2， 需要token_type_embeddings维度为[2,768]，所以在转换为token_type_embeddings的时候无法匹配。解决方案，手动将参数维度修改之后重新保存模型，然后加载进来：
import collections
check_point = torch.load("pytorch_model.bin")
dicts = collections.OrderedDict()
for k, value in check_point.items():
if k == "roberta.embeddings.token_type_embeddings.weight":
value = value.repeat(2, 1)
print(value.size())
dicts[k] = value
torch.save(dicts, "pytorch_model.bin")
Roberta_for_mlm = RobertaForMaskedLM.from_pretrained(pretrained_path)
- loss=Nan
一般loss=nan 分几种情况：
- 运算中出现除以了0的情况
- loss计算采取加和的方式，超出了实数可以表达的范围，过大INF（无穷）或者过小，比如不做其他处理的softmax中分子分母需要计算exp（x），值过大，最后可能为INF/INF，得到NaN，此时你要确认你使用的softmax中在计算exp（x）做了相关处理（比如减去最大值等等）
- 多GPU运算因为显存不够而导致的多卡无法同步，其中一张卡提前爆掉也会出现 loss=nan(踩坑，一般都会去找代码的错，代码实在没有错就该怀疑是硬件的问题了，换了卡跑就解决了)
- 如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
- 输入中就含有 nan
- pytorch 默认精度是fp32, 当我们使用具有 log() 的损失函数，如 Focal Loss 或 Cross Entropy 时，输入张量的某些维度可能是一个非常小的数字，正常情况是float32是一个极其小的数但也不是0，但是amp使用半精度可能就直接摄入到了0，因此就出现NAN的问题了。因此，我们可以在涉及到log 操作的时候，将float16转化为float32;混合精度fp16可以减少内存占用加快训练速度，但是如果出现了loss=nan的时候，要思考是否损失函数含有log的问题
- 减少所需的内存量。 半精度浮点格式（FP16）使用16位，而单精度（FP32）使用32位。 降低所需的内存可以训练更大的模型或训练时使用更大的batch size。 缩短训练或推理时间
使用 DataParallel 多卡训练报错，单卡不报错，排查原因发现多卡无法返回 没有维度的值，在计算loss的时候直接置为了0，换成了None问题解决，
具体问题：使用bertforpretrainning ，在其中一次调用模型的时候不需要进行预训练的俩任务：MLM & NSP，于是修改了输入，不传入 labels & next_sentence_label，于是计算 total_loss 的时候直接改为了 等于0，没有维度的值无法多卡返回，于是改为None，问题解决。
魔改模型的时候一定要注意一些值原本的default 值是什么类型，不起眼的点或许导致很大的问题，感谢学长帮我排查问题！
