一、通过修改训练配置，进行新一轮训练
train.py
--train-json dump/train/deltafalse/data.json
--valid-json dump/dev/deltafalse/data.json
--dict data/lang_1char/train_chars.txt
--LFR_m 7 # 叠加帧数，比如单帧输入维度 [320,80]，此时维度[320,560]
--LFR_n 6 # 跳过帧数，相当于采样频率除以6，降低计算量，提高训练效率
--d_input 80 # 此参数与 fbank 特征提取结果有关，默认80
--n_layers_enc 6 # encoder 个数，原论文默认为6
--n_head 4 # 多头注意力，默认为8，此处改为4
--d_k 64 # k 向量维度 64
--d_v 64 # v 向量维度 64
--d_model 320 # 模型维度，默认512，此处改为320
--d_inner 1280 # 全连接层（FeedForward），默认2048，此处改为1280，通常为4*dmodel
--dropout 0.1 # Dropout有效缓解过拟合的发生，默认为0.1
--pe_maxlen 5000 # Positional Encoding 最大长度设置，和数据集语音有关 ？ 默认5000
--d_word_vec 320 # 词向量维度，与d_model必须一致，否则训练报错
--n_layers_dec 6 # decoder 个数，原论文默认为6
--tgt_emb_prj_weight_sharing 1 # share decoder embedding with decoder projection，默认1
--label_smoothing 0.1 # 标签平滑策略：降低正确分类样本的置信度，提升模型的自适应能力 默认0.1
--epochs 30 # 数据集遍历次数，默认为150，此前训练20左右loss大幅下降，此处设置为30
--shuffle 1 # 每个epoch都重新排序一遍数据
--batch-size 16 # 批量处理数
--batch_frames 0 # 批量处理帧数，此值为0，batch_size生效，大于0，batch_size失效
--maxlen-in 800 # 输入语音最大长度，默认800，与数据集语音相关
--maxlen-out 150 # 输出语音最大长度，默认150，与数据集语音相关
--num-workers 4 # 装载batch数据时，使用的CPU核心
--k 0.2 # 学习率变化的缩放因子，默认0.2，等于1时与预热学习率公式一致
--warmup_steps 4000 # 预热训练步骤默认为4000，即前4000步学习率缓慢上升至较大值，然后逐渐降低，最终稳定
--save-folder exp/train_m7_n6_in80_elayer6_head4_k64_v64_model320_inner1280_drop0.1_pe5000_emb320_dlayer6_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k0.2_warm4000
--checkpoint 0 # 是否每个epoch都保存一次模型
--continue-from "" # 可以接着从已训练的epoch开始继续训练
--print-freq 10 # 打印步长
--visdom 0 # 是否开启visdom可视化绘图功能
--visdom_lr 0 # 是否将学习率开启可视化
--visdom_epoch 0 # 是否每个epoch 均绘制可视化窗口
--visdom-id "Transformer Training" # 可视化窗口名称显示
训练集 epoch 30
开发集 epoch 30
预测之后的结果：
正确率：87% 词错误率：13.7%
Args: Namespace(LFR_m=7, LFR_n=6, batch_frames=0, batch_size=16, checkpoint=0, continue_from='', d_inner=1280, d_input=80, d_k=64, d_model=320, d_v=64, d_word_vec=320, dict='data/lang_1char/train_chars.txt', dropout=0.1, epochs=30, k=0.2, label_smoothing=0.1, maxlen_in=800, maxlen_out=150, model_path='final.pth.tar', n_head=4, n_layers_dec=6, n_layers_enc=6, num_workers=4, pe_maxlen=5000, print_freq=10, save_folder='exp/train_m7_n6_in80_elayer6_head4_k64_v64_model320_inner1280_drop0.1_pe5000_emb320_dlayer6_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k0.2_warm4000', shuffle=1, tgt_emb_prj_weight_sharing=1, train_json=None, valid_json=None, visdom=0, visdom_epoch=0, visdom_id='Transformer training', visdom_lr=0, warmup_steps=4000)
Model total parameters: 17321344
模型总参数量： 17321344
二、通过修改训练配置，进行新一轮训练
train.py
--train-json dump/train/deltafalse/data.json
--valid-json dump/dev/deltafalse/data.json
--dict data/lang_1char/train_chars.txt
--LFR_m 7
--LFR_n 6
--d_input 80
--n_layers_enc 4 # 6 变为 4
--n_head 4
--d_k 64
--d_v 64
--d_model 256 # 320 变为 256
--d_inner 1024 # 1280 变为 1024
--dropout 0.1
--pe_maxlen 5000
--d_word_vec 256 # 320 变为 256
--n_layers_dec 4 # 6 变为 4
--tgt_emb_prj_weight_sharing 1
--label_smoothing 0.1
--epochs 30
--shuffle 1
--batch-size 16
--batch_frames 0
--maxlen-in 800
--maxlen-out 150
--num-workers 4
--k 1 # 0.2 变为 1
--warmup_steps 4000
--save-folder exp/train_m7_n6_in80_elayer4_head4_k64_v64_model256_inner1024_drop0.1_pe5000_emb256_dlayer4_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k1_warm4000
--checkpoint 0
--continue-from ""
--print-freq 10
--visdom 0
--visdom_lr 0
--visdom_epoch 0
--visdom-id "Transformer Training"
训练集 epoch 30
开发集 epoch 30
预测之后的结果：
识别错误太多
错误率达97.8%
Args: Namespace(LFR_m=7, LFR_n=6, batch_frames=0, batch_size=16, checkpoint=0, continue_from='', d_inner=1024, d_input=80, d_k=64, d_model=256, d_v=64, d_word_vec=256, dict='data/lang_1char/train_chars.txt', dropout=0.1, epochs=30, k=1.0, label_smoothing=0.1, maxlen_in=800, maxlen_out=150, model_path='final.pth.tar', n_head=4, n_layers_dec=4, n_layers_enc=4, num_workers=4, pe_maxlen=5000, print_freq=10, save_folder='exp/train_m7_n6_in80_elayer4_head4_k64_v64_model256_inner1024_drop0.1_pe5000_emb256_dlayer4_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k1_warm4000', shuffle=1, tgt_emb_prj_weight_sharing=1, train_json=None, valid_json=None, visdom=0, visdom_epoch=0, visdom_id='Transformer training', visdom_lr=0, warmup_steps=4000)
Model total parameters: 8600576
模型总参数量 8600576
