网络模型量化

模型量化

以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程

模型的输入输出依然是浮点型

达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标

原理

• 模型量化桥接了定点与浮点，建立了一种有效的数据映射关系，使得以较小的精度损失代价获得了较好的收益
• 由浮点到定点的量化
• 由定点到浮点反量化

优缺点

好处

• 减小模型尺寸，如8位整型量化可减少75%的模型大小
• 减少存储空间，在边缘侧存储空间不足时更具有意义
• 易于在线升级，模型更小意味着更加容易传输
• 减少内存耗用，更小的模型大小意味着不需要更多的内存
• 加快推理速度，访问一次32位浮点型可以访问四次int8整型，整型运算比浮点型运算更快
• 减少设备功耗，内存耗用少了推理速度快了自然减少了设备功耗
• 支持微处理器，有些微处理器属于8位的，低功耗运行浮点运算速度慢，需要进行8bit量化

缺点

• 模型量化增加了操作复杂度，在量化时需要做一些特殊的处理，否则精度损失更严重
• 模型量化会损失一定的精度，虽然在微调后可以减少精度损失，但推理精度确实下降

TF模型的两类量化方式

针对已经训练好的模型进行量化

• TensorFlow Lite converter

• TensorFlow Lite Optimizing COnverter（toco命令工具）

• 需要结合业务场景及所拥有的硬件资源选择量化的方式，目的是以最小损失达到最大化模型量化效果

• 训练后量化几种方案

  • 混合量化--仅量化权重

    • 浮点型的权重量化为int8整型，可将模型大小直接减少75%、提升推理速度最大3倍
    • 推理的过程中，需要将int8量化值反量化为浮点型后再进行计算
    • 如果某些Ops不支持int8整型量化，那么其保存的权重依然是浮点型的

  • 全整型量化--权重和激活值都进行量化

    • 试图将权重、激活值及输入值均全部做int8量化，并且将所有模型运算操作置于int8下进行执行，以达到最好的量化效果
    • 需要一个具有代表性的小数据集，用于统计激活值和输入值等的浮点型范围，以便进行精准量化

  • 半精度float16量化--仅量化权重

    • 将权重量化为半精度float16形式，其可以减少一半的模型大小、相比于int8更小的精度损失
    • 如果硬件支持float16计算的话那么其效果更佳
    • 在CPU运行时，半精度量化也需要像int8量化一样进行反量化到float32在进行计算
    • GPU可以支持float16运算

TF量化感知训练（Quantization-aware training）

• 伪量化的过程

• 在可识别的某些操作内嵌入伪量化节点（fake quantization nodes）

  • 用以统计训练时流经该节点数据的最大最小值，便于在使用TOCO转换tflite格式时量化使用并减少精度损失

  • 需要对训练和推理过程添加代码

    • 第一步，在训练图结构内添加伪量化节点
    • 第二步，重写推理图结构并保存为新的模型
    • 第三步，转换模型为全量化模型

两种方式的有缺点比较

• 两者均可达到模型量化的作用
• 两者的推理工作原理是一样的
• 两者都可工作在Tensorflow lite推理框架下并进行相应加速
• 训练后量化工作量稍微简单些，而量化感知训练工作量更繁琐一些
• 量化感知训练比训练后量化损失的精度更少，官方推荐使用量化感知训练方式