240 发简信
IP属地:新疆
  • Optimizer and BN

    Deep Learning Optimizers optimizers 通用参数 待优化参数:, 目标函数:, 初始learning rate: 在每一个epoch t 中:...

  • 120
    Bag of tricks for Image Classification with CNN

    Large-batch training Linear scaling learning ratee.g. ResNet-50 SGD 256 batch size 0.1 ...

  • 120
    Models in CV

    Backbone Models 1. Inception Version 1 模型特点: 采用 不同大小的卷积核意味着不同大小的感受野,最后拼接意味着不同尺度特征的融合 ; ...

  • 120
    Levenberg-Maquardt Algorithm 推导

    前置知识 1. 牛顿法 作用:1. 求根 2.求极值 求根目标: 求解 的根计算穿过初始点 并且斜率为 的直线与x轴的交点可得​ 迭代公式: 求解一...

  • 120
    Distilling the Knowledge in a Neural Network

    贡献 提出 知识蒸馏 (Knowledge Distillation) 方法,从大模型中学习到的知识中学习有用信息来训练小模型,在保证性能的前提下进行 模型压缩 提出一种新的...