240 发简信
张虾米试错
IP属地：北京
  • 180
    张虾米试错

    是绝对位置。learnable怎么理解呢？

    Bert细节整理

    本文是对bert的细节进行整理，分成3个部分的问题： 目录 输入 与transformer相比输入有什么不同？ bert的3种embedding分别有什么意义，如果实现的？ ...

    张虾米试错
    7964 3 3
  • 180
    张虾米试错
    《秘密》

    本篇是我的读书笔记《秘密》，大多也是摘录。 读完后，书中的部分观点与其他书大同小异，但是这本书操作性强。自我总结成以下几点： 明确自己的目标（好的期望） 增强美好期望画面感，...

    447 0 0
  • 180
    张虾米试错
    《影响力》

    这篇文章其实更多讲的是，有哪些方面会影响我们作出决策。作者总结了6大影响力武器： 互惠 承诺和一致 社会认同 喜好 权威 稀缺 1. 互惠 —— 给予，索取，再索取 原因 因...

    380 0 2
  • 180
    张虾米试错
    《活出生命的意义》

    本篇是一些摘录： 1. 生活态度 我们期望生活给予什么并不重要，重要的是生活对我们有什么期望。 我们真正需要的，是在生活态度上来个根本的转变。我们需要了解自身，而且需要说服那...

    414 0 4
  • 120
    180
    张虾米试错
    特征归一化/标准化

    1. 为什么要做特征归一化/标准化？ 数据预处理中，通常会用到特征归一化，为什么要做归一化呢？一般有两点： 消除特征间单位和尺度差异的影响特征间的单位（尺度）可能不同。比如身...

    1046 0 6
  • 120
    180
    张虾米试错
    Bert细节整理

    本文是对bert的细节进行整理，分成3个部分的问题： 目录 输入 与transformer相比输入有什么不同？ bert的3种embedding分别有什么意义，如果实现的？ ...

    7964 3 3
  • 120
    180
    张虾米试错
    L1、L2正则化

    正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的...

    542 0 4
  • 120
    180
    张虾米试错
    Transformer细节整理

    本文是对transformer的细节进行整理，主要有以下问题： Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？ 关于 self...

    4850 1 7
  • 180
    张虾米试错
    pyspark: sql.functions以及udf函数

    大纲 选取列 select 常数列 lit 条件分支 when otherwise 数学函数 时间函数 窗口函数 row_number 自定义函数 udf split & e...

    3610 0 0
  • 180
    张虾米试错
    交叉熵损失函数

    目录 二分类 多分类 为什么sigmoid激活函数，使用交叉熵损失函数更好? 1. 二分类 激活函数sigmoid这里要注意的是是最后一层的输出，才是激活函数后的输出，为预测...

    531 0 0
  • 180
    张虾米试错
    搜索排序指标

    这里说的指标用于离线评估模型的。一般验证时都是拿前T天的数据进行模型训练，拿第T+1到T+m天的数据进行离线指标验证。本篇文章主要介绍以下一些指标： AUC GAUC log...

    1871 0 1
  • 120
    180
    张虾米试错
    搜索排序之房源点击

    在我们的业务场景中，优化指标是总的商机数（联系经纪人算是商机），通过对业务指标进行拆解，将目标拆分成： 提升用户搜索次数 提升搜索pctr（pctr表示点击次数/请求数） 提...

    658 0 1
  • 120
    180
    张虾米试错
    wide&deep VS deepFM

    wide&deep和deepFM在推荐搜索中比较常见，这里对原理不做过多介绍，主要想说下特征处理。 1. wide&deep 模型结构 wide&deep结合了LR和DNN，...

    678 0 3
  • 180
    张虾米试错
    lgb的categorical_feature

    在lightgbm中对categorical feature有专门的处理，但是需要标明哪些特征是categorical类型；另外在执行config文件也有相应的参数categ...

    5423 0 0
  • 120
    180
    张虾米试错
    BERT模型

    BERT框架 BERT有两部分：pre-training和fine-tuning。在pre-training阶段，会在没有标注数据且不同预训练任务上训练模型；在fine-tu...

    8796 0 2 1
  • 180
    张虾米试错
    python 优先级队列PriorityQueue

    本文内容来自于python队列queue 之优先级队列[https://www.cnblogs.com/saolv/p/9502124.html] PriorityQueue...

    4300 0 0
  • 180
    张虾米试错
    信息熵的相关概念（交叉熵、相对熵等）

    1. 信息熵 参考信息熵是什么？- D.Han的回答-知乎[https://www.zhihu.com/question/22178202/answer/223017546]...

    1326 0 2
  • 180
    张虾米试错
    python字典初始化dict()与{}

    参考： The Performance Impact of Using dict() Instead of {} in CPython 2.7[https://doughel...

    3217 0 0
  • 120
    180
    张虾米试错
    阿里小蜜的架构设计

    本篇总结了阿里小蜜从2017-2020年的演进过程，更偏向架构体系上的介绍，不对具体技术做详细介绍。具体技术部分会放在后面的文章中。 1. 2017：意图与匹配分层的技术架构...

    3376 0 1
个人介绍
小目标：代码与论文齐飞