设备指纹技术

1.两项关键技术

     1.1大规模在线概率式记录关联

  设备指纹的核心技术是,给定两条请求事件,给出这两条请求事件是否来自同一台设备。设备指纹的一项关键技术是概率式记录关联(Probabilistic Record Linkage),它的非概率式版本确定式记录关联(Deterministic Record Linkage)确实和self join很像。

SELECT column_name(s)

FROM table1 T1, table1 T2

WHERE P(T1.a, T1.b, T2.a, T2.b) > threshold;(贝叶斯)

设备指纹的原理很简单,那么难点在哪里呢?

第一在于设备指纹的典型应用场景反欺诈、营销追踪等都需要实时地给出匹配结果,也就是要在线,这就意味着数据来源不是数据库,而是数据流。

第二,传统的数据库的记录规模往往不是特别大,而在线反欺诈,每一个页面访问(PV)都会产生一条请求,要匹配的请求数,每天至少是亿级的。熟悉数据库的人都知道,一个一亿条记录的表格self join的复杂度是多高。这还只是简单的确定式的匹配。

第三,概率式模型,我会放在后面详细介绍。

  所以做好设备指纹的第一步就是建立起一个大规模在线概率式记录关联平台。它牵涉到流数据的处理、分布式内存计算、算法优化、高效的信息搜索等多个环节。

  对于设备指纹技术,机器学习的方法从数据中学习,让数据说话,摒除了人工规则方法的偏见和不稳定性。但是机器学习的方法也面临一定的挑战,最重要的挑战就是在很多场景下,标注数据是不足的。

  近年来,半监督学习的兴起给设备指纹的机器学习带来了新的思路。半监督学习可以认为是监督学习的扩展,与一般监督学习不同的是,监督学习只能在标注数据上训练,而半监督学习可以同时利用标注数据和未标注数据。

  生成式模型是一种典型的半监督学习方法,对设备指纹技术有很好的效果。

       1.2 机器学习

  就像每个人都有独一无二的指纹一样,每一台终端设备也都拥有独特的特征。这些独特的属性,在终端设备与外界通讯的过程中都会体现出来。追踪设备通信行为,并用先进的数据模型分析其特性,就能准确识别和关联设备,实现线上欺诈行为的识别和预警,这就是设备指纹技术的原理。被动式才是未来!


参考文献:

1.https://wenku.baidu.com/view/46aab9558f9951e79b89680203d8ce2f006665ad.html?from=search

2.https://wenku.baidu.com/view/cfaed0e2524de518964b7d71.html?from=search

3.https://www.ishumei.com/product/device.html?e_creative=20093221523&e_pagenum=1&e_keywordid=76681965462;

4.https://www.cnblogs.com/jeffen/p/6855485.html;

5.https://www.2cto.com/kf/201606/516044.html;

6.//www.greatytc.com/p/b6f4b0aca6b0;

7.https://blog.csdn.net/allen_cn/article/details/5186832;

8.//www.greatytc.com/p/057d60649c58;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 225,565评论 6 525
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 96,696评论 3 406
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 172,935评论 0 370
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 61,327评论 1 303
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 70,338评论 6 401
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 53,760评论 1 316
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 42,085评论 3 431
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 41,091评论 0 280
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 47,656评论 1 327
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,657评论 3 348
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 41,767评论 1 355
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 37,360评论 5 351
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 43,088评论 3 341
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,493评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,654评论 1 278
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 50,374评论 3 383
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 46,841评论 2 367

推荐阅读更多精彩内容

  • 专业考题类型管理运行工作负责人一般作业考题内容选项A选项B选项C选项D选项E选项F正确答案 变电单选GYSZ本规程...
    小白兔去钓鱼阅读 9,026评论 0 13
  • 文章图片上传不正常,如需文档,可联系微信:1017429387 目录 1 安装... 4 1.1 配置探针... ...
    Mrhappy_a7eb阅读 6,343评论 0 5
  • 孩童绘画叙述作品: 有一只瘦瘦长长的蜗牛,背上长着3栋彩色房子,其中一栋是爱心❤形状,代表着这是一只非常有爱心的蜗...
    奈乖阅读 478评论 0 50
  • ¥LI260tmrPMs¥
    竹林听雨_550f阅读 150评论 0 0
  • 那种思念 牵动着我的心房 仿佛失去她就失去一切 表面的平静不代表内心的坚强 那颗脆弱的心 又怎么能承受这暴风雨的洗...
    onlyx11阅读 292评论 0 0