推荐系统架构-4 用户行为日志

一、推荐系统

二、阿里云智能推荐AIRec

三、用户画像介绍

四、用户行为日志

1、用户行为日志

用户行为数据在系统上最简单的存在形式就是日志。
用户行为事件三要素:
操作(action):定义一个操作动作(如点击、拖拽)
参数/属性:参数可以是任何和这个事件相关的属性,包括触发这个事件的(人、时间、地点、设备、操作的业务信息)
属性值:参数/属性的值参

2、埋点方式比较

埋点方式 数据时效 数据可靠(安全) 数据可回溯 埋点成本 对业务的影响 用户流量开销 新埋点是否对所有客户端版本生效
传统代码埋点 X X X X X X X
可视化埋点 X X X X
无埋点 X X X
Measurement Protocol X X X X

3、数据结构

behavior表

字段名 字段类型 是否必需 字段含义 字段值枚举 字段值说明 字段值示例
item_id string 内容ID 用户自填 如果全部数据均无法与内容表匹配,服务无法启动 34513
item_type string 内容的类型 image item_type string
article article article article article article article
video video video video video video video
shortvideo shortvideo shortvideo shortvideo shortvideo shortvideo shortvideo
item item item item item item item
recipe image recipe image recipe
bhv_type string 行为类型,例如曝光、停留、点击、收藏、下载等 expose bhv_type string
click 正利数据click的条数需要小于负利数据expose的条数,否则系统会判断数据异常,无法启动服务 expose click 正利数据click的条数需要小于负利数据expose的条数,否则系统会判断数据异常,无法启动服务 expose click
bhv_value string 行为详情,例如点击次数,停留时长,购买件数等 用户自填 500
user_id BIGINT 用户ID 用户自填 1234567
trace_id string 请求追踪/埋点ID。用于在AB实验时区分 调用了阿里推荐引擎 Alibaba trace_id string
selfhold 如果调用了阿里推荐引擎,该字段为Alibaba;如果没有调用阿里推荐引擎,该字段可以置为selfhold Alibaba selfhold 如果调用了阿里推荐引擎,该字段为Alibaba;如果没有调用阿里推荐引擎,该字段可以置为selfhold Alibaba selfhold
trace_info string 推荐 请求埋点信息。一次推荐接口调用时会返回该信息,日志记录时带上即可 用户自填 阿里流量必需 阿里流量必需
platform string 推荐 客户端平台。 用户自填 ios/andriod/h5 ios
imei string 推荐 用户设备ID,imei,device_id,idfa 用户自填 QLKDJSFALKDSAJLK
app_version string 推荐 app的版本号 用户自填 4.1.10
net_type string 推荐 网络型号 用户自填 2G/3G/4G/WIFI 4G
ip string 推荐 客户端IP信息 用户自填 234.45.13.14
login string 推荐 是否登录用户 0 login string
1 0:未登录 1 0:未登录 1 0:未登录 1
1:登录 1 1:登录 1 1:登录 1 1:登录
report_src string 推荐 上报来源类型 1 report_src string
2 1:服务端,2:客户端。 2 2 1:服务端,2:客户端。 2 2
scene_id string 推荐 场景ID 用户自填 英文分号分隔的若干场景ID 1001,1002
bhv_time string 推荐 行为发生的时间戳,单位s 用户自填 1520327038
device_model string 推荐 设备型号 用户自填 iphoneX
longitude string 推荐 位置经度 用户自填 128.4
latitude string 推荐 位置纬度 用户自填 78.1
module_id string 推荐 模块ID 用户自填 114
page_id string 推荐 页面ID 用户自填 4
position string 推荐 内容所在的位置信息 用户自填 5

behavior type

expose 曝光 expose 曝光
click 点击 click 点击
like 点赞 like 点赞
unlike unlike
comment 评论 comment 评论
collect 收藏 collect 收藏
stay 停留时长 stay 停留时长
share 分享 share 分享
download 下载 download 下载
tip 打赏 tip 打赏
subscribe 关注 subscribe 关注

4、埋点

服务端
除了『停留时长』之外,大部分用户行为可以在服务端直接记录,通过SDK直接提交用户行为日志
客户端
支持使用缓冲区,通过API接口批量上传用户行为日志

5、存储介质

数据源可选择的方案有OSS、LogHub、TableStore等,优先考虑选择使用OSS作为数据源(阿里云智能推荐系统相关服务)。
目前阿里云智能推荐系统暂时只支持数据源为ODPS(MaxCompute),因此需要通过DI数据集成投递到MaxCompute中,未来智能推荐支持OSS等数据源后,可移除此部分多余动作。

6、总体架构图

用户行为日志存储系统.png

附:参考文章

用户行为的深度追踪——事件与埋点
日志采集与用户行为链路分析
SPM 超级位置模型
淘宝SPM解读

五、总体架构设计

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容