此文基于【用户画像方法论与工程化解决方案笔记】
1.1用户画像是什么？
用户画像，即用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对用户或者产品特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌，如图所示。用户画像可看作企业应用大数据的根基，是定向广告投放与个性化推荐的前置条件，为数据驱动运营奠定了基础。由此看来，如何从海量数据中挖掘出有价值的信息越发重要。
很多公司在大数据基础建设上投入很多，也做了不少报表，但业.务部门觉得大数据和传统报表没什么区别，也没能体会大数据对业务有什么帮助和价值，究其原因，其实是“数据静止在数据仓库，是死的”。
而用户画像可以帮助大数据“走出”数据仓库，针对用户进行个性化推荐、精准营销、个性化服务等多样化服务，是大数据落地应用的一个重要方向。数据应用体系的层级划分如下图所示。
1.1.1标签类型
用户画像建模其实就是在对用户“打标签”的过程，从对用户打标签的方式来看，一般分为3类：
1⃣️统计类标签
2⃣️规则类标签
3⃣️机器学习挖掘类标签
1.1.1.1 统计类标签
这类标签是最为基础也最为常见的标签类型，例如，对于某个用户来说，其性别、年龄、城市、星座、近7日活跃时长、近7日活跃天数、近7日活跃次数等字段可以从用户注册数据、用户访问、消费数据中统计得出。该类标签构成了用户画像的基础。
1.1.1.2.规则类标签
该类标签基于用户行为及确定的规则产生。例如，对平台上“消费活跃”用户这一口径的定义为“近30天交易次数≥2”。在实际开发画像的过程中，由于运营人员对业务更为熟悉，而数据人员对数据的结构、分布、特征更为熟悉，因此规则类标签的规则由运营人员和数据人员共同协商确定;
1.1.1.3.机器学习挖掘类标签
该类标签通过机器学习挖掘产生，用于对用户的某些属性或某些行为进行预测判断。例如，根据一个用户的行为习惯判断该用户是男性还是女性、根据一个用户的消费习惯判断其对某商品的偏好程度。
该类标签需要通过算法挖掘产生。
1.2 用户画像数据架构
在整个工程化方案中，系统依赖的基础设施包括Spark、Hive、HBase、Airflow、 MySQL、 Redis、 Elasticsearch。 除去基础设施外，系统主体还包括Spark Streaming、 ETL、产品端3个重要组成部分。图
下图是用户画像数仓架构图，下面对其进行详细介绍。
用户标签其实是基于仓内ods、dw、dm等的数据对数据进行统计分析等，对一类群体进行打标的过程；
1.3 主要模块
搭建一套用户画像方案整体来说需要考虑8个模块的建设，如下图所示。
●用户画像基础:
需要了解、明确用户画像是什么，包含哪些模块，数据仓库架构是什么样子，开发流程，表结构设计，ETL设计等。这些都是框架，大方向的规划，只有明确了方向后续才能做好项目的排期和人员投入预算。这对于评估每个开发阶段重要指标和关键产出非常重要。
●数据指标体系:
根据业务线梳理，包括用户属性、用户行为、用户消费、风险控制等维度的指标体系。
●标签数据存储:
标签相关数据可存储在Hive、MySQL、HBase 、Elasticsearch等数据库中，不同存储方式适用于不同的应用场景。
●标签数据开发:用户画像工程化的重点模块，包含统计类、规则类、挖掘类、流式计算类标签的开发，以及人群计算功能的开发，打通画像数据和各业务系统之间的通路，提供接口服务等开发内容。
●开发性能调优:
标签加工、人群计算等脚本上线调度后，为了缩短调度时间、保障数据的稳定性等，需要对开发的脚本进行迭代重构、调优。
●作业流程调度:
标签加工、人群计算、同步数据到业务系统、数据监控预警等脚本开发完成后，需要调度工具把整套流程调度起来。此笔记以Airflow这款开源ETL工具在调度画像相关任务脚本上的应用。
●用户画像产品化:
为了能让用户数据更好地服务于业务方，需要以产品化的形态应用在业务.上。产品化的模块主要包括标签视图、用户标签查询、用户分群、透视分析等。
●用户画像应用:
画像的应用场景包括用户特征分析、短信、邮件、站内信、Push消息的精准推送、客服针对用户的不同话术、针对高价值用户的极速退货退款等VIP服务应用。
