一、数据挖掘的定义
数据挖掘（Data mining，简称DM），是指从大量的数据中，通过统计人工智能，机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
数据挖掘是一门交叉学科，覆盖了统计学、数据可视化、算法、数据库、机器学习、市场营销、其他学科等多门学科的知识。
数据挖掘的误区
认为：数据挖掘是某些大量数据操作的算法，这些算法能够自动地发现新的知识
数据挖掘需要非常高深的分析技能，需要精通高深的算法，需要熟练程序开发。
实际：数据挖掘是人们处理商业问题的某些方法，我们通过它来获得有价值的结果。
实际上，最好的数据挖掘工程师往往是那些熟悉和理解业务的人。
二、数据挖掘和数据分析的区别
数据分析：
定义：根据分析目的，用适当的分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。
作用：现状分析、原因分析、预测分析
方法：对比分析、分组分细、交叉分析、回归分析等
结果：指标统计量结果，如综合、平均值等
数据挖掘：
定义：从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。
作用：解决四类问题：分类、聚类、关联、预测
方法：决策树、神经网络、关联规则、聚类分析等
结果：输出模型或规则
模型与算法：
模型：
- 定量：数学公式，用来描述需要解决的问题
- 定性：是包含一种或多种定义的规则，用于指导并帮助解决某类问题
算法：实现数据挖掘技术、模型的具体步骤与方法
三、数据挖掘常见问题
从商业角度，需要解决哪些问题？
用户流失预测——分类问题
促销活动响应——分类问题
目标市场细分——聚类问题
交叉销售提升——关联问题
未来销售预测——预测问题
（一）分类特点
- 分类型目标变量（Y）——有监督学习
- 使用已知目标分类的历史样本来训练
- 需要对未知分类的样本预测所属的分类
常见分类方法有：决策树、贝叶斯、KNN、支持向量机、神经网络、逻辑回归等
分类商业问题：
用户流失预测、促销活动响应、用户信用评估等
（二）聚类特点
- 无分类目标变量（Y）——无监督学习
- 物以类聚思想
常见聚类算法有：划分算法、层次聚类、密度聚类、网格聚类、基于模型聚类等
聚类商业问题：
目标市场细分、现有客户细分等
（三）关联特点
- 无目标变量（Y）——无监督学习
- 基于数据项关联，识别频繁发生的模式
常见的关联算法：Aprior算法、Carma算法、序列算法
关联商业问题：
哪些商品同时购买几率高、如何提高商品销售和交叉销售等
（四）预测特点
- 数值型目标变量（Y）——有监督学习
- 需有已知目标值的历史样本来训练模型
- 对未知的样本预测其的目标值
常见的预测方法有：简单线性回归分析、多重线性回归分析、时间序列等
预测商业问题：
未来气温预测、GDP增长预测、收入、用户数预测等
四、数据挖掘流程
CRISP-DM数据挖掘方法论：
- 1、商业理解
- 2、数据理解
- 3、数据准备
- 4、模型构建
- 5、模型评估
- 6、模型部署
阶段一：商业理解 - 确定商业目标
- 确定挖掘目标
- 制定项目方案
阶段二：数据理解 - 数据收集
- 数据描述
- 数据探索
- 质量描述
阶段三：数据准备 - 数据导入
- 数据抽取
- 数据清洗
- 数据合并
- 变量计算
阶段四：模型构建 - 准备训练集合验证集
- 选择使用建模技术
- 建立模型
- 模型对比
阶段五：模型评估 - 技术层面：
设计对照组进行比较
评估指标：命中率、覆盖率、提升度等 - 业务经验
阶段六：模型部署 - 营销过程跟踪记录
- 观察模型衰退变化
- 引入新的特征优化迷行
- 模型写成程序固化到平台
