CRISP-DM方法介绍
CRISP-DM代表cross-industry process for data mining即跨行业数据挖掘流程。CRIS-DM为策划一个数据挖掘项目提供了一个结构化的方法，是一个很好的理清项目研究思路的model。kaggle入门项目泰坦尼克生存预测的教程An Interactive Data Science Tutorial即使用了该模型。本文主要对 CRISP-DM说明文档的部分内容进行了一些理解性翻译，仅供交流参考。
2 数据理解Data understanding
2.1数据描述 Describe Data
描述所获得数据,包括其格式，数量（如每个表中的记录和字段的数量），字段的表示，以及一些表面特征,评估所获得的数据是否满足你的要求。需要输出一份Decribe Data report。
2.2数据探索Explore data
在这一阶段，你将使用查询，*数据可视化等处理数据挖掘问题，这一阶段你主要需要关注：
- 关键变量的分布（例如预测任务中目标变量的分布）
- 各属性之间的相互关系
- 简单聚合的结果
- 显著子群的性质
- 简单的统计分析
这些分析可能可以直接处理你的数据挖掘目标，也可能有助于或改进数据描述和质量报告，并未进一步分析提供准备。
输出：数据探索报告data exploration report。在报告中包括对数据的初步发现，你的初步假设，该部分工作对余下工作的主要影响等，如果合适的话这一部分应当包含适量的图表。。
2.3 数据质量检验 verify data quality
检验数据质量，主要包括以下几个方面：
- 完整性（是否包含了要求的所有情况）
- 准确性 （是否存在错误值，错误值是随机的还是具有共同性质）
- 缺省值（是否有缺省值，缺省值如何表示，出现在什么位置，是否具有某些共同性质）
输出：数据质量报告
3 数据准备data preparation
3.1数据选择select your data
选择你将在分析中使用的数据，这一选择即包括对列的选择也包括对行的选择。
输出：列入/排除清单：明确数据列入和排除的原因。
3.2 数据清洗 clean your data
这一部分主要通过一些技术方法，提高所选择数据的质量。这其中包括干净子集的选择，合适默认值的插入，或者其他技术方法，比如通过建模填充缺失值等。
输出：数据清洗报告：列出你所采取的措施。
3.3 构造所需要的数据 construct requried data
构造数据既可以派生属性也可以生成记录，即你可以增加行也可增加列。
派生属性-这些属性是由同一记录中的一个或多个现有属性构造的新属性，例如，您可以使用长度和宽度的变量来计算区域的新变量
生成记录-例如，您可能需要为过去一年未购买的客户创建记录。没有理由在原始数据中有这样的记录，但是为了建模的目的，明确地表示特定客户进行零购买的事实可能是有意义的。
3.4 Integrate data 整合数据
整合数据包括对数据的合并和对数据的聚合。
数据合并：合并表是指将两个或多个具有同一对象的不同信息的表连接在一起。例如，一个零售连锁店可能有一个表，每个表包含每个存储的一个记录。这些表可以合并为一个新表，每个存储有一个记录，并从源表中组合字段。
聚合-聚合是指新值是指通过从多个记录总结信息的操作。
