一、背景描述
开发环境：python2.7，spyder。
问题：行为评分卡做模型监控（样本外验证），对验证月份数据集进行数据分箱，中文类变量无法正确判断是否相同，导致数据分箱错误。
示例：教育程度变量（专科，本科，硕士），由于中文比较一致错误，导致变量分箱均分到了最后一组硕士。
初步分析：在建模过程中做测试、验证集的分箱未发生此问题，因此怀疑主要是在数据持久化的时候pickle（模型及数据字典的保存）、pandas（dataframe基础数据）对数据的编码方式存在差异。
解决思路：py2本身对中文支持不友好，由于编码不同所以导致同一中文在py2中判断一致性时判断为False，那么决定在读取数据后，对数据统一为同一编码格式是最简单的。（修改源代码、研究那两库会消耗更多时间，不划算）。
吐槽：原始代码的作者和团队负责人都不太靠谱，其实就我们的应用场景而言，python3完全可以满足，迁移也很简单，不过刚好也想搞明白python的编码机制，那就这样吧。
二、python2的编码原理
参考文章：https://www.cnblogs.com/liaohuiqiang/p/7247393.html
参考文章说的非常详细，不赘述，这里总结几个自己觉得比较重要的点：
1、通过chardet检查自己数据的编码类型，方便后续转码
示例：chardet.detect(df['char_apply_education_info'][0])
2、默认中文编码格式：py2：utf-8，py3：unicode，其中py2默认使用ascii码读取源文件，所以程序文件开始还需声明：# encoding=utf8。
据说py2中在字符串前加u可以转换为unicode编码，不过我没太搞明白对我的用处。
还有个据说，设置sys的setdefaultencoding('utf8')，影响print输出格式，其中有篇文章做了很详细的分析，我觉得也没啥用。
import sys
reload(sys)
sys.setdefauleencoding('utf8')
3、py2编码的顺序（后续解决问题的关键）
str -> decode（根据指定编码格式解码） -> unicode -> encode（根据指定编码格式编码） -> str
py2中比较字符串时，如果A是unicode而B不是，那么将对B使用系统默认编码进行解码。
三、问题解决方法
思路想清楚了其实很简单，分两步：
1、选取df中的object类变量做编码转换（注意先处理空值，不然会报错，空值没有decode方法）
示例：str(type(df['char_apply_education_info'])) == '''<type 'numpy.string_'>'''
应该是有更好的方法做类型判断，比如pandas自带的select等方法，项目时间有限，就先解决问题了。
2、查看数据编码格式差异，然后转换为同一种编码格式
示例：df['char_apply_education_info'][0].decode('gb2312').encode('utf8')
其中，gb2312是df的编码格式，utf8是model通过pickle读取到内存后的编码格式。
至于为什么转换df而不转换model，是因为在我这这么操作更方便，不能一概而论，但道理上是这样的，同一编码即可。
