[TOC]

第四章 数据处理

课时9 数据导入

数据格式

• csv
• excel
• txt

pandas

csv

from pandas import read_csv

excel

• xls
• xlsx

需要提前安装package.name = xlrd, 但是不用import

from pandas import read_excel

txt

from pandas import read_table

• 英文
• 中文

df = read_table(
    filePath, 
    sep=',', 
    encoding='UTF-8', 
    engine='python'
)

注意代码中的

engine='python'

课时10 数据导出

• to_csv

to_csv(filePath, sep=",",index=TRUE, header= TRUE)

index=false
导出无序号

课时11 重复值处理

• duplicated
• drop_dublicates

df = read_csv('data.csv')

#找出行重复的位置
dIndex = df.duplicated()

dIndex = df.duplicated('id')

dIndex = df.duplicated(['id', 'key'])

#删除重复值
newDF = df.drop_duplicates()

newDF = df.drop_duplicates('id')

可以对特定列去重

课时12 缺失值处理

缺失值的产生原因

• 无法获取
• 遗漏或错误处理

处理方式

• 补齐
• 丢弃

dropna()

• 保留，不处理

#找出空值的位置
isNA = df.isnull()


#获取出空值所在的行
df[isNA.any(axis=1)]

df[isNA[['key']].any(axis=1)]

df[isNA[['key', 'value']].any(axis=1)]

df.fillna('未知')

#直接删除空值
newDF = df.dropna()

课时13 空格值处理

• strip()

空格值处理

newName = df['name'].str.lstrip()

newName = df['name'].str.rstrip()

newName = df['name'].str.strip()

df['name'] = newName

课时14 字段抽取

• slice(start, stop)

df['tel'] = df['tel'].astype(str)
# 注意数字的字符串转换
bands = df['tel'].str.slice(0, 3)

注意start<=x<stop

课时15 字段拆分

• split(sep,n,expand=False)
• • sep 用于分割的字符串
• • n 分割为多少列
• • expand 是否展开为数据框，默认=False

• True: DataFrame
• False: Series

newDF1 = df['name'].str.split(' ', 1, False)

newDF = df['name'].str.split(' ', 1, True)

newDF.columns = ['band', 'name']

课时16 记录抽取

• dataframe[condition]
• • 比较 逻辑：<, >, <=, >=, !=
• • 范围 between
• • 空值匹配
• • 字符匹配 patten
• • 组合逻辑 ~ & |

#单条件
df[df.comments>10000]

#多条件
df[df.comments.between(1000, 10000)]

#过滤空值所在行
df[pandas.isnull(df.title)]

#根据关键字过滤
df[df.title.str.contains('台电', na=False)]

#~为取反
df[~df.title.str.contains('台电', na=False)]

#组合逻辑条件
df[(df.comments>=1000) & (df.comments<=10000)]

课时17 随机抽样

• DataFrame.sample(n,frac,replace=False)
• • n: 个数
• • frac:
• replace 是否放回抽样，False 不可放回

#设置随机种子
numpy.random.seed(seed=2)


#按照个数抽样
data.sample(n=10)
#按照百分比抽样
data.sample(frac=0.05)
#是否可放回抽样，
#replace=True，可放回, 
#replace=False，不可放回
data.sample(n=10, replace=True)


#典型抽样，分层抽样
gbr = data.groupby("class")
gbr.groups


typicalNDict = {
    1: 2, 
    2: 4, 
    3: 6
}

typicalNDict[3]

def typicalSampling(group, typicalNDict):
    name = group.name
    n = typicalNDict[name]
    return group.sample(n=n)

result = data.groupby(
    'class', group_keys=False
).apply(typicalSampling, typicalNDict)

typicalFracDict = {
    1: 0.2, 
    2: 0.4, 
    3: 0.6
}

def typicalSampling(group, typicalFracDict):
    name = group.name
    frac = typicalFracDict[name]
    return group.sample(frac=frac)

result = data.groupby(
    'class', group_keys=False
).apply(typicalSampling, typicalFracDict)

课时18 合并数据

• concat

材料里面代码有问题，datai的col有问题，可能是python版本问题

datab = pandas.concat([
    data1[['id','comments']], 
    data2[['comments','title']], 
    data3[['id','title']]
])

课时19 字段合并

• + 连接字符

列的添加
新列赋值即可

课时20 字段匹配

• merge(x,y,left_on, right_on)

• 默认内连接
• 左连接how='left'
• 右连接how='right'
• 外连接how='outer'

#默认只是保留连接上的部分
itemPrices = pandas.merge(
    items, 
    prices, 
    left_on='id', 
    right_on='id'
)

#即使连接不上，也保留左边没连上的部分
itemPrices = pandas.merge(
    items, 
    prices, 
    left_on='id', 
    right_on='id',
    how='left'
)

#即使连接不上，也保留右边没连上的部分
itemPrices = pandas.merge(
    items, 
    prices, 
    left_on='id', 
    right_on='id',
    how='right'
)

#即使连接不上，也保留所有没连上的部分
itemPrices = pandas.merge(
    items, 
    prices, 
    left_on='id', 
    right_on='id',
    how='outer'
)

课时21 简单计算

• 已有字段->新字段

注意data.total并不能实现赋值

data['total'] = data.price*data.num
#注意，用点的方式，虽然可以访问，但是并没有组合进数据框中
data.total = data.price*data.num

课时22 数据标准化

• 去量纲
• 0-1 标准化

x^{*} = \frac{x-x_{min}}{x_{max}-x_{min}}

data['scale'] = round(
    (
        data.score-data.score.min()
    )/(
        data.score.max()-data.score.min()
    )
    , 2
)
# 保留两位小数

课时23 数据分组

• 分组数据所属区间，类比excel的vlookup最后一个参数取值为1

cut(series, bins,right=True, labels=NULL)
# series 分组对象
# bins 所属分组
# True 左开右闭， False 左闭右开；比excel方便，不用delta值
# 分组标签自定义

课时24 时间处理

• 字符型的时间格式数据转换成为时间型

datetime=pandas.to_datetime(dateString, format);
# %Y year
# %m month
# %d day
# %H hour
# %M minute
# %S second
datetime.dt.property
# year, month, hour, weekday, day, hour, minute, second
# weekday: 0-6 对应周一-周日

课时25 时间抽取

• 时间条件
• • 索引

# 将dataframe的索引要设置为日期对应的字段
DataFrame.ix[start:end]
DataFrame.ix[dates]

#注意lambda函数的使用
dateparse = lambda dates: pandas.datetime.strptime(
    dates, '%Y%m%d'
)
#抽取切片
data.ix[dt1: dt2]
#取值
data.ix[[dt1,dt2]]

• • 时间列

DataFrame[condition]
data[(data.date>=dt1) & (data.date<=dt2)]

课时26 虚拟变量

• 哑变量、离散特征变量，用于表示分类变量、非数量、序列因素

• 尺寸
• 颜色
• 地区

# pandas.Series.map(dict) dict中数值大小有意义
data['Education Level Map'] = data[
    'Education Level'
].map(
    educationLevelDict
)
# pandas.get_dummies(data, prefix=None,prefix_sep='_',dummy_na=False,columns=None,drop_first=False)
# data DataFrame对象
# prefix 列名前缀
# prefix_sep 前缀与值的分隔符
# dummy_na NA值处理方式
# columns 处理目标列名
# drop_first 是否删第一个，建模的时候避免共线性使用

• 关于drop_first,是否是标准差用$\frac{1}{n-1}$而不是$\frac{1}{n}$

get_dummies vs map
前者分拆变量的选择值为多列，由0,1表示
后者将变量所在列映射为不同的编码值