什么是 pandas
pandas 是一个 Python 包，它提供了快速、灵活和丰富的数据结构，可以简单又直观地处理“关系”和“标签”数据，是 Python 中做数据分析的重要模块。详见 pandas 官方文档
DataFrame
pandas 有两个非常重要的数据结构 Series 和 DataFrame。Series 是序列，多行单列，DataFrame 多行多列。先看一个图表
图片来自[这里](http://chrisalbon.com/python/pandas_missing_data.html)
上图是 pandas.DataFrame 输出样式。最左列是索引列，默认为自增的数字序列。第一行是列名，NaN表示空，无数据。当导入数据，或者做数据框合并时，若出现空数据， pandas 会自动将此项设置为 NaN。
如何使用 pandas
我们现在有一个需求，分析电话号码的合法性。以下例子围绕这个展开。
导入 csv 格式文件。
import pandas as pd
df = pd.read_csv('phone.csv', encoding='utf8')
根据某列生成其他列，可如下实现。
import phonenumbers
def valid_phone_number(phones):
vphones = []
status = []
# vphone = None
for phone in phones:
try:
p=phonenumbers.parse(phone,'CN')
vphones.append(str(p.national_number))
status.append(phonenumbers.is_valid_number(p))
except Exception, e:
vphones.append(np.NaN)
status.append(np.NaN)
print e
return [vphones, status]
result = valid_phone_number(df['phone'])
df['format'] = result[0]
df['status'] = result[1]
print df
结果：
phone format status
0 +862110100000 2110100000 True
1 ?059122663000 59122663000 True
2 ? 15822203333 15822203333 True
3 0254000211111 254000211111 False
4 +862082688688 2082688688 True
5 1795111111120009 11111120009 False
6 0451811$012599 NaN NaN
在列上应用函数
def valid_phone_number(phone):
vp = None
try:
p = phonenumbers.parse(phone,'CN')
if phonenumbers.is_valid_number(p):
vp = [str(p.national_number), True]
else:
vp = [str(p.national_number), False]
except Exception, e:
print e
return vp
df['phone_status'] = df['phone'].apply(valid_phone_number)
输出结果
phone phone_status
0 +862110100000 [2110100000, True]
1 ?059122663000 [59122663000, True]
2 ? 15822203333 [15822203333, True]
3 0254000211111 [254000211111, False]
4 +862082688688 [2082688688, True]
5 1795111111120009 [11111120009, False]
6 0451811$012599 None
拆 list 列
tags = df['phone_status'].apply(pd.Series)
tags = tags.rename(columns = lambda x : 'format' if x == 0 else 'status')
dfs = pd.concat([df['phone'], tags[:]], axis=1)
# 排序输出
print dfs.sort_values(by='status', ascending=0)
结果：
phone format status
0 +862110100000 2110100000 True
1 ?059122663000 59122663000 True
2 ? 15822203333 15822203333 True
4 +862082688688 2082688688 True
3 0254000211111 254000211111 False
5 1795111111120009 11111120009 False
6 0451811$012599 NaN NaN
统计：
print pd.value_counts(df['status'], sort=False)
结果
False 2
True 4
Name: status, dtype: int64
输出结果到文件 excel／csv， index=False表示不包含索引列，即上面的最左列
# csv
df.to_csv('phones.csv', encoding='utf8', index=False)
# excel
df.to_excel('phones.xlsx', sheet_name='Sheet1', index=False)
结果如下图：
输出的 excel 表格
在列上应用函数修改值，去掉所有值的前后空格：
stripstr = lambda x: x.strip() if isinstance(x, unicode) else x
# 在所有列上修改
df = df.applymap(stripstr)
如果只对某列进行修改：
# 在phone列修改
df['phone'] = df['phone'].apply(stripstr)
删除重复行
df.drop_duplicates()
删除列
# axis=1 表示列
df.drop('phone_status', axis=1)
# 删除索引值为1的行
df.drop(1)
空数据的处理：
# 空（NaN）值填0
df["phone"].fillna(0)
#删除所有列都为 NaN 的行
df.dropna(how='all')
#删除含 NaN 的行
df.dropna()
参考
10 Minutes to pandas
Data Science for Political and Social Phenomena #Python
python-phonenumbers
