功能包括但不限于:
1.按轴自动或显式数据对齐功能的数据结构
2.集成时间序列功能
3.数学运算和约简
4.灵活处理缺失数据
5.常见数据库的关系型运算
引入约定:
In [1]: from pandas import Series, DataFrame
In [2]: import pandas as pd
pandas的数据结构介绍
Series和DataFrame
Series
obj=Series([4,7,-5,3])
obj
0 4
1 7
2 5
3 -4
dtype: int64
左边是索引,右边是值,分别由obj.index和obj.values获取
obj2 = Series([4,7,5,-4],index=['d','a','c','b']) #这里我们自定义索引值
可以通过索引的方式选取\添加和改变Series中的单个或一组值,用法跟字典类似
NumPy的数组运算(如根据布尔型数组进行过滤\标量乘法\应用数学函数等)都会保留索引和值之间的链接关系
obj2[obj>0]
obj2 * 2
np.exp(obj2)
可以将Series看成是一个定长的有序字典
'b' in obj2
True
如果数据存放在python字典中,也可以直接通过这个字典来创建Series
obj3 = Series(dic) 索引就是键
若存在另外一个列表list
obj4 = Series(dic, index=list) 如果list中的「索引」没有对应的值,会显示NaN
pandas的isnull和notnull函数可用于检测缺失数据
Series的一个重要功能:它在算术运算中会自动对齐不同索引的数据:
注意与NaN的算术运算总会返回NaN
Series对象及其索引都有一个name属性,该属性跟pandas其他关键功能关系非常密切
obj.name = 'abc'
obj.index,name = 'def'
Series的索引可以通过赋值的方式就地修改(不能多也不能少)
obj.index=list
DataFrame
一个表格型的数据结构,有行索引和列索引,可以看做是由Series组成的字典(共用同一个索引)
最常用的构建DataFrame方法:直接传入一个由等长列表或NumPy数组组成的字典
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002],
'pop': [1.5, 1.7, 3.6, 2.4, 2.9]}
frame = DataFrame(data)
frame
pop state year
0 1.5 Ohio 2000
1 1.7 Ohio 2001
2 3.6 Ohio 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002
可以用columns和index指定列索引和行索引,若传入的列在数据中找不到,就会产生NaN值,行不能多或少否则报错
通过类似字典标记的方式,可以获取将DataFrame的列获取为一个Series
frame2['year']
注意返回的Series拥有相同索引,且name属性也已被相应设置好
行可以通过索引字段ix获取
frame2.ix['two']
列可以通过赋值的方式进行修改;
将列表或数组赋值给某个列时,长度必须与DataFrame长度匹配;
如赋值的是一个Series,就会精确匹配到DataFrame的索引,空位将天上缺失值(注意这个Series需要加索引值)
为不存在的列赋值会创建一个新列;
关键字del用于删除列
del frame2['year'] 必须是中括号不能是frame2.year
通过索引方式返回的是相应数据的视图不是副本,因此对返回Series所做的修改会反映到源DataFrame上;通过Series的copy方法可显式的复制列
另一种常见的数据形式是嵌套字典
pop={'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}}
frame3 = DataFrame(pop)
外层字典的键作为列\内层键作为索引
内层键会被合并\排序形成最终的索引,可以指定索引
frame3 = DataFrame(pop, index = [2001, 2002, 2003])
表5-1列出了DataFrame所能接受的各种数据
可以给DataFrame的index和columns设置name属性,这些信息就会显示出来
values属性会以二位ndarray的形式返回DataFrame中的数据
索引对象
pandas的索引对象负责管理轴标签和其他元数据(比如轴名称)
Index对象不可修改(immutable),这样才能使Index对象在多个数据结构之间安全共享
表5-2 pandas中主要的Index对象
表5-3 Index的方法和属性
基本功能
介绍操作Series和DataFrame的基本手段
重新索引
reindex\作用是创建一个适应新索引的新对象
obj=Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])
obj2 = obj.reindex(['a', 'b', 'c', 'd', 'e'], fill_value=0) 这里如果不填写就会引入NaN
reindex的(插值)method选项
ffill或pad\前向填充或搬运值
bfill或backfill\向后填充或搬运值
obj3.reindex(range(6),method='ffill')
0 blue
1 blue
2 purple
3 purple
4 yellow
5 yellow
dtype: object
丢弃指定轴上的项
drop()相应的columns或index,注意是多个的话用列表形式
索引\选取和过滤
Series索引的工作方式类似于NumPy,只不过索引值不只是整数
obj = Series(np.arange(4.), index=['a', 'b', 'c', 'd'])
obj
a 0.0
b 1.0
c 2.0
d 3.0
obj['b']\1.0
obj[1]\1.0
obj[2:4]
c 2
d 3
obj[['b', 'a', 'd']]
b 1
a 0
d 3
obj[obj < 2]
a 0
b 1
利用标签的切片运算与普通的python切片运算不同,其末端是包含(inclusive)的(封闭区间)
obj['b':'c']
b 1
c 2
引入字段ix对DataFrame的行上进行标签索引
data=DataFrame(np.arange(16).reshape((4,4)),index=['Ohio','Colorado','Utah','New York'],columns=['one','two','three','four'])
data.ix['Colorado', ['two', 'three']]
表5-6 DataFrame的索引选项
算术运算和数据对齐
注意对应关系以及和NaN运算结果始终为NaN
在算术方法中填充值
灵活的算术方法
add(+)
sub(-)
div(/)
mul(*)
使用类似方法可以传入fill_value参数替代缺失值
DataFrame和Series之间的运算
广播(第十二章详解)
函数应用和映射
NumPy的ufuncs(元素级数组方法)也可以用于pandas对象
另一个常见操作是,将函数应用到由各列或行所形成的一维数组上\
DataFrame的apply方法即可实现此功能
frame=DataFrame(np.random.randn(4,3),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])
f=lambdax:x.max()-x.min()
frame.apply(f) #默认是列索引
frame.apply(f,axis=1) #这个是行索引
def f(x):
return Series([x.min(),x.max()],index=['min','max'])
frame.apply(f)
b d e
min -2.216707 -1.101685 -0.717719
max 2.266630 1.664559 1.172415
此外,元素级的python函数也是可用的,假如你想得到frame中各个浮点值的格式化字符串,使用applymap
format=lambda x:'%.2f' % x
frame.applymap(format)
b d e
Utah -2.22 1.66 -0.72
Ohio 0.30 1.21 -0.65
Texas 2.27 -1.10 1.17
Oregon -0.49 0.38 -0.33
frame['e'].map(format) #对某一列操作函数
Utah -0.72
Ohio -0.65
Texas 1.17
Oregon -0.33
Name: e, dtype: object
排序和排名
对于Series,使用sort_index方法,返回一个根据index排序的新对象
obj.order()按值对Series排序
任何缺失值会被排到末尾
对于DataFrame,可根据任意轴上的索引进行排序,给sort_index()传入axis=1即可,默认为对index排序
默认是升序排序,ascending=False为降序排序
sort_index(by='b') 或 sort_index(by=['b', 'c'])
排名rank()
排名时用于破坏平级关系的method选项
'average'\'min'\'max'\'first'
带有重复值的轴索引
若某个索引对应多个值返回Series,对应单个值返回一个标量值
汇总和计算描述统计
axis\约简的轴,DataFrame中行用0,列用1(默认为0)
skipna\排除缺失值,默认是True
level\如果轴是层次化索引的(即MultiIndex),则根据level分组约简
describe用于一次性产生多个汇总统计
df.describe()
表5-10列出了所有与描述统计相关的方法
相关系数与协方差
Series的corr方法用于计算两个Series中重叠的\非NA的\按索引对齐的值的相关系数
df.series1.corr(df.series2)
类似的用cov计算协方差
另外对于一个DataFrame对象的corr和cov方法将返回完整的相关系数或协方差矩阵
利用DataFrame的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数;
传入一个Series将会返回一个相关系数值Series(针对各列进行计算)
传入一个DataFrame则会计算按列名配对的相关系数
唯一值\值计数以及成员资格
isin\计算一个表示'Series各值是否包含于传入的值的序列中'的布尔型数组
unique\计算Series中的唯一值数组,按发现的顺序返回
value_counts\返回一个Series,其索引为唯一值,其值为频率,按技术支持降序排列
data=DataFrame({'Qu1':[1,3,4,3,4],'Qu2':[2,3,1,2,3],'Qu3':[1,5,2,4,4]})
data
Qu1 Qu2 Qu3
0 1 2 1
1 3 3 5
2 4 1 2
3 3 2 4
4 4 3 4
将pd.value_counts传给该DataFrame的apply函数
result = data.apply(pd.value_counts).fillna(0)
result
Qu1 Qu2 Qu3
1 1.0 1.0 1.0
2 0.0 2.0 1.0
3 2.0 2.0 0.0
4 2.0 0.0 2.0
5 0.0 0.0 1.0
处理缺失数据
pandas使用浮点值NaN表示浮点和非浮点数组中的缺失数据;
python内置的None值也会当做NA处理
dropna\根据各标签的值中是否存在缺失数据对轴标签进行过滤,可通过阈值调节对缺失值的容忍度
fillna\用指定值或插值方法填充缺失数据
滤除缺失数据
对于Series,dropna返回仅含非空数据和索引值的Series;也可以用notnull()布尔索引值方法达到相同结果
对于DataFrame,默认丢弃任何含有缺失值的行;
传入how='all',将只丢弃全为NA的行;
传入axis=1,将丢弃列
填充缺失数据
fillna()
传入常数\传入字典\也可以传入data.mean()平均数,中文数之类的
fillna默认返回新对象,传入inplace=True会覆盖源对象
层次化索引
它能使你在一个轴上拥有多个索引级别\能以低纬度形式处理高维度数据
重排分级顺序
swaplevel接受两个级别编号或名称,并返回一个互换级别的新对象(但数据不会发生变化)
根据级别汇总统计
level选项用于指定某条轴上求和的级别(利用了groupby功能)
使用DataFrame的列
将DataFrame的一个或多个列当做行索引来用,或者可能将行索引变成DataFrame的列.
set_index()\将列转换为行索引(传入columns的标签),默认会移除这些列,传入drop=False将其保留
reset_index刚好相反
其他有关pandas的话题
整数索引
面板数据
Panel数据结构,三维版的DataFrame
