pandas常用函数总结

pandas常用函数与方法

import pandas as pd
pd.__version__

导入并读取数据

path = ".//exercise_data/chipotle.tsv"
chipo = pd.read_csv(path,sep = '\t')

常用的pandas数据读取函数

pd.read_excel()  # 读取excel格式文件
pd.read_csv()  # 读取csv格式文件
pd.read_table()

注意:csv与tsv格式文件都是使用pd.read_csv()读取,但tsv文件的分隔符是制表符'\t',而csv文件的分隔符为逗号',',函数默认的分隔符为逗号,注意修改分隔符(参数sep)

sep=','指定分隔符,' '内为str,默认为','

sep='\s+': 指代\f\n\t\r\v这些,分别为换页符,换行符,制表符,回车符,垂直制表符

查看数据的基本统计信息

通常使用它来查看数据的基本统计信息(如索引、列数、列名、数据量、数据类型、缺失值、内存等)

DataFrame.info(verbose=None, buf=None, max_cols=None, memory_usage=None, null_counts=None)

查看数据前几行内容

chipo.head()  # 默认5行
chipo.head(10)  # 查看数据前10行

查看数据最后几行

chipo.tail()  #默认5行
chipo.tail(10)  # 查看数据后10行

查看数据统计情况

chipo.describe()  # 返回数据的count、mean、std、min、max、3个四分位数

查看数据的大小

chipo.size  # 返回数据的大小:行数*列数,注意没有括号

查看数据的形状

chipo.shape  # 返回二维数组:(行数,列数)

查看数据列名称

chipo.columns

查看数据索引

chipo.index  # 返回的是行索引信息

不同值计数

chipo.nunique()  # 返回的是不同值的个数

区分:

chipo.unique()  # 返回的是不同值

查看某个字段中有哪些不同的值,并计算每个值有多少个重复值

chipo['choice_description'].value_counts()

重置索引

chipo.reset_index(drop=True)

字段求和

chipo['quantity'].sum()

排序

DataFrame.sort_values(by, ascending=True, inplace=False)

inplace默认为False,如果该值为False,那么原来的pd顺序没变,只是返回的是排序的结果

isin

df.E.isin(['a','c'])  # 返回一列bool值

分组

drinks.groupby('continent').beer_servings.mean()

解释:按照字段continent分组,并每组的beer_servings求均值

一些统计值函数

df.mean()
df.median()
df.max()
df.min()
df.sum()

日期转换函数

crime.Year = pd.to_datetime(crime.Year,format='%Y')

将参数转换成日期格式,通过format参数设置日期格式

删除列

del crime['Total']

设置索引

crime = crime.set_index('Year', drop = True)

表连接

pd.merge(data1,data2,on='subject_id',how = 'inner')

合并两张表

all_data_col = pd.concat([data1,data2],axis = 1)

axis = 1,按列合并,axis = 0 按行合并

取最大值索引

crime.idxmax(0)

resample函数用法

crimes = crime.resample('10AS').sum()  # resample a time series per decades
population = crime['Population'].resample('10AS').max()  # 用resample去得到“Population”列的最大值
crimes['Population'] = population  # 更新 "Population" 
crimes

填充缺失值

iris.petal_length.fillna(1.0,inplace = True)

删除缺失值

iris = iris.dropna(how = 'any')

query

df.query(expr,inplace = False,** kwargs )# 返回布尔表达式为真的行
 
参数:
# expr:str要评估的查询字符串。你可以在环境中引用变量,在它们前面添加一个'@'字符 。@a + b
# inplace=False:是否修改数据或返回副本
# kwargs:dict关键字参数
 
返回:DataFrame

注意:expr必须是字符串

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353