python3 pandas模块

numpy能够帮助我们处理数值，但是pandas除了处理数值之外(基于numpy)，还能够帮助我们处理其他类型的数据

常用的数据类型

• Series 一维，带标签数组
• DataFrame 二维，Series容器

创建Series

import pandas as pd

t = pd.Series([1, 2, 31, 12, 3, 4])
# 0     1
# 1     2
# 2    31
# 3    12
# 4     3
# 5     4
# dtype: int64
print(t)


# 通过index属性，指定索引
t = pd.Series([1, 23, 2, 2, 1], index=list('abcde'))
# a     1
# b    23
# c     2
# d     2
# e     1
# dtype: int64
print(t)


temp_dict = {'name': 'xiaohong', 'age': 30, 'tel': 10086}
t = pd.Series(temp_dict)
# name    xiaohong
# age           30
# tel        10086
# dtype: object
print(t)

Series的切片和索引

'''
@Date: 2019-09-04 15:09:42
@LastEditors: pxcoder
@LastEditTime: 2019-09-05 17:29:52
'''
import pandas as pd

temp_dict = {'name': 'xiaohong', 'age': 30, 'tel': 10086}
t = pd.Series(temp_dict)
# name    xiaohong
# age           30
# tel        10086
# dtype: object
print(t)

# 通过索引取值
# 30
print(t['age'])

# 通过位置取值
# 30
print(t[1])

# 取连续位置的值
# 取第二行到第三行的值
# age       30
# tel    10086
# dtype: object
print(t[1:3])


# 取不连续位置的值
# 取第一行和第三行的值
# name    xiaohong
# tel        10086
# dtype: object
print(t[[0, 2]])


# 通过索引取不同位置的值
# 取索引为name和索引为tel的值
# name    xiaohong
# tel        10086
# dtype: object
print(t[['name', 'tel']])


t = pd.Series([1, 2, 31, 12, 3, 4])
# 取t中大于10的值
# 2    31
# 3    12
# dtype: int64
print(t[t > 10])

Series的索引和值

Series对象本质上由两个数构成，一个数组构成对象的键（index，索引），一个数组构成对象的值（value），键->值

import pandas as pd

temp_dict = {'name': 'xiaohong', 'age': 30, 'tel': 10086}
t = pd.Series(temp_dict)
# name    xiaohong
# age           30
# tel        10086
# dtype: object
print(t)

# 索引
# Index(['name', 'age', 'tel'], dtype='object')
print(t.index)

# 值
# ['xiaohong' 30 10086]
print(t.values)

读取外部数据

import pandas as pd

# 读取csv文件
t = pd.read_csv('./dog_name.csv')
print(t)


# 还可以读取excel，mysql,mongodb等多种类型的外部数据

创建DateFrame

import pandas as pd
import numpy as np

# 创建DataFrame数据
# DataFrame对象既有行索引，又有列索引
# 行索引，表明不同行，横向索引，叫index，0轴，axis=0
# 列索引，表明不同列，纵向索引，叫columns，1轴，axios=1
t = pd.DataFrame(np.arange(12).reshape(3, 4))
#    0  1   2   3
# 0  0  1   2   3
# 1  4  5   6   7
# 2  8  9  10  11
print(t)


# 指定行索引和列索引
t = pd.DataFrame(np.arange(12).reshape(
    3, 4), index=list('abc'), columns=list('wxyz'))
#    w  x   y   z
# a  0  1   2   3
# b  4  5   6   7
# c  8  9  10  11
print(t)


temp_dict = {'name': ['xiaoming', 'xiaogang'],
             'age': [20, 32], 'tel': [10086, 10010]}
t = pd.DataFrame(temp_dict)
#        name  age    tel
# 0  xiaoming   20  10086
# 1  xiaogang   32  10010
print(t)


temp_arr = [{'name': 'xiaoming', 'age': 20, 'tel': 10086},
            {'name': 'xiaogang', 'age': 32}]
t = pd.DataFrame(temp_arr)
#    age      name      tel
# 0   20  xiaoming  10086.0
# 1   32  xiaogang      NaN
print(t)

DataFrame的基础属性

DataFrame整体情况查询

pandas之取行或者取列

import pandas as pd

temp_arr = [{'labels': 'BELLA', 'count_animal_name': 856},
            {'labels': 'MAX', 'count_animal_name': 852},
            {'labels': 'CHARLIE', 'count_animal_name': 1159},
            {'labels': 'COCO', 'count_animal_name': 1153},
            {'labels': 'ROCKY', 'count_animal_name': 823}]

df = pd.DataFrame(temp_arr)

# 以count_animal_name列进行倒序排序
df_sort = df.sort_values(by='count_animal_name', ascending=False)

# 取前两行
print(df_sort[:2])

# 取count_animal_name列的数据
print(df['count_animal_name'])

# 取前两行count_animal_name列的数据
print(df[:2]['count_animal_name'])

pandas之loc和iloc

df.loc 通过标签索引获取数据

df.iloc 通过位置索引获取数据

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(12).reshape(
    3, 4), index=list('ABC'), columns=list('WXYZ'))


# 获取行号为A，列号为W的值
# 0
print(df.loc['A', 'W'])

# 获取行号为A，列号为W和Z的值
print(df.loc['A', ['W', 'Z']])

# 获取行号为A和C，列号为W和Z的值
print(df.loc[['A', 'C'], ['W', 'Z']])

# 获取行号A到C，列号为W和Z的值
print(df.loc['A':'C', ['W', 'Z']])

# 获取第二行的数据
print(df.iloc[1])

# 获取第三列的数据
print(df.iloc[:, 2])

# 获取第一行和第三行的数据
print(df.iloc[[0, 2]])

# 获取第一列和第四列的数据
print(df.iloc[:, [0, 3]])

pandas之布尔索引

import pandas as pd

temp_arr = [{'labels': 'BELLA', 'count_animal_name': 856},
            {'labels': 'MAX', 'count_animal_name': 852},
            {'labels': 'CHARLIE', 'count_animal_name': 1159},
            {'labels': 'COCO', 'count_animal_name': 1153},
            {'labels': 'ROCKY', 'count_animal_name': 823}]

df = pd.DataFrame(temp_arr)

# 筛选count_animal_name>1000的数据
filter_df = df[df['count_animal_name'] > 1000]
print(filter_df)


# 筛选800<count_animal_name<1000的数据
filter_df = df[(df['count_animal_name'] > 800) &
               (df['count_animal_name'] < 1000)]
print(filter_df)

# 筛选count_animal_name<800或者count_animal_name>1000的数据
filter_df = df[(df['count_animal_name'] < 800) |
               (df['count_animal_name'] > 1000)]
print(filter_df)


# 筛选count_animal_name<1000并且labels长度小于5的数据
filter_df = df[(df['count_animal_name'] < 1000) &
               (df['labels'].str.len() < 5)]
print(filter_df)

pandas之字符串方法

缺失数据处理

pd.isnull(df) 判断数据是否为NaN

pd.isnotnull(df) 判断数据是否不为NaN