简述
最近和第三方数据接触较多，数据量也开始陡增，从一开始的1KW行，最大到了1亿行，这让我这个常年处理‘小数据’的人有点捉襟见肘。本来数据放在hive中也是可以操作的，但是有时候需求是做一些拆分、更改数据或者增加列等动作，要用Python去处理数据。但是Pandas直接把大文件读取到DataFrame里面也是非常卡的，甚至会出现内存不足的情况，所以在这里用到read_csv的chunksize参数。
一般使用read_csv的时候，chunksize是设定为None的，这个时候read_csv会把整个文件的数据读取到DataFrame中，这样就会很吃内存。而当chunksize被设置成数值的时候，read_csv就会迭代读取数据，而不会一次性读取。这样就会返回一个TextFileReader的迭代器，只要用for循环取出数据即可。
chunksize
如何读取大文件
我现在有一份文件名为bigdata.csv的文件，文件大小为1.7GB，数据行约为4000W行，根本不用去尝试用read_csv直接读取，这样会让自己很尴尬。我直接把chunksize设置为100W，基本上在眨眼之间就‘准备’好了数据，接着我把数据迭代出来即可。
如何操作大文件
增加一列
现在我想在城市之后加一列时间，只需要在每一个迭代出来的数据中加上即可。
拆分文件
读取数据后，我想把大文件拆分成多个小文件，方便上传和使用。
#-*- coding:utf-8 -*-
#author:chenpeng
#date: 2017-11-07
#作用：根据需要拆分的文件数，拆分文件
#备注：可以拆分csv格式文件和txt格式文件，返回的数据均是没有表头
import os
import pandas
def file_split(filename, file_num, header=True):
#根据是否有表头执行不同程序，默认是否表头的
if header:
# 获得每个文件需要有的行数
chunksize = 1000000 #先初始化的chunksize是100W
data1 = pd.read_table(filename, chunksize = chunksize, sep=',', encoding='gbk')
num = 0
for chunk in data1:
num += len(chunk)
chunksize = round(num / file_num + 1)
# 需要存的file
head, tail = os.path.splitext(filename)
data2 = pd.read_table(filename, chunksize = chunksize, sep=',', encoding='gbk')
i = 0 #定文件名
for chunk in data2:
chunk.to_csv('{0}_{1}{2}'.format(head, i, tail),header=None,index=False)
print('保存第{0}个数据'.format(i))
i += 1
else:
# 获得每个文件需要有的行数
chunksize = 1000000 #先初始化的chunksize是100W
data1 = pd.read_table(filename, chunksize = chunksize ,header=None, sep=',')
num = 0
for chunk in data1:
num += len(chunk)
chunksize = round(num / file_num + 1)
# 需要存的file
head, tail = os.path.splitext(filename)
data2 = pd.read_table(filename, chunksize = chunksize ,header=None, sep=',')
i = 0 #定文件名
for chunk in data2:
chunk.to_csv('{0}_{1}{2}'.format(head, i, tail),header=None,index=False)
print('保存第{0}个数据'.format(i))
i += 1
if __name__ == '__main__':
filename = 'D:\\bigdata.csv'
file_split(filename, 5, header=False)
生成的数据
保存数据
最后，我更改了列，我想把更改完的数据又另外存为一个文件。mode设置为0是为了向文件增加内容，header=None是以免把表头增加进去
