python数据分析&文件夹操作实战(二) 批量读取和输出excel文件

此篇起皆为实战总结,以代码+注释+相关总结为主,基础语法请自行学习,注意各种数据类型间的不同就好。

任务目标:

给定一年中每个月每一笔订单的详细信息(csv),需要输出每个月的客户名称、业务类型、收入、成本并计算毛利(excel)

目标拆解:

获取文件夹下所有csv文件的文件路径,依照文件路径读取csv文件,摘取特定字段并做简单计算,输出excel

用到的库:

os,sys,numpy,pandas,csv,xlwt

代码详情:


拆解代码:

首先是导入所需要的库,需要什么导入什么即可;

第二部分是通过walk()函数遍历文件夹并搜寻相关文件,将文件名输入到列表里;

在此其中有些知识补充如下:

for root,dirs,names in os.walk(path):

#root返回根目录,dirs返回路径,names返回文件名,有dirs在可以保证遍历每个子文件夹

        for filename in names:

            if os.path.splitext(filename)[1] == '.csv':

            #此项将文件名拆成了前后两个部分,由于python的索引从0开始,截断文件名后,索引为0的部分是名称,1的部分是扩展名;

            #扩展名由最后一个“.”后决定,在此之前的都是文件名,“123.456.csv.xlsx”的扩展名是“.xlsx”

                doc = os.path.join(root,filename)

                #doc是含文件路径和文件名在的绝对路径,filename只是文件名

                print(doc)

                csvlist.append(doc)

第三部分是调用函数读取文件路径

第四部分是通过for循环实现依次读取批量操作

for doc in csvlist:

    df = pd.read_csv(doc,encoding = "gbk")

    #函数详情见pandas官方说明文档,主要编码格式有utf-8、gbk、gb2312等,可以在此指定读取的列的数据类型

    df[["月份","客户名称","业务类型","收入不含税","成本"]]

    #摘取特定列,可以通过df[["客户"]=="a"][["收入"]]等形式同时做行列筛选

    df["毛利"] = df.apply(lambda df:df["收入不含税"]-df["成本"],axis=1)

    #添加新列,使用apply函数进行即时运算赋值,axis=1表示列间计算,axis=0为行计算

    excel_name = os.path.splitext(doc)[0] + "-整理后.xlsx"

    #规定输出的文件路径和名称,偷懒所以以原文件所在的路径、修改文件名输出

    columns = {"月份","业务类型","客户名称","收入不含税","成本","毛利"}

    #指定输出的列及其顺序

    df.to_excel(excel_writer = excel_name,sheet_name = "sheet1",index = False,columns=columns)

以上,其余总结等后续补充。

博客同作者,https://blog.csdn.net/z1272578750/article/details/103697863,不定期更新。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,487评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,621评论 2 374
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,611评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,659评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,509评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,380评论 1 274
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,799评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,443评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,739评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,781评论 2 314
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,554评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,400评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,811评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,043评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,330评论 1 253
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,775评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,978评论 2 337

推荐阅读更多精彩内容