Python处理文件系统的10种方法

通过一个能够实现与文件系统进行交互的Python程序,我们可以实现很多有趣的应用,但是大部分人并不知道如何实现这种交互。本文为相关研发人员和数据科学家提供了一个实现指南,并重点介绍10个基本的os和shutil命令,以便通过脚本实现Python程序与文件系统的自动交互。

文件系统和一栋房子的结构相似。在每次进行大扫除的时候,我们都需要将很多箱的文件从一个屋子移动到另一个屋子,这和使用Python移动文件的操作很像。

文件目录则像装满了东西的箱子,只不过在文件系统中,装的都是系统中存储的文件。

装在箱子中的笔记本,就像电脑中存储的文件,我们可以对其进行读/写,也可以把它们存放在目录中。

这个指南介绍了os和shutil模块中的相关方法。其中,os模块主要用于与操作系统交互,shutil模块则包含一些针对文件的操作。一般情况下,我们使用os创建目录,使用shutil移动和复制文件。

Python标准库更新:2019年2月16日新增pathlib库

在 Python 3.4 版本,标准库中增加了 pathlib 模块,以改进文件路径的处理;在3.6版本中,增加了更多pathlib与标准库的其他模块的交互,效果很好。pathlib将路径视为对象而非字符串,这使得其在解析文件路径上具有一定优势。如果你想要对pathlib有更多了解,可以阅读 Real Python 和 pbpython 提供的介绍。虽然pathlib 很方便,但它不具备我们将要探索的一些底层功能。因此,使用 os 和shutil 方法还是有必要的。   

在进行更详细的介绍之前,有以下几点需要注意:

本指南是基于 python3,2020年1月以后将不再支持 python 2 。

在使用相关命令之前,需要在代码开头导入了 os 和 shutil 库。

我的示例代码可以在GitHub上找到。

请使用自己的参数替换下面引号中的参数。

下面, 本文将逐一介绍文件系统的 10 种命令方法,每个部分都会按照“方法:描述→对应的 macOS  Shell 命令”模式进行介绍,便于大家理解。

一、获取信息(Get Info)

os.getcwd():以字符串形式获取当前工作目录路径 → pwd

os.listdir() :以字符串列表的形式获取当前工作目录的内容→ls

os.walk("starting_directory_path"):返回一个生成器(generator),该生成器包含当前目录和所有子目录中的文件名称及路径信息;→没有完全等价的shell命令,不过 ls -R 命令提供了子目录名称和子目录中的文件名称


二、更改信息(Change Things)

os.chdir("/absolute/or/relative/path"):更改当前的工作路径→ cd

os.path.join():创建路径供后续使用→ 没有等效的命令

os.makedirs(“dir1 / dir2”):创建目录→ mkdir - p

shutil.copy2("source_file_path","destination_directory_path"):复制文件或目录→ cp

shutil.move("source_file_path","destination_directory_path"):移动文件或目录→ mv

os.remove(“my_file_path”):删除文件→ rm

shutil.rmtree(“my_directory_path”):删除路径及其包含的所有文件和目录→ rm –rf


以上是对十个最常用、基础的文件系统方法的初步介绍,接下来我们再深入讲解一些重要的模块和使用方法。

查看信息

os.getcwd()

以字符串形式返回当前工作目录

os.listdir()

以字符串列表形式返回当前目录

os.walk("my_start_directory")

创建一个生成器,用于返回关于当前目录和子目录的信息。在起始指定的目录中有效。


os.walk() 遍历包含的每个目录后,都会返回下列项:

(1)当前目录路径(字符串类型)

(2)当前目录下的子目录名称(字符串列表类型)

(3)当前目录中的文件名称(字符串列表类型的)


使用带有for循环的os.walk()来遍历目录及其子目录的内容通常很有用。例如,下面的代码将打印当前工作目录的目录和子目录中的所有文件。

importoscwd = os.getcwd()fordir_path, dir_names, file_namesinos.walk(cwd):forfinfile_names:print(f)

以上是获取信息的操作。下面让我们一起看一下更改工作目录或移动、复制、删除文件系统的命令。

更改信息

os.chdir("/absolute/or/relative/path")

此方法将当前工作路径更改为绝对路径或相对路径。

如果随后要对文件系统进行其他更改,在试用该方法时留意处理任何异常。否则,您可能正在删除不希望删除的目录或文件。

os.path.join()

os.path模块提供了许多用于路径名操作的有用方法。您可以使用它查找有关目录名称,或者目录名称的部分信息。该模块还可以用来检查文件或目录是否存在。

os.path.join()提供将多个字符串完美连接在一起的文件路径,而且是在大多数操作系统上都可以工作的路径。该模块文档的描述为,该命令可以“更加智能的连接一个或多个路径组件,返回值是路径或路径的任何成员路径的连接,每个非空路径后都有一个目录分隔符(os.sep),最后一个除外”。

另外,如果使用的是Unix或macOS系统,os.path.join()会在每个字符串之间添加一个斜杠(" / ")来创建路径。如果操作系统需要“\”,那么join会自动使用反斜杠。

os.path.join()还向其他开发人员提供了创建路径的明确信息。强烈建议读者多使用这个命令,不要每次都手动添加斜杠。

os.makedirs("dir1/dir2")

os.makedirs()能够生成目录。mkdir()方法也可以生成目录,但它不生成中间目录。所以建议使用os.makedirs()。

shutil.copy2("source_file","destination")

在Python中复制文件和目录的方法有很多,但建议使用此命令。shutil.copy2()的优势在于,它尽可能地保留了源文件的元数据。如果你希望对文件和努力的复制有更多了解,可以阅读这篇文章。 

移动文件

shutil.move("source_file","destination")

使用shutil.move()更改文件的位置。它使用 copy2 作为后台参数默认值。

os.remove("my_file_path")

当需要删除文件时,可以使用os.remove()工具。

shutil.rmtree("my_directory_path")

shutil.rmtree()删除一个目录及其中的所有文件和目录。



删除文件

使用删除函数的时候一定要多加小心!您可以使用print()将要删除的内容打印出来,在确定不会删除错误文件后,再用相应的删除文件函数替换print()。在此向Al Sweigart致敬,感谢他在文章《Automate the Boring Stuff with Python》中进行的讨论。

最后我们再回顾一下整个方法。

10种文件系统方法概述

下面方法遵循这个模式:方法——描述——等效macOS Shell命令

获取信息

os.getcwd() ——以字符串形式获取当前工作目录路径—— pwd

os.listdir() ——以字符串列表的形式获取当前工作目录的内容——ls

os.walk("starting_directory_path")——返回函数,其中包含当前目录和所有子目录中的目录和文件的名称和路径信息——没有完全等价的shell命令,不过ls -R提供了子目录名称和子目录中的文件名称

改动信息

os.chdir("/absolute/or/relative/path") ——改变当前的工作路径——cd

os.path.join()——创建路径供后续使用——没有等效CLI

os.makedirs (“dir1 / dir2”)——创建目录——mkdir - p

shutil.copy2("source_file_path","destination_directory_path")——复制文件或目录——cp

shutil.move("source_file_path","destination_directory_path")——移动文件或目录——mv

os.remove (“my_file_path”)——删除文件——rm

shutil.rmtree (“my_directory_path”)——删除路径及其包含的所有文件和目录——rm –rf

以上介绍了关于Python与文件系统交互的一些基础知识。希望大家在Ipython编辑器中多尝试这些命令,并向其他人解释这些方法,以更好的掌握和巩固知识。


如果你想对相关内容有更多了解,可以看看免费的电子书,或者多用Python编编代码。关于使用Python从文件中读写的相关操作,请查看open函数的官方文档。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,755评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,369评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,799评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,910评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,096评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,159评论 3 411
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,917评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,360评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,673评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,814评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,509评论 4 334
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,156评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,123评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,641评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,728评论 2 351

推荐阅读更多精彩内容