欲善其事,必先利其器
这其器必是python的标准库+内置函数,话说许多第三方库, 也是对标准库的使用,进行封装,使得使用起来更方便。
这些库以使用场景来分类:
一. 文件读写
二. 网络抓取和解析
三. 数据连接
四. 数清洗转换
五. 数据计算和统计分析
六. 图像和视频处理
七. 音频处理
八. 数据挖掘/机器学习/深度学习
九. 数据可视化
十. 交互学习
十一. 集成开发
现来学习第一项:文件读写
文件的读写包括常见的txt、Excel、xml、二进制文件以及其他格式的数据文本,主要用于本地数据的读写。
1.1.open(name[, mode[, buffering]])
# 类型:Python内置函数
# 描述:Python默认的文件读写方法
f = open("/open.txt","w")
f.write("python标准库+内置函数+第三方库")
f.close()
f = open("/open.txt", "r")
p_text = f.read()
print(p_text)
f.close()
1.2.pandas.read_*
# 类型:第三方库
# 描述:Pandas自带的read文件方法,例如ead_csv、
#read_fwf、 read_table等,用于文本、Excel、
#二进制文件、HDF5、表格、SAS文件、SQL数
1.3.lxml
# 类型:第三方库
# 描述:xml和HTML读取和解析
"""
lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高
XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言,它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大,它提供了非常简明的路径选择表达式,另外,它还提供了超过100个内建函数,用于字符串、数值、时间的匹配以及节点、序列的处理等,几乎所有我们想要定位的节点,都可以用XPath来选择
"""
from lxml import etree
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0"><a href="link5.html">a属性</a>
</ul>
</div>
'''
html=etree.HTML(text) #初始化生成一个XPath解析对象
result=etree.tostring(html,encoding='utf-8') #解析成字节
print("解释成字节:")
print(result)
result_list=etree.tostringlist(html,encoding='utf-8') #解析成列表
print("解释成列表")
print(result_list)
result_node = etree.HTML("text",etree.HTMLParser())
html = result_node.xpath('//*')
print("获取所有节点:")
print(html)
1.4.xml
# 类型:Python标准库
# 描述:xml对象解析和格式化处理
xml文件:
<collection shelf="New Arrivals">
<works title="电影">
<names>敦刻尔克</names>
<author>诺兰</author>
</works>
<works title="书籍">
<names>我的职业是小说家</names>
<author>村上春树</author>
</works>
</collection>
Python解析XML实例: Python对XML的解析采用SAX (simple API for XML )模块。
#!/usr/bin/python3
#encoding=utf-8
import xml.sax
import xml.sax.handler
class WorksHandler(xml.sax.ContentHandler):
def __init__(self):
self.CurrentData = ""
self.names = ""
self.author = ""
#元素开始事件处理
def startElement(self, tag, attributes):
self.CurrentData = tag
if tag == "works":
print("***内容***")
title = attributes["title"]
print("类型:",title)
#元素结束事件处理
def endElement(self, tag):
if self.CurrentData == "names":
print("名称:",self.names)
elif self.CurrentData == "author":
print("作者:",self.author)
self.CurrentData = ""
#内容事件处理
def characters(self, content):
if self.CurrentData == "names":
self.names = content
elif self.CurrentData == "author":
self.author = content
if (__name__ == "__main__"):
#创建一个XMLReader
parser = xml.sax.make_parser()
parser.setFeature(xml.sax.handler.feature_namespaces,0)
#重写ContextHandler
Handler = WorksHandler()
parser.setContentHandler(Handler)
parser.parse("works.xml")
1.5.xpath
# 类型:第三方库
# 描述:xml对象解析和格式化处理
#用例如上
XPath常用规则:
1.6.win32com
# 类型:第三方库
# 描述:有关Windows系统操作、Office(Word、Excel等)文件读写等的综合应用库
import win32com
from win32com.client import Dispatch, constants
w = win32com.client.Dispatch('Word.Application')
# 或者使用下面的方法,使用启动独立的进程:
# w = win32com.client.DispatchEx('Word.Application')
# 后台运行,不显示,不警告
w.Visible = 0
w.DisplayAlerts = 0
# 打开新的文件
doc = w.Documents.Open( FileName = filenamein )
# worddoc = w.Documents.Add() # 创建新的文档
# 插入文字
myRange = doc.Range(0,0)
myRange.InsertBefore('Hello from python!')
# 使用样式
wordSel = myRange.Select()
wordSel.Style = constants.wdStyleHeading1
# 正文文字替换
w.Selection.Find.ClearFormatting()
w.Selection.Find.Replacement.ClearFormatting()
w.Selection.Find.Execute(OldStr, False, False, False, False, False, True, 1, True, NewStr, 2)
# 表格操作
doc.Tables[0].Rows[0].Cells[0].Range.Text ='123123'
worddoc.Tables[0].Rows.Add() # 增加一行
# 转换为html
wc = win32com.client.constants
w.ActiveDocument.WebOptions.RelyOnCSS = 1
w.ActiveDocument.WebOptions.OptimizeForBrowser = 1
w.ActiveDocument.WebOptions.BrowserLevel = 0 # constants.wdBrowserLevelV4
w.ActiveDocument.WebOptions.OrganizeInFolder = 0
w.ActiveDocument.WebOptions.UseLongFileNames = 1
w.ActiveDocument.WebOptions.RelyOnVML = 0
w.ActiveDocument.WebOptions.AllowPNG = 1
w.ActiveDocument.SaveAs( FileName = filenameout, FileFormat = wc.wdFormatHTML )
# 打印
doc.PrintOut()
# 关闭
# doc.Close()
w.Documents.Close(wc.wdDoNotSaveChanges)
w.Quit()