创建文件abc.txt
f = open('abc.txt', 'w')
f.close()
with open as语句用来自动调用关闭io流方法
读取文件
#逐行读取abc.txt内容
with open('abc.txt', 'r') as f:
for line in f:
print line
#读取二进制文件release.apk
with open('release.apk', 'rb') as f:
f.read()
#获取文件MD5值
import hashlib
with open('abc.txt', 'rb') as f:
md5 = hashlib.md5(f.read()).hexdigest()
print md5
写文件
#往abc.txt写入一行字符‘xyz’,会覆盖abc.txt内容
with open('abc.txt', 'w') as f:
f.writelines('xyz')
#往abc.txt中追加一行字符‘xyz’,不会覆盖abc.txt内容
with open('abc.txt', 'a+') as f:
f.writelines('xyz')
#读取二进制文件debug.apk生成release.apk
with open('debug.apk', 'rb') as f:
with open('release.apk', 'wb') as f2:
f2.write(f.read())
文件下载
方式一:有时会失败(出现size=0的情况)
import urllib
def progress(self, blocknum, bs, size):
"""
下载进度
:param blocknum: 已经下载的数据块
:param bs: 数据块的大小
:param size: 远程文件的大小
"""
pro = 100.0 * blocknum * bs / size
# 输出%,不是\%,而是%%
print '%0.f%%' % pro,
urllib.urlretrieve(url, filename, reporthook=progress)
方式二:
import urllib2
def file_download(file_url, filename):
target_request = urllib2.Request(file_url)
result = urllib2.urlopen(target_request, timeout=10)
data = result.read()
with open(filename, "wb") as f:
f.write(data)
file_download('http://baidu/abc.png', 'abc.png')
正则匹配
方式一:
def parse_search(reg='', src=''):
pattern = re.compile(reg, re.S)
result = re.search(pattern, src)
if result:
print result.group(1)
print result.group()
return result.group(1).strip(), result.group()
parse_search('info:(.*?)123', 'info:abc123')
打印结果:
abc
info:abc123
方式二:
def parse_findall(reg='', src=''):
pattern = re.compile(reg, re.S)
items = re.findall(pattern, src)
for item in items:
print item
parse_findall('info:(.*?)123', 'info:abc123,info:xyz123')
打印结果:
abc
xyz
OS相关方法
os.curdir:返回当前目录
os.path.abspath('.'):当前目录
os.sep:操作系统特定的路径分隔符
os.path.existe(path):指定目录或文件是否存在
os.system(command):在当前目录下运行指定命令,返回值int,如果为0表示命令执行成功
os.listdir(path):指定目录下的所有目录及文件
os.path.join(path,name):连接目录和文件
os.path.basename(path):返回指定路径文件的文件名
获取当前用户的主目录路径:
os.environ['HOME']
os.path.expandvars('$HOME')
os.path.expanduser('~')
抓取图片防盗链、302重定向
1)突破防盗链
服务器一般会检查请求头文件的Referer(源页面)、User-Agent(请求端信息如何种浏览器、操作系统)等内容,以确定该请求来自本网站且非爬虫行为。因此在发送请求时要手动添加这些头文件参数,避开判定。
2)重定向
通过响应返回值判别请求的状态,200代表正常,302表示该资源被重定向至新地址,但是仍按照原URL进行访问,404表示网站有效,但无法访问资源。若返回302,则可通过响应头文件中的LOCATION项获取新地址。
学习笔记
1 #!/usr/bin/env python 放在脚本首行,不管Python二进制文件在哪,程序都会自动运行
2 str()和repr()把基本类型转成字符串
3.input和raw_input,raw_input会把输入当作原始数据,将其放入字符串中
4.原始字符串不会对反斜线转义,以r开头
del 列表[索引]
del关键字用来将一个变量从内存中删除
len(item)
max(item)
min(item)
del(item)
定义单个元素的元组:single_tuple = (2,)
元组和列表转换
num_tuple = tuple(list)
num_list = list(tuple)
for i in list:
循环体代码
else:
没有通过breake退出循环,循环结束后会执行的代码
Shebang符号(#!),或者叫Sha-bang,在脚本的第一行开头使用
指明执行这个脚本文件的解释程序
#! /usr/bin/python3
在Python中
变量和数据是分开存储的
数据保存在内存中的一个位置
变量中保存着数据在内存中的地址
变量中记录数据的地址,就叫做引用
使用id()函数可以查看变量中保存数据所在的内存地址
代码结构:
shebang
import模块
全局变量
函数定义
执行代码
多值参数:
参数名前增加一个*可接收元组
参数名前增加两个*可接收字典
对象内置的初始化方法 __init__()
对象从内存中销毁前调用 __del__()
对象的描述信息 __str__() 该方法必须返回一个字符串
身份运算符用于比较两个对象的内存地址是否一致--是否是对同一个对象的引用
在Python中对None比较时,建议使用is判断
在定义私用属性和私有方法
在属性名或方法名前增加两个下划线,定义的就是私用属性或方法
_类名__方法 访问私用方法(不推荐)
定义类方法
@classmethod
def 类方法名(cls):
定义静态方法
@staticmethod
def 静态方法名(cls):
捕获未知错误
try
代码
except Exception as result:
print(result)
导入模块,使用as指定模块的名称
import 模块1 as 模块别名
从某一个模块中导入部分工具,如果两个模块中,存在同名函数,后导入的函数会覆盖掉先导入的函数
from 模块1 import 工具名
from 模块1 import *
__name__ 只在测试的情况下被运行
1.__name__是内置属性,记录着一个字符串
2.如果被其它文件导入时,__name__就是模块名
3.如果是当前执行的程序,__name__就是__main__
在__init__.py在指定外界提供的模块列表
#从当前目录导入模块列表
from . import 模块
制作压缩包
from distutils.core import setup
setup(name="liu",py_modules=[模块文件])
1. python3 setup.py build
2. python3 setup.py sdist
安装模块
tar -
sudo python3 setup.py install
python2中处理中文字符串, 在字符串前加u
eval()函数十分强大 将字符串当成有效的表达式来求值并返回结果
注:不要在开始中使用该函数转换input