PyQuery和多线程

PyQuery简介 pyquery相当于jQuery的python实现,可以用于解析HTML网页等
初始化 有 4 种方法可以进行初始化: 可以通过传入 字符串、lxml、文件 或者 url 来使用PyQuery。
from pyquery import PyQuery as pq
from lxml import etree

#传入字符串
d = pq("<html></html>")
#传入lxml
d = pq(etree.fromstring("<html>    </html>"))
#传入url
d = pq(url='http://google.com/')
#传入文件
d = pq(filename=path_to_html_file)
现在,d 就像 jQuery 中的 $ 一样了。
1、.html()和.text() 获取相应的 HTML 块或者文本内容
p=pq("<head><title>Hello World!</title></head>")

# 获取相应的 HTML 块
print (p('head').html())

# 获取相应的文本内容
print (p('head').text())

输出:
'''
<title>hello Word</title>
Hello World!
'''
2、(selector):通过选择器来获取目标内容
d = pq(
"<div><p id='item-0'>test 1</p><p     class='item-1'>test 2</p></div>"
)

# 获取 <div> 元素内的 HTML 块
print (d('div').html())

# 获取 id 为 item-0 的元素内的文本内容
print (d('#item-0').text())

# 获取 class 为 item-1 的元素的文本内容
  print (d('.item-1').text())

'''输出:
<p id="item-0">test 1</p><p     class="item-1">test 2</p>
test 1
test 2
'''
3、.eq(index):根据索引号获取指定元素(index 从 0 开始)
d = pq(
"<div><p id='item-0'>test 1</p><p   class='item-1'>test 2</p></div>"
)

# 获取第二个 p 元素的文本内容
print (d('p').eq(1).text())

'''输出
test 2
4、.find():查找嵌套元素
d = pq("<div><p id='item-0'>test   1</p><p class='item-1'>test   2</p></div>")

# 查找 <div> 内的 p 元素
print d('div').find('p')

# 查找 <div> 内的 p 元素,输出第一个 p 元素
print d('div').find('p').eq(0)

'''输出:
<p id="item-0">test 1</p><p     class="item-1">test 2</p>
<p id="item-0">test 1</p>
'''
5、.filter():根据 class、id 筛选指定元素
d = pq("<div><p id='item-0'>test     1</p><p class='item-1'>test   2</p></div>")

# 查找 class 为 item-1 的 p 元素
print d('p').filter('.item-1')

# 查找 id 为 item-0 的 p 元素
print d('p').filter('#item-0')

'''输出:
<p class="item-1">test 2</p>
<p id="item-0">test 1</p>
6.attr():获取、修改属性值
d = pq("<div><p id='item-0'>test   1</p><a class='item-1'>test 2</p></div>")

# 获取 <p> 标签的属性 id
print(d('p').attr('id'))

# 修改 <a> 标签的 class 属性为 new
print(d('a').attr('class','new'))

'''输出:
item-0
<a class="new">test 2</a>
7、其他操作:
#添加 class
.addClass(value):
#判断是否包含指定的 class,返回 True 或 False
.hasClass(value):
#获取子元素
.children():
#获取父元素
.parents():
#获取下一个元素
.next():
#获取后面全部元素块
.nextAll():
#获取所有不匹配该选择器的元素
.not_(selector):
什么是多任务?

简单的说,就是操作系统可以同时运行多个任务

threading.Thread参数介绍
  • target:线程执行的函数
  • name:线程名称
  • args:执行函数中需要传递的参数,元组类型 另外:注意daemon参数
  • 如果某个子线程的daemon属性为False,主线程结束时会检测该子线程是否结束,如果该子线程还在运行,则主线程会等待它完成后在退出
  • 如果某个子线程的daemon属性True,主线程运行结束时不对这个子线程进行检查而直接退出,同时所有daemon值为True的子线程将随主线程一起结束,而不论是否运行完成
  • 属性daemon的值默认为False,如果需要修改,必须在调用start()方法启动线程之前进行设置

主线程与子线程的执行顺序

#coding=utf-8
import threading
  from time import sleep,ctime

def sing():
for i in range(3):
print("正在唱歌...%d"%i)
sleep(1)

def dance():
for i in range(3):
print("正在跳舞...%d"%i)
sleep(1)

if __name__ == '__main__':
print('---开始---:%s'%ctime())

t1 = threading.Thread(target=sing)
t2 = threading.Thread(target=dance)

t1.start()
t2.start()

t1.join()
t2.join()

#sleep(5) # 屏蔽此行代码,试试看,程序是否会立马结束?
print('---结束---:%s'%ctime())

互斥锁

  • 当多个线程几乎同时修改某一个共享数据的时候,需要进行同步控制
  • 线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。
  • 互斥锁为资源引入一个状态:锁定/非锁定
  • 某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。

1.创建锁

lock = threading.Lock()

2.锁定

lock.acquire()

3.释放

lock.release()

锁的好处

  • 确保了某段关键代码只能由一个线程从头到尾完整地执行

锁的坏处:

  • 阻止了多线程并发执行,包含的某段实际上只能以单线程模式执行,效率就大大的下降了
  • 由于可以存在多个锁,不同的线程持有不同的锁,并试图获取对方持有的锁时,可能会造成死锁

思索问题

  • 在线程间共享多个资源的时候,如果两个线程分别占有一部分资源并且同时等待对方的资源,就会造成死锁.
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,284评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,115评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,614评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,671评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,699评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,562评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,309评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,223评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,668评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,859评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,981评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,705评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,310评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,904评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,023评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,146评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,933评论 2 355

推荐阅读更多精彩内容