双十一购买了一部阅读器，用来学习之余，突然想读几本小说，可是阅读器里面的小说基本都需要代金券。虽然每天签到领取的代金券也足够看几章了，但是对于我这种懒人总是忘记领取。另外学了爬虫，还靠领粮票过日子？不存在的。马上去网上爬取一些小说屯着过冬吧~
目标：爱下电子书网
- 其实我看的小说比较少，网络小说也很少，这也导致我写的作文总是很通俗，但不是很易懂。。。
- 这个网站可以下载阅读器支持的epub格式，所以就拿来练练手吧。既然不知道看什么，那就把下载排行榜的书全下下来吧，囧~~~~
- 请忽略排版，刚接触markdown，总是喜欢乱用这些符号，假装我在练习，嘿嘿
- 另外我对多线程的理解还处在混沌阶段，只能是依葫芦画瓢，总之先会用，至于理论，慢慢消化吧。
先上代码，后面我尝试解释一波
from lxml import etree
import requests
import os
from urllib.request import urlretrieve
from urllib import error
import threading
from queue import Queue
# 1、生产者
class Rroducer(threading.Thread):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
}
def __init__(self, page_queue, book_queue, *args, **kwargs):
super(Rroducer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.book_queue = book_queue
def run(self):
while True:
if self.page_queue.empty():
break
url = self.page_queue.get()
self.get_page(url)
def get_page(self, url):
r = requests.get(url, headers=self.headers)
r.encoding = r.apparent_encoding
html = etree.HTML(r.text)
hrefs = html.xpath("//h2[@class='b_name']/a/@href")
for href in hrefs:
href = 'https://www.ixdzs.com' + href
self.get_link(href)
def get_link(self, url):
r = requests.get(url, headers=self.headers)
r.encoding = r.apparent_encoding
html = etree.HTML(r.text)
href = html.xpath("//div[@id='epub_down']/a[1]/@href")[0]
href = 'https://www.ixdzs.com' + href
name = html.xpath("//div[@id='epub_down']/a[1]/@title")[0].split('e')[0] + '.epub'
self.book_queue.put((href, name))
# 2、消费者
class Consumer(threading.Thread):
def __init__(self, page_queue, book_queue, *args, **kwargs):
super(Consumer, self).__init__(*args, **kwargs)
self.page_queue = page_queue
self.book_queue = book_queue
def run(self):
while True:
if self.book_queue.empty() and self.page_queue.empty():
break
href, name = self.book_queue.get()
self.save_book(href, name)
def save_book(self, href, name):
filename = os.path.join('books', name)
if not os.path.exists('books'):
os.makedirs('books')
try:
urlretrieve(href, filename)
print('已下载', name)
except error:
print('下载失败', name)
if __name__ == '__main__':
page_queue = Queue(20)
book_queue = Queue(500)
urls = ['https://www.ixdzs.com/hot.html?page={}'.format(i) for i in range(1, 21)]
for url in urls:
page_queue.put(url)
for x in range(5):
t = Rroducer(page_queue, book_queue)
t.start()
for x in range(5):
t = Consumer(page_queue, book_queue)
t.start()
粗浅的理解：
- 这里定义了两个类，Rroducer和Consumer，他们都继承Python自带的多线程类threading.Thread
- 既然用到多线程，就要考虑到线程安全。当两个线程同时访问一个内存空间时，就有可能造成数据污染。所以需要给线程加锁，当一个线程访问一个数据时，其他线程是不能访问此数据的，直到此线程完成访问，释放线程锁，其他线程拿到锁以后才可以访问。这就要求写爬虫时需要给各个线程加锁，在释放锁，很麻烦。
- 简单些的方法是通过队列Queue。Queue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构。由于队列是线程安全的，所以省去了加锁解锁的步骤。
- 然后我们还要大概了解一下什么是生产者和消费者模式。
在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
- 本爬虫的实际情况是，Rroducer类是生产者，生产 url 链接；Consumer类是消费者，拿着生产出来的url 去消费（下载小说）。这里获取url 的生产者的速度要比频繁进行I/O操作的消费者要快。所以队列就很好的解决了生产者就必须等待消费者处理完，才能继续生产url 的问题。生产者只要把生产的url 放到队列里，不用等着消费者来拿，可以继续进行再生产。
- 如果理解了生产者和消费者模式，想要写出多线程爬虫的代码那就像背诵课文，只是多练习多熟悉的问题了。
最后附上爬取结果
1.png
