网页抓取
根据链接
从入口页面开始抓取出所有链接，支持proxy、支持定义深度抓取、链接去重等，尚未做并发处理
code如下
import urlparse
import urllib2
import re
import Queue
#页面下载
def page_download(url,num_retry=2,user_agent='zhxfei',proxy=None):
#print 'downloading ' , url
headers = {'User-agent':user_agent}
request = urllib2.Request(url,headers = headers)
opener = urllib2.build_opener()
if proxy:
proxy_params = {urlparse(url).scheme:proxy}
opener.add_handler(urllib2.ProxyHandler(proxy_params))
try:
html = urllib2.urlopen(request).read() #try : download the page
except urllib2.URLError as e: #except :
print 'Download error!' , e.reason #URLError
html = None
if num_retry > 0: # retry download when time>0
if hasattr(e, 'code') and 500 <=e.code <=600:
return page_download(url,num_retry-1)
if html is None:
print '%s Download failed' % url
else:
print '%s has Download' % url
return html
#使用正则表达式匹配出页面中的链接
def get_links_by_html(html):
webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']', re.IGNORECASE)
return webpage_regex.findall(html)
#判断抓取的链接和入口页面是否为同站
def same_site(url1,url2):
return urlparse.urlparse(url1).netloc == urlparse.urlparse(url2).netloc
def link_crawler(seed_url,link_regex,max_depth=-1):
crawl_link_queue = Queue.deque([seed_url])
seen = {seed_url:0} # seen means page had download
depth = 0
while crawl_link_queue:
url = crawl_link_queue.pop()
depth = seen.get(url)
if seen.get(url) > max_depth:
continue
links = []
html = page_download(url)
links.extend(urlparse.urljoin(seed_url, x) for x in get_links_by_html(html) if re.match(link_regex, x))
for link in links:
if link not in seen:
seen[link]= depth + 1
if same_site(link, seed_url):
crawl_link_queue.append(link)
#print seen.values()
print '----All Done----' , len(seen)
return seen
if __name__ == '__main__':
all_links = link_crawler('http://www.zhxfei.com',r'/.*',max_depth=1)
运行结果：
http://www.zhxfei.com/archives has Download
http://www.zhxfei.com/2016/08/04/lvs/ has Download
...
...
http://www.zhxfei.com/2016/07/22/app-store-审核-IPv6-Olny/#more has Download
http://www.zhxfei.com/archives has Download
http://www.zhxfei.com/2016/07/22/HDFS/#comments has Download
----All Done----
根据sitmap
sitemap是相当于网站的地图，于其相关的还有robots.txt，一般都是在网站的根目录下专门提供给各种spider，使其更加友好的被搜索引擎收录，定义了一些正规爬虫的抓取规则
所有也可以这样玩，将xml文件中的url拿出来，根据url去直接抓取网站，这是最方便的做法（虽然别人不一定希望我们这么做）
#!/usr/bin/env python
# _*_encoding:utf-8 _*_
# description: this modlue is load crawler By SITEMAP
import re
from download import page_download
def load_crawler(url):
#download the sitemap
sitemap = page_download(url)
links = re.findall('<loc>(.*?)</loc>',sitemap)
for link in links:
page_download(link)
if link == links[-1]:
print 'All links has Done'
# print links
load_crawler('http://example.webscraping.com/sitemap.xml')
小结
好了，现在爬虫已经具备了抓取网页的能力，然而他并没有做什么事情，只是将网页download下来，所以我们还要进行数据处理。也就是需要在网页中抓取出我们想要的信息。
数据提取
使用Lxml提取
抓取网页中的信息常用的的三种方法：
- 使用正则表达式解析，re模块，这是最快的解决方案，并且默认的情况下它会缓存搜索的结果（可以借助
re.purge()来讲缓存清除），当然也是最复杂的方案（不针对你是一只老鸟） - 使用Beautifulsoup进行解析，这是最人性化的选择，因为它处理起来很简单，然而处理大量数据的时候很慢，所以当抓取很多页面的时候，一般不推荐使用
- 使用Lxml，这是相对比较中性的做法，使用起来也比较简单，这里我们选择它对抓取的页面进行处理
Lxml的使用有两种方式：Xpath和cssselect，都是使用起来比较简单的，Xpath可以和bs一样，使用find和find_all匹配parten（匹配模式），用链型的结构描述DOM和数据的位置。而cssselct直接是用了jQuery的选择器来进行匹配，这样对有前端功底的同学更加友好。
先给个demo试下：即将抓取的网页http://example.webscraping.com/places/view/United-Kingdom-239 has Download
网页中有个表格<table>,我们想要的信息都是存在body的表格中，可以使用浏览器的开发者工具来省查元素，也可以使用firebug（Firefox上面的一款插件）来查看DOM结构
import lxml.html
import cssselect
from download import page_download
example_url = 'http://example.webscraping.com/places/view/United-Kingdom-239'
def demo():
html = page_download(example_url, num_retry=2)
result = lxml.html.fromstring(html)
print type(result)
td = result.cssselect('tr#places_area__row > td.w2p_fw')
print type(td)
print len(td)
css_element = td[0]
print type(css_element)
print css_element.text_content()
执行结果：
http://example.webscraping.com/places/view/United-Kingdom-239 has Download
<class 'lxml.html.HtmlElement'>
<type 'list'>
1
<class 'lxml.html.HtmlElement'>
244,820 square kilometres
可以看到，使用cssselect进行选择器是拿到了一个长度是1的列表，当然列表的长度显然和我定义的选择器的模式有关，这个列表中每一项都是一个HtmlElement，他有一个text_content方法可以返回这个节点的内容，这样我们就拿到了我们想要的数据。
回调处理
接下来我们就可以为上面的爬虫增加定义一个回调函数，在我们每下载一个页面的时候，做一些小的操作。
显然应该修改link_crawler函数，并在其参数传递回调函数的引用，这样就可以针对不同页面来进行不同的回调处理如：
def link_crawler(seed_url,link_regex,max_depth=-1,scrape_callback=None):
...
html = page_download(url) #这行和上面一样
if scrape_callback:
scrape_callback(url,html)
links.extend(urlparse.urljoin(seed_url, x) for x in get_links_by_html(html) if re.match(link_regex, x)) #这行和上面一样
...
接下来编写回调函数，由于python的面向对象很强大，所以这里使用回调类来完成，由于我们需要调用回调类的实例，所以需要重写它的__call__方法，并实现在调用回调类的实例的时候，将拿到的数据以csv格式保存，这个格式可以用wps打开表格。当然你也可以将其写入到数据库中，这个之后再提
import csv
class ScrapeCallback():
def __init__(self):
self.writer = csv.writer(open('contries.csv','w+'))
self.rows_name = ('area','population','iso','country','capital','tld','currency_code','currency_name','phone','postal_code_format','postal_code_regex','languages','neighbours')
self.writer.writerow(self.rows_name)
def __call__(self,url,html):
if re.search('/view/', url):
tree = lxml.html.fromstring(html)
rows = []
for row in self.rows_name:
rows.append(tree.cssselect('#places_{}__row > td.w2p_fw'.format(row))[0].text_content())
self.writer.writerow(rows)
可以看到回调类有三个属性：
self.rows_name这个属性保存了我们的想要抓取数据的信息
self.writer这个类似文件句柄一样的存在
self.writer.writerow这个属性方法是将数据写入csv格式表格
好了，这样就可以将我们的数据持久化保存起来
修改下link_crawler的define:def link_crawler(seed_url,link_regex,max_depth=-1,scrape_callback=ScrapeCallback()):
运行看下结果：
zhxfei@zhxfei-HP-ENVY-15-Notebook-PC:~/桌面/py_tran$ python crawler.py
http://example.webscraping.com has Download
http://example.webscraping.com/index/1 has Download # /index 在__call__中的/view 所以不会进行数据提取
http://example.webscraping.com/index/2 has Download
http://example.webscraping.com/index/0 has Download
http://example.webscraping.com/view/Barbados-20 has Download
http://example.webscraping.com/view/Bangladesh-19 has Download
http://example.webscraping.com/view/Bahrain-18 has Download
...
...
http://example.webscraping.com/view/Albania-3 has Download
http://example.webscraping.com/view/Aland-Islands-2 has Download
http://example.webscraping.com/view/Afghanistan-1 has Download
----All Done---- 35
zhxfei@zhxfei-HP-ENVY-15-Notebook-PC:~/桌面/py_tran$ ls
contries.csv crawler.py
打开这个csv,就可以看到数据都保存了：
完整代码在这里：
#!/usr/bin/env python
# _*_encoding:utf-8 _*_
import urlparse
import urllib2
import re
import time
import Queue
import lxml.html
import csv
class ScrapeCallback():
def __init__(self):
self.writer = csv.writer(open('contries.csv','w+'))
self.rows_name = ('area','population','iso','country','capital','tld','currency_code','currency_name','phone','postal_code_format','postal_code_regex','languages','neighbours')
self.writer.writerow(self.rows_name)
def __call__(self,url,html):
if re.search('/view/', url):
tree = lxml.html.fromstring(html)
rows = []
for row in self.rows_name:
rows.append(tree.cssselect('#places_{}__row > td.w2p_fw'.format(row))[0].text_content())
self.writer.writerow(rows)
def page_download(url,num_retry=2,user_agent='zhxfei',proxy=None):
#print 'downloading ' , url
headers = {'User-agent':user_agent}
request = urllib2.Request(url,headers = headers)
opener = urllib2.build_opener()
if proxy:
proxy_params = {urlparse(url).scheme:proxy}
opener.add_handler(urllib2.ProxyHandler(proxy_params))
try:
html = urllib2.urlopen(request).read() #try : download the page
except urllib2.URLError as e: #except :
print 'Download error!' , e.reason #URLError
html = None
if num_retry > 0: # retry download when time>0
if hasattr(e, 'code') and 500 <=e.code <=600:
return page_download(url,num_retry-1)
if html is None:
print '%s Download failed' % url
else:
print '%s has Download' % url
return html
def same_site(url1,url2):
return urlparse.urlparse(url1).netloc == urlparse.urlparse(url2).netloc
def get_links_by_html(html):
webpage_regex = re.compile('<a[^>]+href=["\'](.*?)["\']', re.IGNORECASE) #理解正则表达式
return webpage_regex.findall(html)
def link_crawler(seed_url,link_regex,max_depth=-1,scarape_callback=ScrapeCallback()):
crawl_link_queue = Queue.deque([seed_url])
# seen contain page had find and it's depth,example first time:{'seed_page_url_find','depth'}
seen = {seed_url:0}
depth = 0
while crawl_link_queue:
url = crawl_link_queue.pop()
depth = seen.get(url)
if seen.get(url) > max_depth:
continue
links = []
html = page_download(url)
links.extend(urlparse.urljoin(seed_url, x) for x in get_links_by_html(html) if re.match(link_regex, x))
for link in links:
if link not in seen:
seen[link]= depth + 1
if same_site(link, seed_url):
crawl_link_queue.append(link)
#print seen.values()
print '----All Done----' , len(seen)
return seen
if __name__ == '__main__':
all_links = link_crawler('http://example.webscraping.com', '/(index|view)',max_depth=2)
